🤖 A Ascensão do F2: Uma Mudança de Jogo na IA Generativa
No mundo da IA generativa, 2023 deveria ser um ano de desaceleração, com mais foco em festividades do que em modelos e no MMLU. No entanto, esta semana viu o anúncio de novos modelos pequenos e poderosos que poderiam mudar o cenário da IA em 2024. Neste artigo, vamos dar uma olhada mais de perto no F2, o que ele significa e como se compara a outros modelos. Também vamos explorar a Loucura da brinkmanship do MML, o Optimus Gen 2 e muito mais.
🤖 O que é o F2?
O F2 é um modelo com 2,7 bilhões de parâmetros, o que é pequeno pelos padrões atuais. Na verdade, é tão pequeno que poderia caber localmente em um smartphone, de acordo com benchmarks. Apesar de seu tamanho, o F2 supera modelos de tamanho comparável, como os treinados usando o Mamba, bem como o novo Gemini Nano do Google. Ele também supera modelos de 202-25 vezes o seu tamanho.
🤖 A Série dos Cinco Modelos
A série dos Cinco modelos está em desenvolvimento desde o final de junho, quando Ronan Lan, um dos principais autores do artigo original do F1, foi entrevistado. Havia fortes indícios da importância do F1 no vídeo original de 2 de julho sobre "livros didáticos são tudo o que você precisa". O F1 obteve 50% na avaliação humana, um benchmark de codificação, e tudo isso funciona tão bem que para o F1.5 anunciado em setembro, exercícios sintéticos foram adicionados em raciocínio de senso comum, lógica, ciência e teoria da mente. Além disso, eles treinaram apenas com dados sintéticos, deixando aqueles dados adicionais filtrados para um modelo separado chamado 5.1.5 web.
🤖 O Lançamento do F2
O F2 foi lançado nas últimas 24 horas, com 2,7 bilhões de parâmetros treinados em apenas 14 dias em menos de 100 GPUs A100. Para referência, é relatado que a Microsoft tem até 150.000 H100s, o sucessor dos A100s. Mais parâmetros significam mais conexões que podem ser feitas e, com mais poder de processamento, é claro, isso significa que eles podem alimentar mais dados e revisar esses dados mais vezes. A quantidade de dados, incluindo leituras repetidas ou EPO, foi de 1,4 trilhão de tokens, o que é cinco vezes mais do que o F1.1.5 web.
🤖 Os Benefícios dos Dados Sintéticos
Um benefício adicional de treinar com dados sintéticos é que eles tendem a ser menos tóxicos. As pontuações de toxicidade diminuíram em todos os aspectos para o F2, e há tantas lições potenciais do F2. Como um dos pesquisadores do projeto disse: "Nossos esforços com o F2 provam que temos desperdiçado enormes quantidades de poder de processamento em dados de treinamento bastante ineficazes".
🤖 Comparação com o Gemini Nano 2 e o Mistal
A comparação com o Gemini Nano 2 e o Mistal, ambos com 7 bilhões de parâmetros, mostra que o F2 é uma mudança de jogo no mundo da IA generativa. No entanto, dado que um dos outros tópicos deste vídeo será sobre as falhas dos benchmarks, é importante observar que não podemos confiar totalmente nesses números de benchmark.
🤖 As Falhas dos Benchmarks
O MMLU é um benchmark falho em muitos aspectos. Por exemplo, a pergunta "quando uma atitude é comunicada, o que ela se torna?" tem respostas que são A, B, C ou D, mas o texto diz "redução da demanda". O MMLU também possui erros de digitação, ambiguidade gramatical e ambiguidade de formatação ao longo do teste.
🤖 A Ascensão do Optimus Gen 2
Além do F2, também vimos o lançamento do Optimus Gen 2, um robô humanoide da Tesla 10 kg mais leve na segunda geração. Assistir a este vídeo me faz pensar na sensibilidade ao toque, temperatura e pressão como modalidades totalmente novas ainda a serem exploradas.
🤖 O Nível AI Insiders no Patreon
Hoje é o lançamento completo do nível AI Insiders no Patreon. Esse nível inclui vídeos clássicos de explicação de IA, conteúdo extra, o podcast AI Insiders, tutoriais e a Insiders Arena. A Insiders Arena é onde você e qualquer outro membro com paixão por IA podem enviar explicações, e as melhores delas terão uma participação especial no AI explained.
🤖 Conclusão
Em conclusão, o F2 é uma mudança de jogo no mundo da IA generativa. Ele é pequeno, mas supera modelos de tamanho comparável e modelos de 202-25 vezes o seu tamanho. Os benefícios dos dados sintéticos são claros, assim como as falhas dos benchmarks. A ascensão do Optimus Gen 2 e o lançamento do nível AI Insiders no Patreon também são desenvolvimentos empolgantes no mundo da IA.
