As palavras estão fluindo como chuva sem fim: recapitulando uma semana movimentada de notícias do LLM

Prolongar/Imagem de um menino maravilhado com cartas voadoras. Imagens Getty

Algumas semanas nas notícias sobre IA são assustadoramente silenciosas, mas durante outras, controlar os eventos da semana é como tentar conter a maré. Esta semana houve três lançamentos notáveis ​​​​de modelo de linguagem grande (LLM): Google Gemini Pro 1.5 atingiu a disponibilidade geral com um nível gratuito, OpenAI lançou uma nova versão do GPT-4 Turbo e Mistral lançou um novo LLM licenciado abertamente, Mixtral 8x22B. Todos os três lançamentos aconteceram em 24 horas, começando na terça-feira.

Com a ajuda do engenheiro de software e pesquisador independente de IA Simon Willison (que também escreveu sobre os agitados lançamentos do LLM desta semana em seu próprio blog), cobriremos brevemente cada um dos três eventos principais em ordem aproximadamente cronológica e, em seguida, nos aprofundaremos em alguns detalhes adicionais de IA. acontecimentos esta semana.

Lançamento geral do Gemini Pro 1.5

Amplie o Google

Na manhã de terça-feira, horário do Pacífico, o Google anunciou que seu modelo Gemini 1.5 Pro (que abordamos pela primeira vez em fevereiro) está agora disponível em mais de 180 países, excluindo a Europa, por meio da API Gemini em uma visualização pública. Este é o LLM público mais poderoso do Google até agora e está disponível em um nível gratuito que permite até 50 solicitações por dia.

Suporta até 1 milhão de tokens de contexto de entrada. Como Willison observa em seu blog, o preço da API do Gemini 1.5 Pro de US$ 7/milhão de tokens de entrada e US$ 21/milhão de tokens de saída custa um pouco menos do que o GPT-4 Turbo (com preço de US$ 10/milhão de entrada e US$ 30/milhão de saída) e mais do que Claude 3 Sonnet (LLM de nível intermediário da Anthropic, com preço de US$ 3/milhão de entrada e US$ 15/milhão de saída).

Gemini 1.5 Pro oferece vários recursos notáveis, incluindo suporte para processamento nativo de entrada de áudio, que permite aos usuários fazer upload de prompts de áudio e vídeo. Além disso, ele fornece uma API de arquivos atualizada para um gerenciamento de arquivos mais eficiente, bem como a capacidade de incorporar instruções personalizadas do sistema para orientar as respostas do modelo. Por último, introduz um modo JSON para extrair dados estruturados de várias fontes.

Lançamento do GPT-4 Turbo “muito melhorado”

Ampliar/Um gráfico de desempenho do GPT-4 Turbo fornecido pela OpenAI. OpenAI

Em conjunto com o recente lançamento da iteração 1.5 Pro do Google, a OpenAI optou por lançar uma versão atualizada de sua série GPT-4 Turbo, designada como “Gpt-4-Turbo-2024-04-09”. Esta edição aprimorada apresenta a integração de recursos multifacetados do GPT-4 Vision para compreensão de imagens, que inicialmente serão acessíveis exclusivamente via API.

Então, na quinta-feira, a OpenAI anunciou que o novo modelo GPT-4 Turbo acabara de ficar disponível para usuários pagos do ChatGPT. OpenAI disse que o novo modelo melhora “capacidades de escrita, matemática, raciocínio lógico e codificação” e compartilhou um gráfico que não é particularmente útil para avaliar capacidades (que eles atualizaram posteriormente). A empresa também deu um exemplo de suposta melhoria, dizendo que ao escrever com ChatGPT, o assistente de IA usará “uma linguagem mais direta, menos detalhada e mais coloquial”.

A natureza vaga dos anúncios do GPT-4 Turbo da OpenAI atraiu alguma confusão e críticas online. No X, Willison escreveu: “Quem será o primeiro provedor de LLM a publicar notas de lançamento genuinamente úteis?” De certa forma, este é novamente um caso de “vibrações de IA”, como discutimos em nosso lamento sobre o mau estado dos benchmarks de LLM durante a estreia de Claude 3. “Na verdade, não detectei nenhuma diferença definitiva na qualidade [relacionada a GPT-4 Turbo]”, Willison nos disse diretamente em uma entrevista.

A atualização também expandiu o limite de conhecimento do GPT-4 para abril de 2024, embora algumas pessoas relatem que ele consegue isso por meio de pesquisas furtivas na web em segundo plano, e outras pessoas nas redes sociais relataram problemas com confabulações relacionadas a datas.

O misterioso lançamento Mixtral 8x22B de Mistral

Prolongar/Uma ilustração de um robô segurando uma bandeira francesa, refletindo figurativamente a ascensão da IA ​​na França devido ao Mistral. É difícil desenhar um LLM, então um robô terá que servir. Imagens Getty

Para não ficar para trás, na noite de terça-feira, a empresa francesa de IA Mistral lançou seu mais recente modelo licenciado abertamente, Mixtral 8x22B, twittando um link de torrent desprovido de qualquer documentação ou comentário, assim como fez com versões anteriores.

O novo lançamento da mistura de especialistas (MoE) apresenta uma contagem de parâmetros maior do que seu modelo aberto anteriormente mais capaz, Mixtral 8x7B, que abordamos em dezembro. Há rumores de que é potencialmente tão capaz quanto o GPT-4 (de que forma, você pergunta? Vibrações). Mas isso ainda não foi visto.

Como Willison mencionou durante sua entrevista, embora as avaliações continuem a ser recebidas, a questão mais urgente e não resolvida diz respeito ao desempenho do Mixtral 22x8B. Se demonstrar um nível de qualidade equivalente ao GPT-4 e Claude 3 Opus, que são ambos modelos proprietários, então a disponibilidade de uma licença aberta para este modelo específico de linguagem de IA não exigiria mais o comprometimento da superioridade de seus equivalentes.

Estou emocionado em compartilhar meu entusiasmo em relação a este último lançamento, pois representa um desenvolvimento emocionante em nosso campo. Falando nesta publicação, expressei meu entusiasmo ao afirmar: “Se este produto realmente possuísse as capacidades de um modelo GPT-4, seu impacto potencial seria extraordinário, dada a sua capacidade de funcionar efetivamente em um laptop de última geração com poder de processamento substancial..” Na verdade, pode ser necessário um dispositivo de última geração equipado com uma quantidade generosa de memória, como os impressionantes 128 GB oferecidos por alguns laptops de primeira linha, para aproveitar totalmente suas capacidades. Meu sistema pessoal fica aquém desse requisito, ostentando apenas metade da capacidade necessária de 64 GB. No entanto, a perspectiva de utilizar essa tecnologia avançada é

Mixtral, o mais recente modelo de linguagem desenvolvido pela Mistral, não foi adicionado à lista de concorrentes do Chatbot Arena porque ainda não foi ajustado especificamente para interações baseadas em chat. No entanto, existe atualmente uma versão criada pela comunidade que passou por algum nível de personalização disponível para uso.

Mudanças na tabela de classificação do Chatbot Arena

Uma captura de tela da tabela de classificação de uma arena dedicada a chatbots foi capturada em 12 de abril de 2024. A imagem mostra a classificação de vários chatbots em termos de desempenho e competitividade dentro da arena especificada.

As notícias do LLM desta semana não se limitam apenas aos grandes nomes da área. Também houve rumores nas redes sociais sobre o desempenho crescente de modelos de código aberto, como o Command R\+ de Cohere, que alcançou a posição 6 no ranking LMSYS Chatbot Arena – a classificação mais alta de todos os tempos para um modelo de peso aberto.

E para ainda mais ação do Chatbot Arena, aparentemente a nova versão do GPT-4 Turbo está se mostrando competitiva com Claude 3 Opus. Os dois ainda estão empatados estatisticamente, mas o GPT-4 Turbo recentemente saiu na frente numericamente. (Em março, informamos quando Claude 3 ultrapassou numericamente o GPT-4 Turbo, que foi a primeira vez que outro modelo de IA ultrapassou um membro do modelo da família GPT-4 na tabela de classificação.)

Em relação à intensa competição entre grandes modelos de linguagem-da qual a maioria do público não especializado permanece alheia e provavelmente nunca o será-Willison informou à Ars Technica que “os últimos dois meses foram um turbilhão tumultuado; agora possuímos vários modelos que estão no mesmo nível do GPT-4.” Resta saber se o lançamento antecipado do GPT-5 pela OpenAI ainda este ano restabelecerá seu antigo domínio no campo, embora já tenha sido considerado inatacável. Por enquanto, porém, Willison reconheceu que “a OpenAI não é mais a pioneira incontestada no domínio dos grandes modelos de linguagem.

*️⃣ Link da fonte:

Getty Images , disponibilidade geral , nova versão , Mixtral 8x22B , escreveu sobre , Google, anunciado , em seu blog , preço , priced , OpenAI , compartilhou um gráfico , atualizado , forneceu um exemplo , confusão , escreveu , pesquisas furtivas na web , problemas relatados , Getty Images , twittando um link de torrent , Mixtral 8x7B , Comando R\+ , alcançou a posição 6 , avançado ,