Contents

Avaliando o conhecimento mundial e a memorização no aprendizado de máquina: um estudo da Universidade de Tübingen

Contents

Os Grandes Modelos de Linguagem (LLMs), como componente integrante da Inteligência Artificial, apresentam competência excepcional no tratamento de diversas tarefas que abrangem processamento de linguagem natural e procedimentos intrincados de tomada de decisão. No entanto, à medida que os LLM evoluem em complexidade, enfrentam obstáculos formidáveis, nomeadamente no que diz respeito à memorização de dados. Tais ocorrências suscitam questões urgentes sobre a capacidade destes modelos de generalizarem eficazmente através de conjuntos de dados variados, com os dados tabulares a continuarem a ser uma questão primordial que exige mais atenção dentro do domínio.

A memorização em grandes modelos de linguagem (LLMs) constitui uma dupla vantagem, bem como um desafio potencial. Esses modelos, como GPT-3.5 e GPT-4, apresentam proficiência excepcional no tratamento de cenários recorrentes de conjuntos de dados devido à sua capacidade de memorização. No entanto, este mesmo atributo pode potencialmente levar a problemas de sobreajuste, o que pode resultar num desempenho abaixo do ideal ao encontrar informações novas ou nunca antes vistas. Esta situação surge da maneira como estes modelos preservam e recuperam conjuntos de dados específicos aos quais foram submetidos durante o seu treinamento. Consequentemente, esta prática tem impacto na sua validade preditiva e fiabilidade quando confrontada com novos conjuntos de dados.

Nas abordagens contemporâneas, várias estratégias são implementadas para verificar se um modelo de linguagem grande (LLM) já se deparou com um conjunto de dados específico. Entre essas técnicas está a avaliação da capacidade do modelo de replicar com precisão os detalhes exatos de um determinado conjunto de dados. Isto é crucial para determinar se o desempenho excepcional de um LLM é derivado de uma aprendizagem autêntica ou simplesmente da recolha dos seus dados de formação. O estudo propõe inúmeras metodologias inovadoras para melhorar a identificação de padrões de memorização, como o emprego de “testes de exposição” para avaliar como os LLMs lidam e potencialmente memorizam seus dados de treinamento com precisão.

Pesquisadores da Universidade de Tübingen, do Centro de Inteligência Artificial de Tübingen e da Microsoft Research desenvolveram vários testes chamados coletivamente de “Teste de Cabeçalho”, que avalia a capacidade de um modelo de recuperar informações com precisão. Este teste visa avaliar várias dimensões de memorização e fornecer informações valiosas sobre como os modelos processam dados durante a fase de treinamento. Especificamente, o Teste de Cabeçalho determina se um modelo pode ou não replicar fielmente os elementos iniciais de um conjunto de dados em sua totalidade, sugerindo que ele reteve essas informações específicas sem qualquer desvio significativo.

Os resultados da investigação apresentam um retrato sutil da retenção de memória e sua influência na eficiência do modelo. Ao examinar as capacidades limitadas de aprendizagem de dados de grandes modelos de linguagem, como GPT-3.5 e GPT-4, observa-se que esses modelos exibem um desempenho substancialmente superior em conjuntos de dados encontrados anteriormente em comparação com os novos. Na verdade, o GPT-3.5 alcançou uma impressionante classificação de precisão preditiva de 0,96 quando aplicado a material familiar em sua configuração nativa, enquanto essa pontuação caiu para 0,62 ao ser submetido a alterações. Uma disparidade tão marcante sugere as possíveis desvantagens associadas à dependência excessiva da recordação.

/pt/images/evaluating-world-knowledge-and-memorization-in-machine-learning-a-study-by-the-university-of-tubingen.png

A pesquisa revela que a proficiência na recuperação de informações permite resultados superiores para tarefas bem conhecidas, mas não capacita inerentemente grandes modelos de linguagem (LLMs) para lidar habilmente com dificuldades sem precedentes. Quando confrontados com conjuntos de dados únicos, a eficiência global destes modelos persiste. No entanto, não demonstram qualquer vantagem discernível sobre as técnicas estatísticas convencionais, como a regressão logística ou as árvores com gradiente aumentado, indicando que a sua competência em regiões desconhecidas se baseia principalmente no conhecimento generalizável e não na memorização mecânica.

/pt/images/evaluating-world-knowledge-and-memorization-in-machine-learning-a-study-by-the-university-of-tubingen-1.png

Em resumo, este artigo de pesquisa oferece um exame perspicaz das ramificações da memorização em grandes modelos de linguagem, com ênfase particular em dados tabulares. O artigo destaca a importância de desenvolver técnicas para identificar e neutralizar as consequências adversas da memorização de dados, evitando assim o overfitting e garantindo um desempenho consistente em diversos domínios. À medida que os grandes modelos linguísticos continuam a avançar, encontrar um equilíbrio entre memorização e generalização assume uma importância acrescida para desbloquear a sua plena capacidade e garantir a sua aplicação prática em contextos da vida real. Os resultados desta investigação fornecem informações valiosas sobre os mecanismos funcionais dos LLMs e informam progressões futuras na pesquisa em inteligência artificial, buscando modelos capazes de abordar eficazmente desafios familiares e novos.

Confira o Paper e o Github. Todo o crédito desta pesquisa vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir no Twitter. Junte-se ao nosso canal Telegram, canal Discord e grupo LinkedIn.

Convidamos cordialmente aqueles que apreciam o nosso esforço a subscrever a nossa newsletter, pois é uma excelente plataforma que divulga ainda mais os nossos conteúdos e serviços excepcionais.

Não perca a oportunidade de fazer parte de nossa extensa comunidade de aprendizado de máquina no Reddit, que possui uma base de membros superior a 40.000 indivíduos.

Você está interessado em alcançar um vasto público de mais de 1,5 milhão de pessoas apaixonadas por inteligência artificial? Nossa organização é capaz de facilitar essa oportunidade para aqueles que optam por colaborar conosco. Convidamos você a unir forças conosco e aproveitar esta oportunidade única de se conectar com uma comunidade altamente engajada de entusiastas de IA.

Delicie-se com nosso boletim informativo de pesquisa de IA em rápida expansão, que é assinado com entusiasmo por especialistas conceituados de instituições de prestígio como Google, NVIDIA, Meta, Universidade de Stanford, Instituto de Tecnologia de Massachusetts (MIT), Microsoft e inúmeras outras organizações renomadas.

*️⃣ Link da fonte:

Artigo , Github ,