Quão fiéis são os modelos RAG? Este artigo sobre IA de Stanford avalia a fidelidade dos modelos RAG e o impacto da precisão dos dados em sistemas RAG em LLMs
A Geração Aumentada de Recuperação (RAG) ganhou força significativa como uma tecnologia indispensável no domínio dos Grandes Modelos de Linguagem (LLMs), focada principalmente em aumentar a precisão por meio da integração de fontes de informação externas com o conhecimento do modelo existente. Dado que os LLMs são frequentemente limitados pelo âmbito dos seus dados de formação, o RAG assume suma importância para colmatar esta lacuna e facilitar o acesso a detalhes novos ou subtis, para além do alcance do seu corpus de formação original. Consequentemente, é imperativo que os sistemas RAG possuam a capacidade de processar eficazmente consultas relativas a assuntos contemporâneos ou complexos que podem não ter sido incluídos no conjunto de dados de formação inicial.
Um aspecto crucial das interações digitais dinâmicas é a integração da estrutura cognitiva interna de uma entidade com informações externas atuais e relevantes. Para que os algoritmos de geração de respostas (RAG) sejam eficazes, devem combinar habilmente estes factores para gerar respostas precisas e apropriadas, ao mesmo tempo que reconciliam eficazmente potenciais conflitos entre fontes de dados concorrentes, sem diminuir a fiabilidade do conteúdo gerado.
A pesquisa existente produziu a abordagem de Aumento em Tempo Real para Modelos Gerativos (RAG), que aumenta os modelos generativos por meio da recuperação de dados em tempo real para aumentar a precisão e a pertinência dos resultados gerados. Esta estrutura Generation-Enhanced Retrieve combina harmoniosamente a coleta dinâmica de informações com capacidades criativas, resultando em uma melhoria considerável na veracidade das respostas geradas. Modelos industrialmente popularizados como ChatGPT e Gemini empregam táticas aprimoradas de recuperação para embelezar as trocas de usuários, incorporando resultados de pesquisa atuais. As avaliações da eficácia destes sistemas são conduzidas através de testes rigorosos e plataformas de avaliação automatizadas, concentrando-se nas características funcionais e na confiabilidade dos sistemas RAG em implementações práticas.
A metodologia inovadora desenvolvida pelos pesquisadores de Stanford envolve um exame meticuloso de como os grandes modelos de linguagem (LLMs), particularmente o GPT-4, assimilam e avaliam informações externas obtidas por meio de sistemas de geração de agregação de recuperação (RAG). A característica distintiva desta técnica reside na sua ênfase na interação entre a base de conhecimento pré-existente de um modelo e a fidelidade dos dados provenientes de fontes externas, aproveitando vários graus de distorção para imitar as incertezas inerentes aos cenários do mundo real. Ao elucidar a capacidade de adaptação do modelo, esta análise oferece informações valiosas que são essenciais para a implementação eficaz de ferramentas de IA em diversos ambientes, onde a integridade dos dados pode flutuar consideravelmente.
O estudo implementou uma série de metodologias apresentando consultas ao GPT-4, incorporando documentação externa não distorcida e corrompida como contexto. Uma gama diversificada de conjuntos de dados foi empregada, abrangendo doses de medicamentos, conquistas atléticas e eventos contemporâneos de interesse jornalístico, proporcionando um exame extenso abrangendo diversas áreas de conhecimento. Para cada conjunto de dados foram introduzidas discrepâncias na precisão dos dados, avaliando as reações do modelo de acordo com sua capacidade de distinguir e priorizar detalhes relativos às verdades estabelecidas. Os pesquisadores aplicaram táticas de promoção “rigorosas” e “frouxas” para examinar a influência de implantações distintas de RAG na dependência do modelo de seus dados predeterminados, em vez de informações externas modificadas. Esta análise enfatizou o compromisso do modelo
A investigação revelou que quando informações válidas foram apresentadas, o GPT-4 corrigiu efetivamente seus erros em aproximadamente 94% dos casos, resultando em uma melhoria substancial na precisão da resposta. No entanto, quando fontes estranhas foram contaminadas com inexatidões, a dependência do sistema de dados errados aumentou notavelmente, especialmente quando a sua compreensão intrínseca diminuiu. A título de ilustração, houve uma diminuição perceptível na inclinação para a utilização de recursos externos em vez de confiar na própria compreensão, à medida que as discrepâncias entre os dados se tornaram mais pronunciadas. Consequentemente, isto exibiu uma associação convincente entre a fidelidade dos dados e a eficácia das estruturas de Gradiente Artificial Recorrente (RAG).
Em resumo, esta investigação realiza um exame abrangente dos sistemas de Reconhecimento e Ação Generativa (RAG) dentro de Grandes Modelos de Linguagem (LLMs), concentrando-se particularmente no equilíbrio mantido entre o conhecimento internalizado e as fontes externas de recuperação. As descobertas demonstram que, embora os sistemas RAG apresentem um aprimoramento considerável na precisão da resposta após o recebimento de detalhes extrínsecos precisos, sua potência diminui visivelmente nos casos em que tais informações são errôneas. Tais observações ressaltam a necessidade vital de refinar as arquiteturas do sistema RAG para distinguir de forma mais eficaz e assimilar dados exógenos de maneira transparente, garantindo assim maior confiabilidade e funcionalidade robusta em uma série de aplicações práticas.
Confira o documento. Todo o crédito desta pesquisa vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir no Twitter. Junte-se ao nosso canal Telegram, canal Discord e grupo LinkedIn.
Convidamos cordialmente aqueles que apreciam os nossos esforços a subscreverem a nossa newsletter, pois é um excelente meio de se manterem informados sobre os nossos últimos empreendimentos e desenvolvimentos que certamente despertarão o seu interesse.
Não perca a oportunidade de fazer parte de nossa extensa comunidade de aprendizado de máquina no Reddit, que possui mais de 40.000 membros.
Para parceria de conteúdo, preencha este formulário aqui.
Assine nosso boletim informativo de pesquisa de IA em rápida expansão, que é lido com entusiasmo por pesquisadores conceituados de instituições de prestígio como Google, NVIDIA, Meta, Universidade de Stanford, Instituto de Tecnologia de Massachusetts (MIT), Microsoft e inúmeras outras organizações ilustres.
*️⃣ Link da fonte: