A nova ferramenta da Microsoft pode compactar os prompts de IA em até 80%, economizando tempo e dinheiro

Resumo

A Microsoft Research introduziu recentemente o LLMLingua-2, uma abordagem inovadora para compactação neutra de tarefas de frases de entrada. Esta solução de ponta minimiza efetivamente o tamanho dos prompts para aproximadamente um quinto de suas dimensões originais, diminuindo assim as despesas e o tempo de resposta.

LLMLingua-2, um produto da Microsoft Research, emprega um método avançado para compactar sequências de entrada estendidas por meio da eliminação de elementos estranhos, mantendo dados críticos. Foi demonstrado que esse processo abrevia as entradas para até um quinto de seu tamanho inicial, reduzindo consequentemente as despesas e diminuindo a latência. Os investigadores responsáveis ​​por esta inovação expressaram que “a linguagem natural apresenta redundância excessiva com quantidades variáveis ​​de informação.

De acordo com a Microsoft Research, o LLMLingua 2 é de 3 a 6 vezes mais rápido que seu antecessor LLMLingua e métodos semelhantes. O LLMLingua 2 foi treinado utilizando exemplos do MeetingBank, que contém transcrições de reuniões e seus resumos.

O processo de compressão envolve alimentar o texto original em um modelo treinado, que avalia e atribui pontuações a cada palavra individual com base em sua relevância no contexto. As palavras que alcançam altos índices de retenção são posteriormente escolhidas para formular a versão condensada do texto.

Imagem: Microsoft Research Recomende nosso artigo Compartilhe

Ao avaliar o LLMLingua-2 usando vários conjuntos de dados, como MeetingBank, LongBench, ZeroScrolls, GSM8K e BBH, a equipe de pesquisa da Microsoft observou melhorias notáveis ​​no desempenho em comparação com benchmarks sólidos. Além disso, o modelo apresentou um alto grau de adaptabilidade ao exibir eficácia consistente quando aplicado a diversos modelos de linguagem grande (LLMs).

Alerta do sistema:

Sua proficiência linguística é exemplar, com notável capacidade de condensar textos extensos por meio da remoção criteriosa de termos insignificantes, preservando informações essenciais.

Solicitação do usuário:

Aderindo às restrições especificadas, aqui está uma versão condensada do texto fornecido, mantendo sua integridade o mais fiel possível:1. Retenção de Informações -Preservar todas as informações do texto original sem perder nenhum detalhe essencial ou alterar o significado.2. Estrutura das frases -Manter a estrutura das frases na sua forma original, garantindo coerência e legibilidade.3. Escolha de palavras-Use sinônimos quando necessário para maior clareza, mas não à custa de alterar a mensagem pretendida.4. Redução de comprimento -Encurte cada frase removendo palavras e frases desnecessárias, mantendo as ideias centrais.5. Formatação -Manter a mesma formatação e estrutura do texto original, incluindo

1. você SÓ pode remover palavras sem importância.

2. não reordene as palavras originais.

3. não altere as palavras originais.

4. não use abreviações ou emojis.

Sob nenhuma circunstância quaisquer novos itens lexicais ou representações gráficas devem ser incorporados nesta passagem.

[conteúdo a ser compactado].

O texto compactado é: […]

Prompt de compactação da Microsoft para GPT-4

O modelo demonstrou notável eficácia em uma série de tarefas linguísticas, incluindo resposta a perguntas, resumo e raciocínio lógico, superando métodos bem estabelecidos como o LLMLingua original e estratégias de contexto seletivo. Além disso, seu desempenho foi consistente em diversos modelos de grandes idiomas (LLMs), abrangendo desde GPT-3.5 até Mistral-7B, e até mesmo estendido a vários idiomas, abrangendo inglês e chinês.

O processo de implementação do LLMLingua-2 requer apenas uma quantidade mínima de codificação, consistindo em apenas duas linhas. Além disso, este modelo de linguagem foi perfeitamente incorporado tanto na renomada estrutura RAG LangChain quanto no LlamaIndex, que são conhecidos por seu uso generalizado em diversas aplicações.

A Microsoft fornece uma demonstração, exemplos práticos de aplicação e um script que ilustra os benefícios e a economia de custos da compactação imediata. A empresa vê isso como uma abordagem promissora para obter melhor generalização e eficiência com prompts compactados.

*️⃣ Link da fonte:

, LLMLingua 2 , uma demonstração , exemplos de aplicação e um script,