Contents

MixedBread AI apresenta MRL binário: um novo método de compactação de embeddings, tornando a pesquisa de vetores escalonável e permitindo aplicativos baseados em embeddings

Contents

Mixedbread.ai introduziu recentemente o Binary MRL, uma incorporação de 64 bytes para enfrentar o desafio de dimensionar incorporações em aplicativos de processamento de linguagem natural (PNL) devido à sua natureza que exige muita memória. No processamento de linguagem natural (PNL), os embeddings desempenham um papel vital em várias tarefas, como sistemas de recomendação, recuperação e pesquisa de similaridade. No entanto, os requisitos de memória dos embeddings representam um desafio significativo, especialmente quando se trata de conjuntos de dados massivos. O método visa encontrar uma maneira de diminuir o uso de memória para embeddings, mantendo sua utilidade e eficácia em aplicações de PNL.

Vários desafios surgem ao utilizar técnicas atuais de última geração para gerar incorporações de palavras. Uma dessas questões inclui a produção de embutimentos de alta dimensão, muitas vezes constituídos por milhares ou mesmo dezenas de milhares de dimensões, representados na forma de flutuadores32. Esses requisitos exigem recursos computacionais substanciais e capacidade de memória, tornando problemática sua aplicação prática. Em resposta a esta situação, nossa equipe em mixedbread.ai identificou duas estratégias principais para mitigar essas deficiências-a saber, Aprendizagem de Representação Matryoshka (MRL) e Quantização Vetorial.

A abordagem proposta, Binary MRL, combina os dois métodos para obter redução simultânea de dimensionalidade e compressão de embeddings. Ao integrar MRL e quantização vetorial, o MRL binário visa reter as informações semânticas codificadas em embeddings, ao mesmo tempo que reduz significativamente o consumo de memória.

O MRL binário emprega uma abordagem inovadora para reduzir a dimensionalidade dos modelos incorporados por meio de Redes Neurais Recorrentes de Aprendizagem Multi-Instâncias (MRL). Ao empregar técnicas de MRL, o modelo é treinado para concentrar informações essenciais em menos dimensões, o que facilita a eliminação de aspectos insignificantes. Posteriormente, a quantização vetorial é implementada para representar cada aspecto de dimensão inferior da incorporação com valores binários. Essa codificação binária minimiza drasticamente os requisitos de armazenamento dos embeddings, preservando sua semântica inerente. Testes extensivos de MRL binário em diversos conjuntos de dados demonstraram sua eficácia, revelando que ele pode atingir quase 90% do desempenho obtido pelo modelo original utilizando incorporações muito menores.

Em resumo, a Lógica Binária Mixed-Rayleigh (Binary MRL) apresenta uma solução inovadora para lidar com as preocupações de escalabilidade associadas à incorporação em aplicações de Processamento de Linguagem Natural (PNL). Esta técnica combina princípios de Multi-Task Reinforcement Learning (MRL) e Vector Quantization para compactar efetivamente embeddings sem comprometer seu desempenho ou funcionalidade. Mais do que apenas reduzir despesas de armazenamento, o Binary MRL permite tarefas de recuperação anteriormente inatingíveis devido a restrições de memória, ampliando assim o escopo dos recursos de PNL.

É necessária uma investigação de acompanhamento sobre representações binárias, com cada instância consistindo de uma capacidade de 64 bytes para cada elemento incorporado, uma expressão que transmite entusiasmo e entusiasmo no mundo digital.

Nossa abordagem alcançou uma redução notável no uso de memória para nosso modelo de incorporação, superando as expectativas com uma melhoria de eficiência de mais de 98% (impressionantes 64 vezes). Apesar desta diminuição substancial, ainda conseguimos manter quase 90% do desempenho do modelo original utilizando dados binários.

Modelo: https://t.co/ZlbEJf3DKi Blog: https://t.co/ZaalEm0U92

—mixedbreadai (@mixedbreadai) 12 de abril de 2024

Assine nosso boletim informativo de pesquisa de IA em rápida expansão, amplamente lido por profissionais conceituados de instituições de prestígio como Google, NVIDIA, Meta, Universidade de Stanford, Instituto de Tecnologia de Massachusetts (MIT), Microsoft e inúmeras outras organizações líderes na área.

*️⃣ Link da fonte:

LMR binário , LMR binário, , https://t.co/ZlbEJf3DKi , https://t.co/ZaalEm0U92 , 12 de abril de 2024 ,