MixedBread AI, 바이너리 MRL 도입: 새로운 임베딩 압축 방법으로 벡터 검색의 확장성을 높이고 임베딩 기반 애플리케이션을 활성화합니다.

Mixedbread.ai는 최근 64바이트 임베딩인 이진 MRL 를 도입하여 자연어 처리(NLP) 애플리케이션에서 메모리 집약적인 특성으로 인한 임베딩 확장 문제를 해결하고자 했습니다. 자연어 처리(NLP)에서 임베딩은 추천 시스템, 검색, 유사도 검색과 같은 다양한 작업에서 중요한 역할을 합니다. 그러나 임베딩의 메모리 요구 사항은 특히 대규모 데이터 세트를 다룰 때 상당한 문제를 야기합니다. 이 방법은 NLP 애플리케이션에서 임베딩의 유용성과 효율성을 유지하면서 임베딩에 사용되는 메모리를 줄일 수 있는 방법을 찾는 것을 목표로 합니다.

단어 임베딩을 생성하기 위해 현재의 최신 기술을 활용할 때 몇 가지 문제가 발생합니다. 이러한 문제 중 하나는 수천 또는 수만 개의 차원으로 구성된 고차원 임베딩을 생성하는 것인데, 이는 종종 float32의 형태로 표현됩니다. 이러한 요구 사항에는 상당한 계산 리소스와 메모리 용량이 필요하기 때문에 실제 적용이 어렵습니다. 이러한 문제에 대응하기 위해 mixedbread.ai 팀은 이러한 단점을 완화하기 위한 두 가지 주요 전략, 즉 마트료시카 표현 학습(MRL)과 벡터 정량화(Vector Quantization)를 확인했습니다.

제안된 접근 방식인 이진 MRL, 은 두 가지 방법을 결합하여 임베딩의 차원 축소와 압축을 동시에 달성합니다. MRL과 벡터 양자화를 통합하여 임베딩에 인코딩된 의미론적 정보를 유지하면서 메모리 사용량을 크게 줄이는 것을 목표로 합니다.

Binary MRL은 다중 인스턴스 학습 순환 신경망(MRL)을 통해 임베딩 모델의 차원을 줄이기 위한 혁신적인 접근 방식을 사용합니다. MRL 기법을 사용하여 모델은 더 적은 차원 내에 필수 정보를 집중하도록 훈련되어 중요하지 않은 측면을 쉽게 제거할 수 있습니다. 그 후, 임베딩의 각 저차원 측면을 이진 값으로 표현하기 위해 벡터 정량화가 구현됩니다. 이 이진 인코딩은 임베딩의 고유한 의미를 보존하면서 임베딩의 저장 요구 사항을 대폭 최소화합니다. 다양한 데이터 세트에 대한 광범위한 테스트를 통해 Binary MRL의 효율성이 입증되었으며, 훨씬 작은 임베딩을 사용하여 원본 모델에서 얻은 성능의 거의 90%에 가까운 성능을 얻을 수 있다는 것이 밝혀졌습니다.

요약하면, 이진 혼합 레일리 로직(Binary MRL)은 자연어 처리(NLP) 애플리케이션에서 임베딩과 관련된 확장성 문제를 해결하기 위한 혁신적인 솔루션을 제시합니다.이 기술은 다중 작업 강화 학습(MRL)과 벡터 정량화의 원리를 결합하여 성능이나 기능의 저하 없이 임베딩을 효과적으로 압축합니다. 이진 MRL은 단순히 스토리지 비용을 절감하는 것 외에도 메모리 제약으로 인해 이전에는 불가능했던 검색 작업을 가능하게 하여 NLP 기능의 범위를 넓혀줍니다.

이진 표현에 대한 후속 문의는 각 인스턴스가 포함된 각 요소에 대해 64바이트의 용량으로 구성되며, 디지털 영역에서 열정과 흥분을 전달하는 표현으로, 디지털 영역에서 열정과 흥분을 전달하는 표현입니다.

우리의 접근 방식은 임베딩 모델의 메모리 사용량을 획기적으로 줄여 예상을 뛰어넘는 98% 이상의 효율성 개선(무려 64배)을 달성했습니다. 이러한 상당한 감소에도 불구하고 바이너리 데이터를 사용하는 기존 모델 성능의 거의 90%를 유지했습니다.

모델: https://t.co/ZlbEJf3DKi
블로그: https://t.co/ZaalEm0U92

- mixedbreadai (@mixedbreadai) 2024년 4월 12일

Google, NVIDIA, Meta, 스탠포드 대학교, 매사추세츠 공과대학(MIT), Microsoft 및 기타 수많은 선도 기관의 저명한 전문가들이 널리 구독하는 빠르게 확장 중인 AI 연구 뉴스레터를 구독해 보세요.