KIVI: 튜닝이 필요 없는 플러그 앤 플레이 2비트 KV 캐시 양자화 알고리즘

최적의 기능을 위해서는 충분한 양의 메모리가 필요합니다. 이 메모리에는 모델이 이전에 접한 어휘 단위와 관련된 데이터가 포함됩니다. 모델이 새로운 결과물을 생성해야 하는 경우, 이 저장된 지식을 참조하여 의사 결정 과정을 용이하게 합니다. 그러나 필요한 메모리의 양이 많을수록 모델의 작동 속도가 느려지고 때로는 메모리 용량이 완전히 소진될 수도 있습니다.

대용량 언어 모델의 스토리지 요구 사항을 최소화하는 한 가지 접근 방식은 데이터를 압축하여 공간을 적게 차지하는 양자화를 사용하는 것입니다. 현재 일부 방법에는 양자화가 포함되어 있지만, 최적의 기능을 위해서는 광범위한 튜닝이 필요한 경우가 많습니다. 이러한 미세 조정과 관련된 반복적인 조정 프로세스는 힘들고 복잡할 수 있어 연구자와 개발자 모두에게 실제 구현 측면에서 어려움을 겪을 수 있습니다.

대규모 언어 모델(LLM)에서 활용되는 키-값(KV) 캐싱 시스템 내에서 원활하게 작동하도록 맞춤화된 직관적인 양자화 알고리즘인 KIVI를 소개합니다. 데이터 압축 프로세스를 간소화하도록 설계된 KIVI는 정교한 조정이나 미세 조정 없이도 스토리지 요구 사항을 효율적으로 줄여줍니다. 따라서 이 다목적 솔루션은 연구자와 개발자 모두 KIVI를 각자의 LLM 구성에 손쉽게 통합할 수 있어 광범위한 사용자 지정 절차가 필요하지 않습니다.

KIVI는 성능 저하 없이 메모리 소비를 최소화하는 놀라운 효율성을 입증했습니다. 실제로 다른 양자화 기술과 비교했을 때 메모리 사용률을 최대 2배까지 낮추는 것으로 입증되었습니다. 따라서 KIVI를 사용하는 대규모 언어 모델(LLM)은 정보를 더 빠르게 처리하고 더 큰 배치 크기를 수용할 수 있어 처리량이 눈에 띄게 증가합니다. 특히, Mistral-v0.2로 실시한 테스트 결과, KIVI는 고정밀 벤치마크와 비슷한 수준의 정확도를 달성하면서도 KV 캐시의 메모리를 5.3배만 사용하는 것으로 나타났습니다.

요약하면, KIVI는 광범위한 언어 모델에서 직면하는 메모리 제약 문제에 대한 복잡하지 않으면서도 효과적인 해결책을 제시합니다. 키-값 캐시 메모리에 정보를 압축적으로 저장함으로써 KIVI는 재보정할 필요 없이 메모리 소비를 줄입니다. 따라서 대규모 언어 모델(LLM)의 작동 속도가 향상되고 더 큰 배치 크기의 데이터를 관리할 수 있어 전반적인 효율성이 개선됩니다.앞으로 정량화 절차와 관련된 계산 부담을 줄이기 위해 추가 조정을 구현하여 KIVI를 더욱 간소화하고 사용자 친화적으로 만들 수 있을 것으로 예상됩니다.

논문 및 Github 를 확인하세요. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희의 노력에 감사하는 분들을 위해 뉴스레터를 구독해 주시면 더욱 관심을 끌 수 있는 최신 노력과 개발에 대한 정보를 얻을 수 있는 훌륭한 플랫폼이 되니 진심으로 초대합니다.

Reddit에서 4만 명 이상의 회원을 보유한 방대한 머신 러닝 애호가 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

인공 지능에 열정을 가진 150만 명 이상의 방대한 잠재 고객에게 도달하는 데 관심이 있으신가요? 저희는 귀사의 목표를 달성하는 데 도움이 되는 서비스와 전문 지식을 기꺼이 제공합니다. 저희와 협력하여 대규모 커뮤니티와 소통할 수 있는 이 특별한 기회를 활용하시기 바랍니다. 함께 협력하여 귀사의 메시지가 AI 세계의 최전선에 설 수 있도록 노력합시다.

Google, NVIDIA, Meta, Stanford, MIT, Microsoft 등 저명한 기관의 저명한 연구자들이 구독하는 빠르게 확장 중인 뉴스레터를 구독하세요.