Google AI, 트랜스포머 기반 대규모 언어 모델(LLM)을 무한히 긴 입력으로 확장하는 효율적인 머신 러닝 방법 도입

과거의 사건을 기억하는 능력은 개인의 지적 능력을 결정하는 데 중요한 역할을 하는데, 이는 개인이 이전 지식을 바탕으로 현재 상황에서 이를 활용할 수 있게 해주기 때문입니다. 그럼에도 불구하고 주의 메커니즘의 고유한 기능으로 인해 기존의 트랜스포머 아키텍처와 LLM 기반 아키텍처 모두 맥락에 따른 기억에 있어 제약에 직면해 있습니다. 특히, 이러한 모델은 입력 데이터의 크기에 따라 4제곱으로 확장되는 계산 리소스 및 메모리 사용량에 대한 수요가 증가합니다.

압축 메모리 시스템은 데이터의 장기 종속성을 처리하기 위한 효율성과 확장성 향상을 목표로 하는 매력적인 대안적 접근 방식을 제공합니다. 이러한 시스템은 확장된 입력 시퀀스를 수용하기 위해 메모리 용량을 늘려야 하는 기존의 주의 메커니즘과 달리, 정보를 저장하고 불러오는 데 필요한 고정된 매개변수 세트를 유지함으로써 이를 달성합니다.

이 인지 아키텍처의 매개변수 조정 절차의 목적은 접근성을 유지하면서 새로운 데이터를 장기 저장소에 통합하는 것입니다. 그럼에도 불구하고 현재의 대규모 언어 모델은 아직 효율성과 효과성의 균형을 맞추는 포괄적인 메모리 압축 기술을 구현하지 못하고 있습니다.

앞서 언급한 단점을 해결하기 위해 Google의 전문가 그룹은 제한된 메모리 공간과 계산 리소스를 유지하면서 임의 길이의 입력 시퀀스를 효율적으로 관리할 수 있는 혁신적인 방법론을 Transformer 대규모 언어 모델(LLM)에 적용했습니다. 이 접근 방식은 Infin

이라는 새로운 주의 메커니즘에 의존합니다. Infini-Attention의 획기적인 성과는 장기간의 시퀀스 처리 중에 메모리 관리를 효율적으로 관리할 수 있다는 데에 있습니다. 이 모델은 압축 메모리 스토리지를 활용하여 입력 길이가 증가하더라도 메모리를 확장할 필요 없이 미리 정해진 파라미터 세트를 유지합니다. 따라서 계산 비용이 허용 가능한 수준으로 유지되고 메모리 사용량이 제어됩니다.

연구팀은 이 접근 방식이 50만 개의 토큰으로 구성된 책 요약 생성, 최대 100만 개의 토큰 길이로 확장되는 시퀀스에 대한 컨텍스트 블록 검색, 대량의 데이터가 포함된 광범위한 언어 모델링 벤치마크 참여 등 다양한 작업에서 효과를 입증했다고 보고했습니다. 이러한 과제를 해결하기 위해 10억 개에서 80억 개에 이르는 다양한 매개변수 수를 가진 모델이 사용되었습니다.

이 방법의 주목할 만한 장점 중 하나는 메모리 사용량에 대한 제약 조건을 통합할 수 있어 모델에 필요한 계산 자원을 예측하고 관리할 수 있다는 점입니다. 또한, 제안된 기법을 사용하면 대규모 언어 모델(LLM)의 효율적인 온라인 처리가 가능해져 실시간 또는 실시간에 가까운 시나리오에서 순차적 데이터를 효과적으로 분석할 수 있습니다.

연구팀은 다음과 같은 요약 형식으로 주요 성과를 간결하게 정리했습니다.

혁신적인 주의 메커니즘인 Infini-Attention은 로컬 인과 주의와 포괄적인 압축 메모리를 원활하게 결합합니다. 이 새로운 접근 방식은 짧은 거리의 맥락적 관계를 보존할 뿐만 아니라 광범위한 길이에 걸쳐 있습니다. 기존의 확장된 점-산물 주의 방식을 미묘하게 조정함으로써 Infin

요약하면, 이 연구는 언어 모델(LLM) 영역에서 상당한 진전을 이루었으며, 계산 및 메모리 요구 사항과 관련하여 상당히 긴 입력 데이터를 효과적으로 관리할 수 있게 해줍니다.

논문을 확인하세요. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희의 노력에 감사하는 분들께는 관심을 불러일으킬 만한 최신 노력과 업데이트에 대한 정보를 얻을 수 있는 훌륭한 리소스인 뉴스레터를 구독해 주시기 바랍니다.

4만 명이 넘는 회원을 자랑하는 Reddit의 광범위한 머신러닝 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

인공 지능에 열정을 가진 150만 명 이상의 방대한 잠재 고객에게 도달하고 싶으신가요? 이 방대한 네트워크에 귀사를 연결해 드릴 수 있으니 더 이상 고민하지 마세요. 함께 협력하여 목표를 달성하고 AI의 세계에서 새로운 경지에 도달하세요.

빠르게 확장 중인 뉴스레터를 구독하고 Google, NVIDIA, Meta, 스탠포드, MIT, Microsoft 등 인공지능 분야의 저명한 기관의 저명한 연구자들이 구독하는 뉴스레터를 받아보세요.