구글 딥마인드, 긴 쿼션에서 빠른 추론을 위해 설계된 가장 강력한 2B-파라미터 개방형 언어 모델 중 하나인 RecurrentGemma 출시
언어 모델은 현대 인공 지능 플랫폼의 기본 구성 요소로, 기기가 인간의 표현에 가까운 언어 콘텐츠를 이해하고 생산할 수 있도록 지원합니다. 언어 처리 및 예측은 자동 번역 서비스부터 대화형 에이전트에 이르기까지 다양한 애플리케이션에서 이러한 모델이 수행하는 중요한 기능을 구성합니다. 그럼에도 불구하고 이러한 모델의 개발은 주로 효율적인 기능에 필요한 광범위한 계산 및 메모리 요구 사항으로 인해 상당한 장애물을 안고 있습니다.
고급 언어 모델 개발의 중요한 과제는 계산 효율성을 유지하면서 복잡한 언어 작업을 처리하는 데 필요한 복잡성 수준 사이의 균형을 맞추는 데 있습니다. 보다 정교한 모델에 대한 수요가 증가함에 따라 더 강력하고 리소스 집약적인 컴퓨팅 리소스가 필요합니다. 그러나 이러한 모델은 확장된 텍스트 시퀀스를 처리해야 하므로 사용 가능한 메모리와 처리 용량을 빠르게 고갈시킬 수 있으므로 이러한 균형을 맞추기가 더욱 어려워집니다.
트랜스포머 기반 모델은 이러한 장애물을 극복하는 데 탁월한 역량을 보여 왔습니다. 이러한 모델은 텍스트의 다양한 부분에 집중하여 후속 요소를 예측할 수 있는 메커니즘을 활용하기 때문에 시간적 의존성이 긴 작업에 매우 적합합니다. 하지만 상당한 메모리와 계산 자산에 의존하기 때문에 긴 시퀀스나 제한된 용량을 가진 장치에는 적합하지 않은 경우가 많습니다.
구글 딥마인드 연구팀이 그리핀 아키텍처를 통합한 새로운 언어 모델인 RecurrentGemma 을 개발했습니다. 이 새로운 모델은 선형 재귀와 로컬 주의 메커니즘을 결합하여 기존 트랜스포머 모델의 비효율성을 해결합니다. 긴 텍스트 시퀀스를 효율적으로 처리하는 데 필수적인 메모리 공간을 줄이면서도 고성능을 유지할 수 있다는 점에서 혁신적입니다.
RecurrentGemma는 고정 크기 상태 내에서 입력 시퀀스를 효과적으로 압축하는 기능을 통해 기존 트랜스포머 모델과 차별화하여 이러한 아키텍처와 일반적으로 연관된 메모리 요구 사항의 바람직하지 않은 기하급수적 증가를 제거합니다. 이 혁신적인 설계는 계산 효율성을 향상시킬 뿐만 아니라 높은 수준의 정확도를 유지합니다. 실제로 성능 지표에 따르면 20억 개의 비임베딩 파라미터를 갖춘 RecurrentGemma는 Gemma-2B의 3조 개에 비해 약 2조 개로 약간 적은 데이터 토큰을 사용해 학습했음에도 불구하고 Gemma-2B와 같은 선행 모델과 비슷하거나 더 나은 결과를 달성하는 것으로 나타났습니다.
RecurrentGemma는 시퀀스 처리에서 놀라운 효율성을 입증하여 추론 속도를 향상시켰습니다. 비교 테스트 결과, 단 하나의 TPUv5e 디바이스만으로 초당 40,000개 이상의 토큰을 처리하여 기존 모델보다 성능이 뛰어난 것으로 나타났습니다. 이러한 장점은 확장된 시퀀스를 처리할 때 더욱 두드러지는데, RecurrentGemma는 시퀀스 길이가 길어질수록 성능이 저하되는 트랜스포머에서 흔히 발생하는 처리량 감소 문제 없이 일관된 고속 성능을 유지하기 때문입니다.
연구 스냅샷
요약하면, 이 연구는 계산 효율성과 모델 복잡성의 균형을 효과적으로 맞추는 최첨단 언어 모델인 RecurrentGemma를 Google DeepMind에서 수행한 것입니다. 선형 재귀와 국소 주의 메커니즘을 결합한 그리핀 아키텍처를 구현하여 강력한 성능을 유지하면서 메모리 소비를 크게 줄였습니다. 리커런트젬마는 확장된 텍스트 구절을 빠른 속도로 처리하는 데 탁월한 능력을 발휘하여 초당 40,000개의 토큰을 처리할 수 있는 속도를 달성했습니다. 이 획기적인 성과는 고급 언어 모델에서 흔히 볼 수 있는 상당한 리소스 요구 사항 없이도 최첨단 성능을 구현할 수 있음을 보여줍니다. 따라서 이러한 특성으로 인해 RecurrentGemma는 다양한 애플리케이션, 특히 리소스가 부족한 시나리오에 매우 적합합니다.
논문 및 Github 를 확인하세요. 이 연구에 대한 모든 크레딧은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.
저희의 노력에 감사하는 분들을 진심으로 초대합니다. 저희 뉴스레터를 구독해 주시면 기대 이상의 뛰어난 콘텐츠와 인사이트를 더 많이 보여드릴 수 있는 훌륭한 플랫폼이니 기대에 부응할 수 있을 것이라 확신합니다.
머신러닝 서브 레딧에서 40,000명이 넘는 회원으로 구성된 광범위한 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.
Google, NVIDIA, Meta, 스탠포드 대학교, 매사추세츠 공과대학(MIT), Microsoft 등 저명한 기관의 저명한 연구자들이 구독하는 빠르게 확장 중인 AI 연구 뉴스레터를 구독하세요.