CT-LLM: LLM 개발에서 중국어를 우선시하는 중추적인 변화를 보여주는 2B 소형 LLM

자연어 처리 영역에서 영어 중심주의가 널리 퍼지면서 역사적으로 영어를 주요 의사소통 수단으로 사용하지 않거나 사용하지 않는 전 세계 인구의 상당수가 소외되어 왔습니다. 다행히도 비영어권 인구를 위해 특별히 설계된 인공지능 언어학에 대한 선구적인 접근 방식인 중국어 소형 언어 모델(CT-LLM)의 등장으로 이러한 추세를 뒤집을 수 있는 혁신적인 돌파구가 곧 등장할 예정입니다.

언어적 다양성이 특징인 세계화 사회에서 인공지능(AI)의 발전은 언어 장벽의 만연으로 인해 방해를 받아왔습니다. 하지만 혁신적인 연구자 그룹이 CT-LLM이라는 획기적인 프로젝트를 통해 이러한 한계를 뛰어넘고자 했습니다. 전 세계에서 가장 많이 사용되는 방언 중 하나인 중국어에 특히 중점을 둔 이 선구자들은 최첨단 AI의 발전을 가로막는 의사소통의 장애물을 없애는 것을 목표로 합니다. 특히 CT-LLM은 다른 언어로 기능을 확장하기 전에 영어 데이터로 언어 모델을 주로 훈련하는 관행을 피함으로써 기존 방법론과 차별화됩니다. 대신, 이 야심찬 20억 개의 파라미터 모델을 구축하기 위해

CT-LLM은 특히 중국어 데이터에 중점을 두고 1,200억 개의 토큰으로 구성된 광범위한 데이터 세트에 대한 엄격한 사전 학습을 거쳤습니다. 사전 학습 코퍼스에는 총 8,404억 8,000만 개의 중국어 텍스트와 3,148억 8,000만 개의 영어 토큰, 993억 개의 코드 토큰 등 상당한 양의 중국어 텍스트가 포함되어 있습니다. 이러한 포괄적인 접근 방식을 통해 이 모델은 중국어를 이해하고 처리하는 데 있어 모범적인 역량을 발휘하는 동시에 다양한 문화적 배경의 다양한 언어적 맥락과 효과적으로 상호 작용할 수 있는 능력을 배양할 수 있습니다.

이러한 기능 외에도 CT-LLM은 최고 수준의 성능을 보장하기 위해 고급 방법론을 채택하고 있습니다. 선구적인 접근 방식인 감독 미세 조정은 모델의 중국어 작업 숙련도를 개선하는 동시에 영어 콘텐츠 처리 및 생산 능력을 확장합니다. 또한 DPO(직접 선호도 최적화)를 비롯한 선호도 최적화 전략을 활용하여 CT-LLM의 출력을 최적화함으로써 정확성과 안전성을 모두 보장합니다.

연구진은 중국어 지시를 이해하고 이를 효과적으로 실행하는 CT-LLM의 역량을 측정하기 위해 복잡한 난이도의 종합적인 세트인 중국어 하드 케이스 벤치마크(CHC-Bench)를 고안해냈습니다.CHC-Bench에서 CT-LLM이 달성한 인상적인 결과는 사회적 이해와 구성에 대한 탁월한 능력을 강조하며 중국어 언어 및 문화적 뉘앙스에 대한 깊은 이해를 강조했습니다.

CT-LLM의 등장은 전 세계 현대 인류 사회의 다양한 언어 환경을 아우르는 포괄적인 언어 모델을 만드는 데 있어 상당한 도약이 이루어졌음을 의미합니다. 중국어에 초점을 맞춰 시작된 이 선구적인 접근 방식은 널리 퍼진 앵글로폰 중심의 추세를 거스르고 더 다양한 언어와 문화적 맥락에 걸쳐 자연어 처리(NLP)의 획기적인 발전을 위한 새로운 지평을 열었습니다. 놀라운 효능, 새로운 방법론적 접근 방식, 접근 가능한 교육 요법을 갖춘 CT-LLM은 NLP 영역에서 보다 공평하고 포괄적인 미래를 위한 한 줄기 낙관론을 구현합니다. 기술이 발전함에 따라 언어가 더 이상 최첨단

논문 및 HF 페이지 를 방해하지 않게 될 것입니다. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희의 노력에 감사하는 분들께는 최신 노력과 제품에 대한 정보를 얻을 수 있는 훌륭한 리소스인 뉴스레터를 구독해 주시기를 진심으로 바랍니다.

현재 40,000명 이상의 회원을 자랑하는 Reddit의 광범위한 머신러닝 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

구글, 엔비디아, 메타, 스탠포드, MIT, 마이크로소프트 등 저명한 기관의 저명한 학자들이 열독하는 활발한 AI 연구 뉴스레터에 빠져보세요.