언어 모델 정렬의 혁신: 보상 모델을 사용한 제로 샷 교차 언어 전송으로 다국어 커뮤니케이션 향상

언어 모델 정렬은 인간의 선호도와 일관성을 보장함으로써 언어 기술의 사용자 중심성과 효율성을 향상시키는 데 필수적인 역할을 합니다. 그러나 이러한 목표를 달성하려면 방대한 양의 언어별 데이터에 액세스해야 하는 경우가 많으며, 특히 소외된 언어나 소수 언어를 다룰 때는 어려움이 따를 수 있습니다. 결과적으로 이러한 데이터의 제한된 가용성은 다양한 언어 커뮤니티에 맞는 효율적이고 공정한 다국어 모델 개발을 방해합니다.

MIT, 구글 리서치, 구글 딥마인드의 연구원들은 각 언어에 대한 특정 데이터 없이도 여러 언어에 걸쳐 언어 모델을 조정하는 새로운 전략을 도입했습니다. 제로 샷 교차 언어 정렬이라고 하는 이 접근 방식은 영어와 같은 단일 언어로 사전 학습된 보상 모델을 사용한 다음 추가 언어에 적용하는 방식입니다. 이를 통해 이 방법은 방대한 양의 언어별 학습 데이터에 대한 기존의 전제 조건을 피할 수 있습니다.

텍스트 요약 생성 및 개방형 대화 생성. 독일어, 영어, 스페인어, 러시아어, 터키어, 베트남어 등 다양한 언어적 맥락에서 강화 학습과 최적 순서 변경이라는 두 가지 최적화 전술을 사용함으로써, 대체 목표 관용구에 적용했을 때, 그 유용성을 유지하면서 네이티브 데이터 소스에 적합한 기존 모델보다 더 나은 성능을 보이는 경우가 많다는 것을 보여주었습니다.

이 접근 방식을 채택하여 얻은 결과는 놀라운 효과를 보여주었습니다. 실제로 인간 평가자가 실시한 평가에서 텍스트 요약 생성 관련 사례의 70% 이상에서 언어 간 정렬이 선호되는 옵션으로 선택되었습니다. 이러한 결과는 정렬된 모델이 생성한 결과에 대한 명확한 성향을 나타내며 실제 적용 가능성을 강조합니다.

이 연구에서는 다국어 보상 모델 사용의 효과에 관한 예상치 못한 결과도 발견되었습니다. 어떤 경우에는 서로 다른 소스 언어의 보상 모델을 활용했을 때 유사한 목표 언어의 보상 모델을 능가하는 결과가 나타났습니다. 예를 들어, 독일어 모델을 동기화하기 위해 영어 기반 보상 모델을 배포하면 독일어에서 파생된 보상 모델에 비해 더 일관된 결과물이 생성되었습니다.

증강 모델은 성능이 약간 떨어지는 한 가지 예외적인 경우를 제외하고는 다양한 조건에서 균일하게 긍정적인 결과를 산출했습니다. 평가한 거의 모든 사례에서 언어 간 보상을 강화하면 사람의 기대치에 비해 정렬 정확도와 일관성 모두에서 상당한 이득을 얻을 수 있었습니다.또한, 대화 생성 연습과 관련하여 이러한 조율된 프레임워크는 사용자 요구에 부합하는 정렬 일치도와 관련하여 조정되지 않은 프레임워크에 비해 15%에서 25%까지 통계적으로 유의미한 증가를 보였습니다.

요약하면, 제로 샷 교차 언어 정렬에 대한 조사는 광범위한 언어별 데이터의 부족으로 인한 장애물을 해결합니다. 이 접근 방식은 단일 언어 내에서 학습된 보상 모델을 다른 언어로 확장하여 적용함으로써 다국어 휴먼 레이블 데이터에 대한 요구 사항을 현저히 줄이는 것입니다. 연구 결과에 따르면 언어 간 정렬 모델을 선호하는 경향이 뚜렷하게 나타났으며, 동일한 언어 데이터를 사용하여 튜닝된 모델의 성능을 능가하는 경우도 있었습니다.

논문 을 확인하세요. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희 서비스에 감사하는 분들을 위해 저희 뉴스레터를 구독해 주시면 더 많은 관심을 불러일으킬 수 있는 최신 업데이트와 개발 소식을 독점적으로 제공해 드립니다.

4만 명이 넘는 회원을 자랑하는 Reddit의 광범위한 머신러닝 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

콘텐츠 파트너십을 원하시면 여기에서 이 양식을 작성하세요.

Google, NVIDIA, Meta, 스탠포드 대학교, 매사추세츠 공과대학(MIT), Microsoft 및 이 분야의 수많은 선도 기관의 저명한 전문가들이 구독하는 빠르게 확장되고 있는 AI 연구 뉴스레터를 구독하세요.