Google AI, LLM 정렬을 위한 고품질 합성 데이터 생성을 위한 머신 러닝 프레임워크인 CodecLM 출시

대규모 언어 모델(LLM)은 놀라운 깊이로 텍스트를 이해하고 생성하는 본질적인 능력으로 인해 자연어 처리 영역의 발전을 이끄는 데 필수적인 자산으로 부상했습니다. 다양한 애플리케이션에서 정교한 명령을 해독하고 실행하는 이러한 모델의 역량을 강화하기 위한 지속적인 최적화 노력이 진행 중입니다. 그러나 이러한 모델이 규정된 매개변수에 완전히 부합하지 않는 결과를 산출하는 경우가 빈번하게 발생한다는 문제가 여전히 만연해 있습니다. 이러한 불일치는 특히 특수 작업과 같이 뛰어난 정밀도가 요구되는 상황에서 효율성 저하로 이어질 수 있습니다.

기존 연구에서는 사람이 큐레이션한 데이터를 사용하여 대규모 언어 모델(LLM)을 튜닝하는 연구가 이루어졌으며, 대표적인 예로 GPT-4가 있습니다. WizardLM과 그 점진적 반복인 WizardLM\+와 같은 플랫폼은 모델 학습 효과를 높이기 위해 명령어의 복잡성을 증폭시켰습니다. Zhao 등이 수행한 연구와 Zhou 등이 수행한 연구는 교육 복잡성이 모델 정렬에 미치는 영향의 중요성을 입증합니다. 또한 Schick과 Schütze는 LLM의 문맥 학습 기능을 활용하여 합성 데이터의 자동 생성을 제안합니다. Hinton 등이 처음 제안한 지식 증류에서 파생된 기법을 사용하는 것도 전문화된 교육 작업을 위해 LLM을 연마하는 데 필수적인 역할을 합니다.

Google Cloud AI의 연구원들은 개별 사용자 요구 사항에 따라 대규모 언어 모델(LLM)을 교육하기 위해 맞춤형 데이터 세트를 생성하도록 특별히 설계된 CodecLM이라는 새로운 접근 방식을 고안했습니다. 인코딩-디코딩 프로세스를 채택하여 고도로 전문화된 교육 자료를 생성함으로써 LLM을 위한 다양한 작업에서 최적의 성능을 보장하는 CodecLM. 최첨단 셀프 루브릭 및 콘트라스트 필터링 전략을 통합한 이 기술은 생성된 합성 명령어의 정확성과 수준을 높일 뿐만 아니라 복잡한 명령을 정확하게 실행할 수 있는 LLM의 역량을 크게 향상시킵니다.

CodecLM은 원본 입력 명령을 압축된 메타데이터로 변환하는 새로운 인코딩-디코딩 전략을 채택하여 중요한 명령 특성을 캡슐화합니다. 이 메타데이터는 이후 특정 사용자 목표에 맞게 설계된 맞춤형 합성 인스트럭션의 생성을 용이하게 합니다. 교육 품질과 관련성을 높이기 위해 이 시스템은 셀프 루브릭을 활용하여 복잡성과 정확성을 도입하고, 대비 필터링은 성과 지표에 따라 가장 성과가 우수한 교육-응답 쌍을 선택합니다.여러 오픈 도메인 명령어 준수 평가를 통해 CodecLM의 효능이 입증되었으며, 기존 접근 방식과 비교했을 때 대규모 언어 모델(LLM) 정렬에서 상당한 발전을 보여줌으로써 광범위한 수동 데이터 라벨링이 필요하지 않음을 보여주었습니다.

CodecLM의 효율성은 다양한 벤치마크에 대한 여러 평가를 통해 철저하게 평가되었습니다. Vicuna 테스트에서 88.75%의 인상적인 용량 복구율(CRR)을 기록했으며, 이는 가장 근접한 경쟁 제품에 비해 12.5%나 향상된 수치입니다. 또한 셀프 인스트럭트 벤치마크에서는 82.22%의 CRR을 기록하여 경쟁사 대비 15.2%의 상당한 도약을 보여주었습니다. 이러한 결과는 다양한 애플리케이션의 복잡한 명령어를 이해할 때 대규모 언어 모델의 정밀도와 정렬을 강화하는 CodecLM의 탁월한 역량을 입증합니다.

요약하면, CodecLM은 맞춤형 합성 데이터 생성을 통해 대규모 언어 모델(LLM)과 특정 사용자 지시어를 조화시키는 데 있어 상당한 진전을 이루었습니다. 셀프 루브릭과 대조 필터링으로 강화된 획기적인 인코딩-디코딩 전략을 활용하는 CodecLM은 복잡한 지침을 준수하는 LLM의 정밀도를 현저히 향상시킵니다. LLM의 향상된 성능은 실제 애플리케이션에 적용되어 기존의 노동 집약적인 LLM 훈련 기법에 대한 확장 가능하고 경제적인 대안을 제공하는 동시에 특정 사용자 작업에 맞게 모델의 용량을 강화할 수 있습니다.

논문 을 확인하세요. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희의 노력에 감사하는 분들께는 뉴스레터 구독을 통해 저희의 지속적인 노력에 대해 더 많은 인사이트를 얻고 관심사에 맞는 새로운 개발 소식을 받아볼 수 있는 좋은 기회이므로 진심으로 초대합니다.

현재 4만 명이 넘는 회원을 보유한 빠르게 성장하는 서브 레딧에 가입하여 머신 러닝을 좋아하는 광범위한 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

인공 지능에 열정을 가진 150만 명 이상의 방대한 잠재 고객에게 도달하는 데 관심이 있으신가요? 저희 팀이 기꺼이 서비스를 제공하고 귀사의 목표 달성을 도와드리겠습니다. 이 방대한 커뮤니티에 귀사의 메시지를 전달할 수 있는 방법에 대한 자세한 정보가 필요하면 언제든지 문의해 주세요.

Google, NVIDIA, Meta, 스탠포드 대학교, 매사추세츠 공과대학(MIT), Microsoft 등 저명한 기관의 전문가들이 구독하는 빠르게 확장 중인 AI 연구 뉴스레터를 구독하세요.