WizardLM-2: MT 벤치 벤치마크에서 GPT-4를 능가하는 성능을 자랑하는 오픈 소스 AI 모델
AI 연구자 그룹이 개발한 대규모 언어 모델 오픈소스 시리즈인 WizardLM-2의 출시는 인공지능 영역에서 주목할 만한 발전을 의미합니다. WizardLM-2 8x22B, WizardLM-2 70B, WizardLM-2 7B의 세 가지 모델로 구성된 각 모델은 기계 학습 능력의 한계를 확장하는 것을 궁극적인 목표로 특정 복잡한 작업을 처리하는 데 맞춰져 있습니다.
발전과 혁신
WizardLM-2 는 AI 분야에서 중요한 이정표로, 연구팀이 1년간의 광범위한 연구 개발의 결과물입니다. 연구팀은 복잡한 명령을 이해하는 모델의 능력을 향상시키기 위해 노력했으며, 새로운 모델은 채팅, 다국어 처리, 추론 및 에이전트 역할에서 뛰어난 성능을 보여줍니다. 이는 현재 사용 가능한 최고의 독점 대규모 언어 모델(LLM)과 동등한 수준입니다.
당사의 주력 제품인 WizardLM-2 8x22B는 전문가들의 평가를 거쳐 복잡한 작업을 위해 특별히 설계된 최고의 오픈 소스 대규모 언어 모델이라고 판단했습니다. 특히 WizardLM-2 70B는 논리적 사고에 탁월한 적성을 보여주기 때문에 광범위한 추론 능력이 필요한 까다로운 인지 작업에 적합한 옵션입니다. 또한 컴팩트 버전인 WizardLM-2 7B는 크기가 훨씬 작음에도 불구하고 다른 모델을 몇 배나 능가하는 빠른 응답 속도와 놀라운 효율성으로 놀라운 민첩성을 보여줍니다. 각 버전은 다양한 사용 사례에 적합한 고유한 장점을 가지고 있습니다.
방법론 및 훈련 기법
WizardLM-2 은 점진적 학습을 활용한 완전 AI 기반 합성 훈련 시스템을 비롯한 고급 기법을 사용하여 개발되었습니다. 이 접근 방식은 효과적인 학습에 필요한 데이터의 양을 줄이면서 모델의 능력을 향상시켰습니다.
‘AI Align AI’ 접근 방식은 이전 버전의 마법사 모델과 같은 고급 대규모 언어 모델을 위한 대화형 및 협력적 지적 환경을 조성하여 시뮬레이션 교환과 집단 학습 경험을 통해 능력을 향상시킬 수 있도록 지원합니다.
성능 평가
WizardLM-2는 GPT-4와 같은 다른 최고 성능 모델과 비교하여 사람과 자동화된 수단을 통해 일련의 종합적인 시험을 거쳤습니다. 이러한 평가 결과 WizardLM-2는 이러한 주요 모델과 동등하거나 그 이상의 성능을 달성한 것으로 입증되었습니다.
주요 시사점 및 향후 방향
WizardLM-2의 공개는 오픈 소스 소프트웨어 영역에서 중요한 랜드마크이며, 한때 독점 시스템에서만 사용할 수 있었던 최첨단 리소스에 대한 액세스를 제공합니다. 이 솔루션의 개발과 평가를 통해 다음과 같은 몇 가지 중요한 인사이트를 얻을 수 있었습니다:
WizardLM-2는 복잡한 인공 지능 작업에서 여러 독점적인 대안을 능가하는 탁월한 숙련도를 보여줍니다. 획기적인 학습 기법과 AI 공동 지도 방법론(AAA)은 학습 패러다임의 획기적인 발전을 의미하며, 궁극적으로 모델 개발의 효율성과 효과를 향상시킵니다. WizardLM-2는 소스 코드를 공개함으로써 AI 분야의 투명성과 협업을 촉진하여 다양한 분야에서 추가적인 창의성과 다용도 활용을 촉진합니다.
고지 사항: WizardLM-2의 프로젝트 페이지와 세부 정보는 현재 개발팀에서 마무리 작업 중입니다. 곧 출시될 예정입니다. 주기적으로 업데이트를 확인하고 전체 문서 및 리소스 에 액세스하세요.
우리는 할 수 있습니다! 첫 번째 오픈 LLM이 MT-Bench에서 @OpenAI GPT-4(3월)보다 성능이 뛰어납니다. 미세 조정 및 환경 설정으로 훈련된 WizardLM 2는 Mixtral 8x22B입니다!
TL;DR;
🧮 Mixtral 8x22B 기반 (141B-A40 MoE)
🔓 Apache 2.0 라이선스
🤖 최초 &; 9.00 오픈 LLM으로 MT-Bench에서
🧬 다단계 사용… pic.twitter.com/XcixP226Cz- 필립 슈미트 (@_philschmid) 2024년 4월 15일
Google, NVIDIA, Meta, 스탠포드 대학교, 매사추세츠 공과대학, Microsoft 등 저명한 기관의 주요 전문가들이 정기적으로 구독하는 빠르게 확장 중인 AI 연구 뉴스레터를 구독하세요.