최적화 기법을 통해 대규모 머신 러닝 모델의 양자화 절벽을 극복하는 방법을 연구하는 Cohere AI 연구원들
인공 지능의 출현은 대규모 언어 모델(LLM)의 개발을 통해 자연어 처리에 혁명을 일으켰습니다. 하지만 이러한 대규모 모델을 구현하는 데는 상당한 어려움이 따르며, 특히 전반적인 성능에 큰 영향을 미치는 학습 후 정량화(PTQ)와 관련해서는 더욱 그렇습니다. PTQ는 모델 파라미터와 활성화 값을 더 낮은 수치 정밀도로 줄여 압축함으로써 제한된 리소스에 쉽게 배포할 수 있도록 합니다. 정량화에 대한 높은 민감도가 더 큰 규모에서 내재적인 것인지 아니면 사전 학습 최적화 중에 내린 결정에 기인하는 것인지에 대한 상반된 증거로 인해 주목할 만한 수수께끼가 생깁니다.
Cohere AI의 연구진은 PTQ 감도를 둘러싼 수수께끼를 조사하기 위해 복잡한 실험을 수행했습니다. 가중치 붕괴, 드롭아웃, 그라데이션 클리핑, 반정확도 훈련 등 다양한 최적화 대안을 검토하여 이러한 요소가 사전 훈련 성능과 정량화의 안정성에 어떤 영향을 미치는지 이해하고자 했습니다. 연구팀은 특정 특성이 전적으로 모델 크기에 기인할 수 있다는 기존의 믿음에 도전하며, 그 대신 사전 훈련 중에 내린 결정이 양자화 결과를 크게 좌우한다고 주장합니다. 이 연구는 이러한 상세한 분석을 통해 모델 설계, 최적화 방법, 정량화의 결과 사이의 복잡한 관계를 규명하기 위해 노력합니다.
https://arxiv.org/abs/2305.19268
우리 팀은 방법의 복잡성에 대한 철저한 검토를 통해 다양한 최적화 대안이 모델 동작에 미치는 결과를 조사합니다. 과적합을 완화하기 위한 대표적인 전략인 가중치 감쇄의 효과를 조사하고, 사전 훈련 중에 가중치 감쇄 수준을 높이면 정량화 후 향상된 결과를 얻을 수 있다는 사실을 발견했습니다. 또한 이 세심한 조사를 통해 드롭아웃과 그라데이션 클리핑의 영향을 체계적으로 평가하여 양자화 안정성을 유지하는 데 중요한 역할을 한다는 것을 보여줍니다. 또한, 반정확도 훈련 데이터 유형의 선택에 대해 살펴보고, float16 또는 bfloat16을 사용하여 훈련된 모델의 성능을 대조합니다. 흥미롭게도 연구 결과에 따르면 bfloat16으로 훈련하면 이머전트 특성이 감소하는 것으로 나타났습니다.
연구자들은 자신들의 주장을 입증하기 위해 4억 1천만 개의 매개변수를 사용하는 중간 규모의 모델부터 520억 개의 매개변수를 사용하는 매우 광범위한 모델에 이르기까지 다양한 크기의 모델을 대상으로 일련의 테스트를 수행했습니다.소규모 모델에 대한 이러한 세심하게 설계된 실험은 검증에 필요한 토대를 제공했으며, 추론된 지식은 보다 실질적인 모델에 대한 테스트를 통해 추가로 확인되었습니다. 이러한 대규모 모델을 훈련하는 데 드는 막대한 계산 비용 때문에 완전히 개발된 모델의 동작을 측정하는 수단으로 초기 체크포인트에 의존해야 한다는 점은 주목할 필요가 있습니다. 그럼에도 불구하고 이 연구 결과는 이러한 초기 단계에서 모델이 보여준 성능이 완전히 학습되었을 때의 최종 결과를 정확하게 예측할 수 있음을 시사합니다.
요약하면, 연구진은 대규모 언어 모델에서 학습 후 정량화(PTQ)와 관련된 복잡성에 대한 정제된 관점을 제시합니다. 일반적인 생각과는 달리, 이들은 양자화에 대한 민감도가 단순히 규모의 문제가 아니라 다양한 최적화 결정에 의해 영향을 받는다고 주장합니다. 이러한 연구 결과는 대규모 언어 모델 배포에 대한 지속적인 논의에 중요한 기여를 하며, 궁극적으로 양자화 성능을 향상시키기 위한 실질적인 청사진을 제시합니다. 이 연구는 훈련 후 정량화에 영향을 미치는 요인을 심층적으로 분석하고 다양한 환경에서 대규모 언어 모델을 구현할 때의 광범위한 파급 효과를 조명함으로써 정량화 지형을 결정할 때 최적화 대안이 수행하는 중요한 역할을 강조합니다. 제기된 문제를 해결하기 위한 지속적인 노력의 맥락에서
백서를 확인하세요. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한, 35k\\+ ML 서브레딧, 41k\\+ 페이스북 커뮤니티, 디스코드 채널, 이메일 뉴스레터에 가입하여 최신 AI 연구 소식, 멋진 AI 프로젝트 등을 공유하는 것도 잊지 마세요.
유니티의 노력에 감사하는 분들을 위해 유니티 뉴스레터를 구독해 주시기 바랍니다. 뉴스레터는 유니티의 최신 노력과 개발 현황을 적시에 확인할 수 있는 훌륭한 플랫폼이므로 구독해 주시기 바랍니다.
Taplio의 지능형 콘텐츠 생성, 원활한 일정 관리, 포괄적인 인사이트, 업계 최고의 전문가와의 협업 기회로 LinkedIn 프로필을 강화하세요 - 지금 무료 평가판을 신청하세요!