잠바-7B: 크기는 작고 성능은 뛰어난 Zyphra의 새로운 AI 모델을 만나보세요.

더 효율적이고 강력한 AI 모델을 만들기 위한 경쟁에서 Zyphra는 새로운 잠바-7B 모델 을 통해 중요한 돌파구를 마련했습니다. 이 70억 개의 파라미터로 구성된 소형 모델은 더 크고 리소스 집약적인 모델과 경쟁할 뿐만 아니라 성능과 효율성을 모두 향상시키는 새로운 아키텍처 접근 방식을 도입했습니다.

Zamba-7B 모델 는 머신 러닝의 놀라운 성과입니다. 이 모델은 Zyphra의 전문가들이 개발한 ‘맘바/어텐션 하이브리드’라는 혁신적인 구조를 활용합니다. 이 독특한 구조는 맘바 블록의 효율성과 글로벌 공유 관심 계층을 결합하여 장기적인 데이터 종속성에서 학습하는 모델의 능력을 크게 향상시킵니다. 또한, 이 설계는 6개의 맘바 블록마다 적용되어 대규모 계산 오버헤드 없이도 학습 프로세스를 최적화하므로 매우 효율적이고 실용적인 솔루션이 될 수 있습니다.

가장 인상적인 성과 중 하나는 Zamba-7B i 의 놀라운 훈련 효율성입니다. 이 모델은 단 7명의 연구원으로 구성된 팀이 30일 동안 128개의 H100 GPU를 사용하여 개발했습니다. 연구팀은 오픈 웹 데이터 세트에서 추출한 약 1조 개의 토큰으로 모델을 학습시켰습니다. 훈련 과정에는 저품질 웹 데이터로 시작한 다음 고품질 데이터 세트로 전환하는 두 단계가 포함되었습니다. 이 전략은 모델의 성능을 향상시킬 뿐만 아니라 전반적인 계산 수요도 줄여줍니다.

비교 벤치마크에서 Zamba-7B 이 LLaMA-2 7B 및 OLMo-7B보다 성능이 더 우수합니다. 더 적은 데이터 토큰을 사용하면서 더 큰 모델인 미스트랄-7B 및 젬마-7B와 거의 동등한 성능을 달성하여 설계 효율성을 입증합니다.

지프라는 인공지능 연구 분야에서 일하는 사람들 간의 협력을 촉진하기 위해 혁신적인 인공지능 시스템인 잠바-7B와 관련된 모든 훈련 체크포인트를 아파치 2.0 라이선스에 따라 공개했습니다. 잠바-7B의 독특한 특징은 오픈 소스, 뛰어난 성능, 놀라운 효율성에서 비롯됩니다. 가까운 시일 내에 Zyphra는 잠바와 허깅페이스를 결합하고, 이 작업을 활용하고 확장하고자 하는 AI 커뮤니티의 다른 사람들에게 유용한 리소스를 제공할 자세한 기술 문서를 게시할 계획입니다.

인공지능의 발전은 성능과 환경적으로 책임감 있고 포용적인 인공지능 시스템 개발을 촉진하는 측면에서 모두 뛰어난 Zamba-7B와 같은 혁신적인 모델에 달려 있습니다. 이러한 모델은 자원을 덜 소비하므로 에너지 효율적이고 환경을 고려한 AI 개발 방법론을 촉진합니다.

주요 내용:

잠바-7B는 계산 부담을 최소화하는 동시에 학습 숙련도를 증폭시키는 독특한 글로벌 공유 관심 계층과 함께 맘바 블록의 통합을 통한 혁신적인 설계를 자랑합니다. 이 모델은 단 1조 개의 트레이닝 토큰만으로 인상적인 결과를 달성하여 기존 접근 방식에 비해 상당한 효율성 향상을 보여주었습니다. 오픈 소스에 대한 노력에 따라 모든 훈련 체크포인트를 Apache 2.0 라이선스에 따라 공개하여 AI 연구 커뮤니티 내 투명성과 협업을 촉진했습니다. 또한, Zamba-7B는 크기가 작고 처리 능력이 최적화되어 있어 소비자급 하드웨어에 배포하기에 매우 적합하며, 다양한 애플리케이션에 걸쳐 잠재적인 영향력을 강화할 수 있습니다.