작은 언어 모델도 고성능을 제공할 수 있을까요? 적절한 학습을 통해 텍스트와 코드를 생성하여 고성능을 제공하는 오픈 소스 언어 모델인 StableLM을 만나보세요.

30억, 70억, 150억, 650억. CC BY-SA-4.0 라이선스 규칙에 따라 개발자는 개인 및 상업용 프로젝트에서 StableLM 기본 모델을 검토, 활용 및 수정할 수 있습니다.

독점 AI를 대체할 수 있는 더 접근하기 쉽고, 더 광범위하며, 더 투명한 새로운 Stable Diffusion 이미지 모델은 Stability AI의 끊임없는 노력으로 2022년에 일반 대중에게 공개될 수 있었습니다. 이러한 성과를 바탕으로 Stability AI는 최근 StableLM 모델 세트를 공개하여 기본적인 AI 역량을 보급하기 위한 성전을 더욱 진전시켰습니다. 이 모델들은 강력한 텍스트 및 코드 생성 기능을 갖추고 있으며, 작고 효율적인 신경망을 어떻게 훈련하여 탁월한 결과를 제공할 수 있는지를 보여주는 모범 사례입니다.

연구팀과 비영리 연구 기관인 EleutherAI의 이전 협력 노력은 StableLM의 개발과 궁극적인 보급을 촉진했습니다. 이는 GPT-J, GPT-NeoX, Pythia 제품군 등 널리 사용되는 여러 언어 모델을 학습하는 데 기반이 된 Pile 오픈 소스 데이터 세트를 활용함으로써 이루어졌습니다. 이러한 이전 노력을 기반으로 한 후속 오픈 소스 언어 모델 중 주목할 만한 두 가지 예는 Cerebras-GPT와 Dolly-2입니다.

StableLM 학습에 활용된 데이터 세트는 더 파일에서 파생되었지만, 약 1조 5천억 개의 토큰을 포함하도록 확장되었습니다. 30억에서 70억 개에 이르는 비교적 적은 수의 매개변수(GPT-3의 1,750억 개에 비해)를 보유하고 있음에도 불구하고 StableLM은 데이터 세트의 포괄적인 특성으로 인해 대화 및 프로그래밍 작업 모두에서 탁월한 결과를 달성했습니다. 데이터 세트에 대한 자세한 내용은 추후 공개될 예정입니다.

알파카, GPT4All, 돌리, ShareGPT, HH. 스탠포드

“StableLM은 다음과 같은 기능을 구현하는 접근 가능하고 자비로운 AI 기술을 만들고자 하는 팀의 열망을 나타냅니다:

투명성은 잠재적 위험을 식별하여 안전장치를 만들 수 있기 때문에 AI 시스템의 성능을 보장하는 데 매우 중요합니다. 연구자는 개인 정보를 침해하거나 AI 기능에 대한 통제권을 포기하지 않고도 AI 모델의 내부 작동을 조사하여 투명성을 확보할 수 있습니다. 오픈 소스 모델을 수정하면 기업과 정부 기관은 일반 대중의 접근성을 유지하면서 고유한 요구 사항에 맞게 모델을 조정할 수 있습니다. 이러한 접근 방식은 AI 기술의 광범위한 채택을 촉진하여 사용자와 크리에이터 모두에게 경제적인 혜택을 제공하며, 우리의 목표는 인간의 지능을 대체하는 것이 아니라 증강하는 것입니다.실제 상황에서 특정 작업을 수행하는 AI의 능력을 향상시켜 개인과 조직 모두를 지원하는 것을 목표로 합니다.

사용자에게 제공되는 답변의 수준이 변동될 수 있으며, 미세 조정 및 강화 학습을 통해 개선되지 않은 사전 학습된 대규모 언어 모델에서 흔히 발생하는 불쾌한 언어나 견해가 포함될 수 있음을 팀에서 인정하고 있습니다. 그럼에도 불구하고 규모, 확장된 데이터 세트, 공동 입력 및 최적화의 발전으로 상당한 진전을 이룰 것으로 예상됩니다.

깃허브 및 안정성 AI 블로그 을 확인하세요. 최신 AI 연구 소식, 멋진 AI 프로젝트 등을 공유하는 19k+ ML 서브레딧, Discord 채널, 이메일 뉴스레터에 가입하는 것도 잊지 마세요. 위의 글과 관련하여 궁금한 점이 있거나 저희가 놓친 부분이 있다면 언제든지 Asif@All Things IT @AI

“AI 도구 클럽에서 광범위한 인공지능 도구 모음을 살펴보세요.

StoryBird.ai의 최신 발전으로 놀라운 기능이 추가되어 사용자가 주어진 프롬프트에 따라 일러스트레이션 내러티브를 만들 수 있습니다. 이 혁신에 대해 자세히 알아보고 싶으시다면 제공된 링크를 클릭해 주세요. 이 알림은 후원을 받았습니다.