끝없이 쏟아지는 비처럼 말이 쏟아지고 있습니다: 다사다난했던 한 주간의 LLM 뉴스 요약
확대 / 날아다니는 편지에 놀란 소년의 이미지. 게티 이미지
AI 뉴스의 어떤 주는 섬뜩할 정도로 조용하지만, 어떤 주는 한 주 동안의 이벤트를 파악하는 것이 마치 물결을 막으려는 것처럼 느껴지기도 합니다. 이번 주에는 세 가지 주목할 만한 대규모 언어 모델(LLM)이 출시되었습니다: Google Gemini Pro 1.5가 무료 티어와 함께 일반 릴리즈 을, OpenAI는 새 버전 의 GPT-4 Turbo를, Mistral은 Mixtral 8x22B 의 새 공개 라이선스 LLM을 출시했습니다. 이 세 가지 출시는 모두 화요일부터 24시간 이내에 이루어졌습니다.
소프트웨어 엔지니어이자 독립 AI 연구원인 Simon Willison( 자신의 블로그에 이번 주에 있었던 바쁜 LLM 출시에 대해 글을 쓰기도 했습니다)의 도움을 받아 대략 시간순으로 세 가지 주요 이벤트를 간략하게 살펴본 다음 이번 주에 일어난 몇 가지 추가 AI 사건에 대해 자세히 알아보겠습니다.
Gemini Pro 1.5 일반 출시
확대하기 Google
화요일 오전(태평양 시간), Google 은 Gemini 1.5 Pro 모델(2월에 처음 다루었던)이 유럽을 제외한 180\\+ 국가에서 Gemini API를 통해 공개 미리 보기로 제공된다고 발표했습니다. 이는 지금까지 출시된 Google의 가장 강력한 공개 LLM으로, 하루에 최대 50건의 요청을 허용하는 무료 티어에서 사용할 수 있습니다.
최대 100만 토큰의 입력 컨텍스트를 지원합니다. Willison이 블로그에서 언급한 것처럼 , Gemini 1.5 Pro의 API 가격은 입력 토큰 7백만 달러, 출력 토큰 21백만 달러로 GPT-4 Turbo( 가격은 로 10백만 달러, 30백만 달러)보다 약간 저렴하고 Claude 3 Sonnet( 가격은 로 3백만 달러, 15백만 달러)보다 비쌉니다(Anthropic의 중간 계층 LLM, 은 3백만 달러, 1백만 달러).
Gemini 1.5 Pro는 사용자가 오디오 및 비디오 프롬프트를 모두 업로드할 수 있는 기본 오디오 입력 처리 지원 등 몇 가지 주목할 만한 기능을 제공합니다. 또한 보다 효율적인 파일 관리를 위해 업데이트된 파일 API를 제공하며, 모델 응답을 조정하기 위한 사용자 지정 시스템 지침을 통합할 수 있는 기능도 제공합니다. 마지막으로 다양한 소스에서 구조화된 데이터를 추출할 수 있는 JSON 모드가 도입되었습니다.
“대폭 개선된” GPT-4 Turbo 출시
확대 / OpenAI에서 제공한 GPT-4 Turbo 성능 차트. OpenAI
최근 Google의 1.5 Pro 버전 공개와 함께 OpenAI는 “Gpt-4-Turbo-2024-04-09"로 지정된 GPT-4 Turbo 시리즈의 업그레이드 버전을 출시하기로 결정했습니다. 이 향상된 버전에는 이미지 이해를 위한 다각적인 GPT-4 비전 기능이 통합된 것이 특징이며, 처음에는 API를 통해서만 액세스할 수 있습니다.
그리고 목요일, OpenAI는 새로운 GPT-4 터보 모델을 유료 ChatGPT 사용자가 사용할 수 있게 되었다고 발표했습니다. OpenAI는 새로운 모델이 “쓰기, 수학, 논리적 추론, 코딩 능력"을 향상시킨다고 밝혔으며, 명은 능력을 판단하는 데 특별히 유용하지 않은 차트 을 공유했습니다(나중에 이 로 업데이트됨). 또한 은 ChatGPT로 글을 쓸 때 AI 어시스턴트가 “더 직접적이고 덜 장황하며 더 많은 대화형 언어를 사용"한다며 개선이 필요하다는 예시 을 제공했습니다.
OpenAI의 GPT-4 터보 발표의 모호한 특성으로 인해 온라인에서 건의 혼란과 건의 비판이 있었습니다. 윌슨 은 X에 , “누가 진정으로 유용한 릴리스 노트를 게시하는 최초의 LLM 제공자가 될까요?“라고 썼습니다. 어떤 면에서 이것은 Claude 3의 데뷔 당시 LLM 벤치마크의 열악한 상태에 대한 한탄에서 논의했던 것처럼 다시 한 번 “AI 분위기"의 사례입니다. Willison은 인터뷰에서 “[GPT-4 터보와 관련된] 품질에 대한 확실한 차이를 실제로 발견하지 못했습니다.“라고 직접 말했습니다.
이 업데이트는 또한 GPT-4의 지식 차단을 2024년 4월까지 연장했지만, 일부 사람들은 스텔스 웹 검색 을 통해 이를 달성했다고 보고하고 있으며 소셜 미디어에서는 날짜 관련 혼란으로 문제를 보고했습니다.
미스트랄의 미스터리한 믹스트랄 8x22B 공개
확대 / 프랑스 국기를 들고 있는 로봇의 일러스트로, 미스트랄로 인해 프랑스에서 AI가 부상하고 있음을 비유적으로 표현한 것입니다. 사람이 직접 그림을 그리기는 어렵기 때문에 로봇이 대신 그려야 합니다. 게티 이미지
이에 뒤지지 않기 위해 화요일 밤, 프랑스 AI 기업 미스트랄은 이전 버전과 마찬가지로 문서나 해설 없이 토렌트 링크 를 트윗하여 최신 공개 라이선스 모델인 Mixtral 8x22B를 출시했습니다.
새로운 전문가 혼합(MoE) 릴리스는 이전에 가장 많은 기능을 제공했던 오픈 모델인 Mixtral 8x7B 보다 더 많은 매개변수 수를 가지고 있으며 12월에 다루었습니다. 잠재적으로 GPT-4만큼의 성능을 발휘할 수 있다는 소문이 돌고 있습니다(어떤 면에서요? 바이브).하지만 아직은 미지수입니다.
Willison이 인터뷰에서 언급했듯이, 평가는 계속 받고 있지만 가장 시급하게 해결되지 않은 문제는 Mixtral 22x8B의 성능과 관련된 것입니다. 독점 모델인 GPT-4 및 클로드 3 오푸스와 동등한 수준의 품질을 보여준다면, 이 특정 AI 언어 모델에 대한 오픈 라이선스가 제공된다고 해서 더 이상 해당 모델의 우월성을 타협할 필요가 없을 것입니다.
이 최신 릴리즈는 우리 분야의 흥미로운 발전을 상징하는 것으로, 이를 공유하게 되어 매우 기쁩니다. 이 출판물과의 인터뷰에서 저는 “이 제품이 실제로 GPT-4 모델의 기능을 갖춘다면, 상당한 처리 능력을 갖춘 하이엔드 노트북에서 효과적으로 작동할 수 있다는 점에서 그 잠재적 영향력은 엄청날 것입니다.“라고 말하며 흥분을 표현한 바 있습니다. 실제로 이 제품의 기능을 충분히 활용하려면 일부 최고급 노트북에서 제공하는 128GB와 같은 넉넉한 용량의 메모리가 장착된 최신 기기가 필요할 수 있습니다. 제 개인용 시스템은 이 요구 사항에 미치지 못하여 필요한 용량의 절반에 불과한 64GB를 자랑합니다. 그럼에도 불구하고 이러한 첨단 기술을 활용할 수 있을 것이라는 전망은
미스트랄이 개발한 최신 언어 모델인 믹스트랄은 아직 채팅 기반 상호작용을 위해 특별히 미세 조정되지 않았기 때문에 챗봇 아레나의 경쟁자 목록에 추가되지 않았습니다. 하지만 현재 어느 정도 커스터마이징을 거친 커뮤니티에서 만든 버전은 사용할 수 있습니다.
챗봇 아레나 순위표 흔들림
2024년 4월 12일에 챗봇 전용 아레나의 순위표 스크린샷이 캡처되었습니다. 이 이미지는 지정된 아레나 내에서 다양한 챗봇의 성능과 경쟁력에 따른 순위를 보여줍니다.
이번 주 LLM 뉴스는 이 분야의 유명 인사들에게만 국한되지 않습니다. 소셜 미디어에서는 Cohere의 Command R\\+ 와 같은 오픈 소스 모델의 성능 상승에 대한 소문이 돌기도 했는데, 는 LMSYS 챗봇 아레나 리더보드에서 오픈 웨이트 모델로는 역대 최고 순위인 6위 에 올랐습니다.
그리고 더 많은 챗봇 아레나 액션을 위해 새로운 버전의 GPT-4 Turbo가 Claude 3 Opus와 경쟁력이 있음을 입증하고 있습니다. 두 버전은 여전히 통계적으로 동률을 이루고 있지만, 최근 이 를 수치상으로 앞섰습니다. (지난 3월에 Claude 3가 처음으로 GPT-4 Turbo를 수치상으로 앞섰다고 보도했는데, 당시 다른 AI 모델이 리더보드에서 GPT-4 제품군 모델을 넘어선 것은 이번이 처음이었습니다).
비전문가인 대다수의 대중은 아직 잘 모르고 있고 앞으로도 그럴 가능성이 높은 대형 언어 모델 간의 치열한 경쟁에 대해 Willison은 “지난 두 달은 격동의 소용돌이였으며 이제 우리는 GPT-4와 동등한 수준의 여러 모델을 보유하고 있다"고 Ars Technica에 밝혔습니다. 올해 말 출시될 것으로 예상되는 OpenAI의 GPT-5가 한때 무적이라고 여겨졌던 이 분야의 우위를 다시 회복할 수 있을지는 아직 지켜봐야 합니다. 그러나 현재로서는 “대규모 언어 모델 영역에서 OpenAI가 더 이상 도전받지 않는 선두주자는 아니다"라고 윌슨은 인정했습니다.