언어 모델이 올림피아드 프로그래밍을 해결할 수 있을까요? 프린스턴 대학교 연구진이 코드 언어 모델을 엄격하게 평가하기 위한 USACO 벤치마크를 소개합니다.

대규모 언어 모델을 통한 코드 생성 개발은 평가 및 배포를 위한 필수적인 측면이 되었습니다. 그럼에도 불구하고 모델 크기와 새로운 추론 방법의 발전으로 인해 HumanEval 및 MBPP와 같은 몇몇 코딩 벤치마크는 90%가 넘는 높은 성공률을 보여 왔습니다. 따라서 현재 모델과 알고리즘의 제약을 드러낼 뿐만 아니라 알고리즘 추론 능력을 향상시키는 방법에 대한 인사이트를 제공하는 도전적인 벤치마크의 필요성이 대두되고 있습니다.

경쟁 프로그래밍은 까다로운 상황에서 새로운 알고리즘의 생성과 인간의 인지를 객관적으로 평가할 수 있는 적절한 방법을 제시합니다. 그러나 경쟁 프로그래밍 평가의 맥락에서 알고리즘 추론 능력을 적절히 측정하기에는 문제 유형의 다양성, 문제에 대한 철저한 검사 또는 철저한 테스트 세트가 충분하지 않았습니다.

이러한 한계를 고려하여 학자 그룹에 의해 과거 미국 컴퓨팅 올림피아드 대회에서 선별한 307개의 고난도 문제로 구성된 종합적인 코딩 벤치마크인 USACO가 도입되었습니다. 각 문제 세트에는 예시 입력-출력 쌍과 설명이 포함되어 있으며, 당면한 과제의 기초가 되는 시나리오도 함께 제공됩니다. 이러한 딜레마를 성공적으로 해결하려면 창의적이고 논리적인 추론 외에도 다양한 알고리즘, 수학적, 직관적 적성이 필요합니다.

주로 프로그램 합성에 중점을 두었던 이전의 벤치마크와는 달리, 최신 모델은 USACO와 같은 대회에서 성공하기 위해 다양한 맥락에서 추론하고 각 문제 시나리오에 제시된 고유한 과제에 맞는 새로운 알고리즘 솔루션을 고안하는 능력을 보여줄 것을 요구합니다. 안타깝게도 가장 진보된 언어 모델인 GPT-4조차도 이러한 유형의 대회에서 연쇄 사고 프롬프트 기법을 활용할 때 8.7%의 낮은 제로 샷 통과율을 보였습니다. 1

이 벤치마크는 공식 분석, 참조 솔루션 코드, 강력한 테스트 사례, 대회 프로그래밍 교재에 필적하는 교육 콘텐츠 등 포괄적인 리소스 세트를 제공합니다. 이러한 자산을 활용하여 자체 평가, 정보 검색 및 이들의 시너지 조합에 기반한 다양한 기술이 개발되었습니다. 검색 전술과 자기 성찰적 방법의 통합은 GPT-4의 제로 샷 풀이 능력을 3배 이상 향상시키는 등 눈에 띄게 향상된 성능을 보여주었습니다.그러나 모든 접근 방식은 초기 난이도 단계인 브론즈 레벨 이상의 문제를 해결하기에는 여전히 불충분합니다.

휴먼 인 더 루프 접근법을 활용한 최근 조사에서 몇 가지 지속적인 과제에 대한 귀중한 통찰력을 얻었습니다. 그 결과, GPT-4에 맞춤형 가이드를 제공함으로써 이전까지 난치성 딜레마 15개 중 13개를 성공적으로 해결할 수 있었으며, 이는 이와 관련하여 평가된 이전의 어떤 모델이나 방법론의 성과를 능가하는 것으로 나타났습니다.

팀은 다음과 같은 방식으로 그들의 핵심적인 기여를 간결하게 표현했습니다:

복잡한 수학 문제를 푸는 데 있어 머신러닝 알고리즘의 효율성을 측정하는 혁신적인 방법으로 미국 알고리즘 수학 경시대회(USACO) 벤치마크가 최근 확립되었습니다. 이 벤치마크는 엄선된 테스트 사례, 포괄적인 문제 분석, 엄격한 평가를 용이하게 하기 위해 고안된 귀중한 보충 자료로 구성되어 있습니다. 특별히 맞춤화된 추론 기법은 올림피아드 프로그래밍 경시대회에서의 적용 가능성과 관련하여 개발되고 면밀히 검토되었습니다. 경험적 연구 결과에 따르면 이러한 기법을 혼합하면 유망한 결과를 얻을 수 있지만, 벤치마크를 완전히 해결한다는 측면에서는 상당한 차이가 있는 것으로 나타났습니다. 이러한 방법의 예로는 정보 검색과 내성적 성찰이 있습니다. 이러한 접근 방식을 자동 테스트 절차와 구별하는 방법

논문 및 Github 을 확인하세요. 이 연구에 대한 모든 크레딧은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희의 노력에 감사하는 분들을 위해 저희 뉴스레터를 구독해 주시면 더욱 관심을 불러일으킬 수 있는 최신 노력과 제품에 대한 정보를 얻을 수 있는 훌륭한 리소스가 되니 진심으로 초대합니다.

40,000명 이상의 회원을 자랑하는 Reddit의 광범위한 머신러닝 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

콘텐츠 파트너십을 원하시면 이 양식을 작성해 주세요…

Google, NVIDIA, Meta, 스탠포드 대학, 매사추세츠 공과대학, Microsoft 등 저명한 기관의 전문가들이 열독하는 빠르게 확장 중인 AI 연구 뉴스레터를 구독하고, 이 분야의 수많은 선도 기관의 전문가들과 함께하세요.