스탠포드 연구진이 파셀을 소개합니다: 코드 대규모 언어 모델 LLM으로 복잡한 알고리즘을 자동으로 구현하고 검증할 수 있는 인공 지능 AI 프레임워크 소개

대규모 언어 모델(LLM)이 효과적으로 추론할 수 있도록 하는 데 있어 괄목할 만한 진전이 있었지만, 고급 프로그램 작성과 같은 복잡한 다단계 추론 작업에는 여전히 어려움을 겪고 있습니다. 인간 프로그래머는 LLM과 달리 까다로운 과제를 독립적으로 해결할 수 있는 모듈형 및 구성 요소로 분해하는 데 능숙합니다. 또한 사람이 만든 코드에 결함이 발생하면 애플리케이션의 나머지 부분에는 영향을 주지 않고 소프트웨어의 일부만 다시 작성하면 문제를 해결할 수 있는 경우가 많습니다. 반면에 LLM이 오류 없는 토큰 시퀀스를 생성한다는 것은 비현실적으로 기대하기 어렵습니다.

스탠포드 대학교에서 실시한 최근 연구는 소프트웨어 개발에서 문제 분해 및 구성을 위해 언어 모델(LLM)을 활용하는 데 중점을 두었습니다. 연구팀은 자연어로 설명된 함수와 구현된 함수의 의도된 기능을 결정하는 제약 조건으로 구성된 사양을 받아들이는 컴파일러인 파셀(Parsel)을 제안했습니다. 이 도구를 사용하면 프로그래머는 일반 언어를 사용하여 프로그램을 작성할 수 있으며, 복잡한 코딩 과제를 이전의 최첨단 기술(SoTA) 벤치마크를 75% 이상 능가하는 수준에서 해결할 수 있습니다.

현재 당면한 작업에는 함수의 기능 사양과 해당 함수가 의존하는 다른 함수의 서명을 대규모 언어 모델(LLM)에 제공하는 것이 포함됩니다. 목표는 LLM이 지정되었을 수 있는 제약 조건을 고려하여 함수의 구현을 생성하는 것입니다. 이를 위해 컴파일러는 실행 가능한 구현 순열을 발견할 때까지 가능한 모든 구현 순열을 체계적으로 탐색합니다.

이전 연구에 따르면 프로그래밍 언어에 사용되는 계산 모델은 인간의 능력과는 달리 여러 소규모 연산을 실행할 수 있는 코드를 생성할 수 없는 것으로 나타났습니다. 파셀이 제시하는 혁신은 작업을 더 작은 구성 요소로 분해하고 이를 구현하는 과정 간의 분업화를 통해 자연어 코딩과 파셀 코딩의 능숙한 사용을 모두 가능하게 한다는 데 있습니다.

복잡한 계획을 자동으로 실행할 수 있는 간단한 계획으로 세분화하는 과정은 파셀의 개발과 활용에서 알 수 있듯이 인간의 의사 결정에 있어 반복되는 주제입니다. 이러한 모듈식 접근 방식은 언어 모델에도 유용하며, 저자들은 제한된 데이터에서 파셀을 생성하고 APPS 데이터 세트의 문제를 해결할 때 현재 벤치마크에 비해 우수한 결과를 얻을 수 있는 능력을 통해 이를 입증했습니다. 또한, 로봇에 대한 세부 지침을 공식화하기 위해 파셀을 사용하면 더 정확한 계획을 세울 수 있으며, 이 모델은 기본 제로 샷 플래너보다 67% 이상 뛰어난 성능을 발휘합니다.

코딩 대회에서 풍부한 경험을 쌓은 노련한 참가자인 가브리엘 포에시아가 파셀을 활용하여 대회에서 흔히 접하는 일련의 까다로운 과제를 해결했을 때 그 효과를 입증했습니다. 그는 6시간 만에 제시된 문제 10가지 중 5가지에 대한 해결책을 찾아냈으며, 여기에는 이전에 GPT-3가 장애물에 부딪혔던 세 가지 사례도 포함되었습니다.

연구자들은 파셀을 다용도 프레임워크로 캐스팅하여 정리 증명 및 알고리즘 추론이 필요한 다른 작업에도 활용할 수 있음을 보여줍니다.

앞으로 몇 주 안에 저희 팀은 자율적인 단위 테스트를 생성하는 혁신적인 시스템을 도입할 계획입니다. 한 가지 잠재적인 전략은 예외적인 사례를 찾아내고 이미 테스트된 기능 집합에 대해 추가 기능에 대한 합의가 존재하는지 평가하는 것입니다. 이러한 접근 방식은 구현 순열의 급격한 확산을 방지함으로써 자동화된 코드 분할을 용이하게 할 수 있다고 생각합니다. 또한 소프트웨어 또는 애플리케이션의 중요한 부분을 자세히 설명할 때 균형 잡히면서도 간결한 스타일을 유지할 수 있도록 언어 모델의 ‘신뢰도 임계값’을 미세 조정할 것을 제안합니다.

논문 , Github , 프로젝트 페이지 을 확인하세요. 이 연구에 대한 모든 크레딧은 이 프로젝트의 연구진에게 있습니다. 또한 최신 AI 연구 소식, 멋진 AI 프로젝트 등을 공유하는 13k+ ML 서브 레딧, Discord 채널, 이메일 뉴스레터에 가입하는 것을 잊지 마세요.

스토리버드와 관련하여 여러분과 공유할 흥미로운 소식이 있습니다. 이 플랫폼은 최근 사용자가 주어진 프롬프트에서 그림으로 된 내러티브를 만들 수 있는 놀라운 기능을 도입했습니다. 이 혁신에 대해 자세히 알아보고 싶으시다면 아래 링크를 방문해 주세요. 이 정보는 후원을 받고 있음을 알려드립니다.