표준 프롬프트를 17% 능가하는 언어 모델 성능으로 언어 모델 성능을 향상시키는 스탠포드 U & Open AI의 메타 프롬프트

2023년 OpenAI에서 개발한 GPT-4, Anil 등이 제안한 PaLM, Touvron 등이 소개한 LLaMa 등 가장 최근의 혁신적인 언어 모델들은 광범위한 자연어 처리 및 생성 작업에서 탁월한 능력을 보여주었습니다. 하지만 이러한 인상적인 성과에도 불구하고 이러한 최첨단 모델들은 때때로 정밀도가 떨어지거나 잘못된 정보를 포함하거나 불일치하는 응답을 생성하는 것으로 관찰되어 전반적인 정확도와 복원력을 향상시킬 필요성이 강조되고 있습니다.

‘작업 진단 스캐폴딩으로 언어 모델 향상’에서는 메타 프롬프팅이라는 혁신적인 방법을 제시합니다. 연구 결과에 따르면 이 새로운 기법은 기존 프롬프트보다 17.1%, 동적(전문가) 프롬프트보다 17.3% 더 뛰어난 성능을 발휘합니다. 또한 멀티 페르소나 프롬프트도 15.2% 능가합니다.

메타 프롬프트는 고도의 전략적 사고와 의사결정 과정, 적응형 페르소나 할당, 다면 토론의 역동성, 자율적 오류 감지 및 성찰 등 최근 연구에서 탐구된 다양한 프롬프트 개념을 종합한 고급 접근 방식을 나타냅니다. 메타 프롬프트의 특징 중 하나는 일반적으로 뚜렷한 상황별 지시가 필요한 기존의 스캐폴딩 기법과는 달리 과제 중립적이라는 점입니다. 다양한 작업과 입력 형식에 걸쳐 높은 수준의 가이드라인을 균일하게 적용함으로써 개별화된 모든 작업에 맞는 포괄적인 예시나 명시적인 지시를 제공하는 데 어려움을 겪는 사용자에게 도움이 됩니다.

메타 프롬프트의 기본 원칙은 중앙 집중식 ‘메타 모델’이 최고의 권위자 역할을 하는 계층적으로 조직화된 구조를 포함합니다. 이러한 맥락에서 도메인 전문가라는 개념은 특정 작업을 수행하도록 특별히 훈련된 언어 모델, 특정 도메인과 관련된 쿼리를 처리하도록 설계된 전용 애플리케이션 프로그래밍 인터페이스, 심지어 메타 모델의 감독 하에 있는 계산기와 같은 계산 장치까지 포함하는 다양한 가능성을 포괄합니다. 개별 기능은 크게 다를 수 있지만, 이러한 모든 소위 전문가들은 메타 모델이라는 동일한 관리 주체의 적용을 받습니다.

본질적으로 특정 도메인 내에서 전문가의 모습은 특정 기능을 위해 개선된 언어 모델, 특정 분야와 관련된 쿼리를 처리하도록 설계된 전용 애플리케이션 프로그래밍 인터페이스, 심지어 계산기와 유사한 계산 기반 도구 등 다양한 모습을 취할 수 있습니다. 이러한 전문가들은 각자의 고유한 기능에 관계없이 메타모델의 가장 중요한 권한에 종속되어 있습니다.

우리 연구팀은 GPT-4를 핵심 언어 모델로 활용하는 일련의 종합적인 테스트에서 메타 프롬프트와 다른 과제 중립적 안내 전략에 대한 평가를 실시했습니다. 그 결과, 메타 프롬프트가 기존 프롬프트에 비해 17.1%의 우위를 보이며 우수한 성능을 보였습니다. 또한 전문가(적응형) 프롬프트와 비교했을 때는 17.3%, 다중 페르소나 프롬프트와 비교했을 때는 15.2%의 우위를 보이는 것으로 나타났습니다.

이 연구는 메타 프롬프트가 언어 모델의 역량을 강화하는 효과적이고 강력한 스캐폴딩 방법이라는 것을 보여줍니다. 경험적 연구 결과에 따르면 메타 프롬프트는 일반적인 성능을 향상시킬 뿐만 아니라 작업별 최적화 없이도 다양한 작업에서 최고 수준의 결과를 얻을 수 있는 경우가 많습니다.

논문 메타 프롬프트: 작업별 스캐폴딩으로 언어 모델 향상 arXiv .