AI의 더러운 작은 비밀: 스탠퍼드 연구원, 텍스트 탐지기의 결함 폭로

특정 텍스트가 인공지능에 의해 생성되었는지 여부를 식별하는 데 사용되는 GPT 탐지기는 영어를 모국어로 사용하지 않는 개인이 작성한 텍스트에 대해 종종 잘못된 평가를 내리는 것으로 관찰되었습니다. 이러한 잘못된 분류는 입사 지원서 및 학업 제출물과 같은 학업 및 직업적 맥락에서 심각한 결과를 초래할 수 있습니다.

최근 패턴 저널에 게재된 논문에서는 AI가 제작한 콘텐츠를 식별하는 데 일반적으로 사용되는 특정 계산 알고리즘이 모국어가 아닌 작가가 작성한 텍스트를 인위적으로 생성된 것으로 잘못 분류하는 경우가 많다는 사실이 실증적 증거를 통해 입증되었습니다. 이 놀라운 관찰은 이러한 AI 텍스트 감지 시스템의 신뢰성 부족과 관련된 잠재적인 부정적인 결과를 강조하며, 이는 학문적 추구뿐만 아니라 학생과 구직자를 포함한 개인의 직업적 전망에도 영향을 미칠 수 있습니다.

스탠포드 대학교의 교수이자 이 연구의 공동 저자인 제임스 조우에 따르면 이러한 센서를 사용할 때는 각별한 주의를 기울여야 하며, 가능하면 사용을 최소화할 것을 권장합니다. 이러한 장치가 이러한 성격의 작업에 사용될 경우 잠재적인 영향은 고용 지원서, 대학 입학 에세이 및 중등 학교 프로젝트와 같은 측면을 평가하는 데까지 확대될 수 있습니다.

OpenAI의 ChatGPT 챗봇이 보여준 것과 같은 최근의 인공지능의 발전으로 기계는 인간의 언어를 이해할 수 있을 뿐만 아니라 에세이 작성, 복잡한 수학 방정식 풀이, 컴퓨터 코드 생성 등 다양한 주제에 대해 일관된 서면 응답을 생성할 수 있게 되었습니다. 그 결과, 미국 전역의 교육자들은 AI 기술을 학생들의 학업에 통합할 경우 발생할 수 있는 잠재적 영향에 대해 우려를 표명하고 있습니다. 이에 대응하여 몇몇 교육기관에서는 할당된 과제가 기계로 생성된 것인지 아니면 사람이 작성한 것인지 구분할 수 있는 것으로 알려진 GPT 탐지기를 활용하고 있습니다. 그러나 이러한 탐지 시스템의 효과와 신뢰성은 아직 입증되지 않았으며 면밀한 조사가 필요합니다.

진위 여부를 식별하는 다양한 최신 언어 모델의 성능을 평가하기 위해 Zou 등은 널리 사용되는 7가지 GPT 탐지기와 관련된 실험을 수행했습니다. 실험 대상은 영어가 모국어가 아닌 사람이 쓴 91개의 영어 작문 모음으로, 전 세계적으로 인정받는 외국어로서의 영어 시험(TOEFL)에 제출된 것입니다.안타깝게도 50% 이상의 텍스트가 이 탐지기에 의해 인위적으로 생성된 콘텐츠로 잘못 분류되었으며, 한 특정 기기는 거의 모든 텍스트를 그렇게 분류했습니다. 특히, 미국 중학생이 작성한 에세이의 진위 여부를 평가할 때 동일한 탐지기가 90% 이상 사람이 작성한 글과 기계가 작성한 글을 정확하게 구분하는 놀라운 정확도를 보여주었습니다.

Zou는 이러한 탐지 도구의 기본 메커니즘이 텍스트의 당혹감, 즉 글에서 어휘 선택이 불러일으키는 놀라움의 정도를 측정하는 방식으로 작동한다고 설명합니다. 그는 일반적인 용어를 사용하면 알고리즘 결과의 난해성 점수가 낮아져 자동화에 대한 의혹이 제기되고, 반대로 다양하고 정제된 어휘를 사용하면 사람이 작성한 것으로 분류될 가능성이 높아진다고 가정합니다. 이러한 역설적인 현상은 ChatGPT와 유사한 모델이 훈련 단계에서 일반적인 인간 담화의 시뮬레이션을 강화하기 위해 낮은 난해도 값을 특징으로 하는 언어 패턴을 생성하도록 프로그래밍되었기 때문에 발생합니다(Zou의 추가 설명

결론적으로, 비원어민의 덜 복잡한 어휘 선택 활용

연구진은 이후 사람이 직접 작성한 토플 에세이를 ChatGPT에 입력하고, 기본 용어를 더 복잡한 용어로 대체하는 동시에 더 광범위한 고급 어휘 항목을 통합하여 내용을 수정하도록 지시했습니다. 작업이 완료된 후 GPT 식별자는 이러한 편집된 저작물을 사람이 작성한 것으로 분류했습니다.

최소한의 즉각적인 조작으로 쉽게 악용될 수 있는 내재적 편견이 존재하기 때문에 교육 환경에서 이러한 탐지 시스템을 사용할 때는 극도의 주의를 기울이는 것이 현명하다고 Zou는 주장합니다. 또한, 이러한 장치의 활용은 학계의 영역을 훨씬 넘어 인위적으로 생성된 콘텐츠의 가치를 떨어뜨리는 Google과 같은 검색 엔진의 경향에서 알 수 있듯이 영어를 모국어로 사용하지 않는 개인의 기여를 억압하는 결과를 초래할 수 있습니다.

AI 기반 도구는 학생의 학습 경험을 촉진하는 측면에서 여러 가지 이점을 제공할 수 있지만, 구현하기 전에 GPT 탐지기의 성능을 향상하고 철저히 평가하는 것이 중요합니다. 이와 관련하여 저우 박사는 교육 과정에 더 광범위한 서면 자료를 통합하면 이러한 탐지 시스템의 정확성과 효율성을 개선하는 데 기여할 수 있다고 제안합니다.

참조: “GPT 탐지기는 영어가 모국어가 아닌 작가에게 편향되어 있습니다.” Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu 및 James Zou, 2023년 7월 10일, Patterns.
DOI: 10.1016/j.patter.2023.100779

이 연구 프로젝트는 국립과학재단, 챈 주커버그 이니셔티브, 국립보건원, 실리콘밸리 커뮤니티 재단 등 다양한 저명한 기관으로부터 재정적 후원을 받았습니다.