구글 딥마인드가 AI 안전에 초점을 맞춘 새로운 조직을 구성합니다.
구글의 대표적인 GenAI 모델인 제미니에게 다가오는 미국 대통령 선거에 대한 허위 콘텐츠를 작성하라고 요청하면 올바른 프롬프트가 주어지면 작성합니다. 다가오는 슈퍼볼 경기에 대해 물어보면 플레이 바이 플레이를 만들어냅니다. 또는 타이탄 잠수정 폭발에 대해 질문하면 은 그럴듯해 보이지만 사실이 아닌 인용문과 함께 허위 정보 를 제공합니다.
구글에게는 말할 필요도 없이 좋지 않은 모습이며, GenAI 도구가 허위 정보를 제공하고 일반적으로 오도할 수 있는 용이성에 불만을 표시한 정책 입안자들의 분노를 불러일으키고 있습니다.
이에 따라 Google은 인공 지능 시스템의 안전을 보장하는 데 자원을 집중하기로 전략적 결정을 내렸으며, 그 결과 전 회계 분기에 비해 수천 명의 인력을 감축했습니다. 이러한 조치는 AI 안전을 최우선 순위로 삼는다는 회사의 공개적인 입장과 일치합니다.
Gemini 및 기타 여러 고급 GenAI 이니셔티브를 담당하는 연구 개발 부서인 Google DeepMind는 최근 AI 안전 및 정렬이라는 새로운 조직을 설립했습니다. AI 안전에 중점을 둔 기존 팀과 특별히 선발된 GenAI 전문가 및 엔지니어 그룹으로 구성된 이 조직은 인공지능의 안전하고 윤리적인 사용을 촉진하는 동시에 인간의 가치와 조화를 이루기 위해 노력합니다.
딥마인드 사이트에 등록된 개 일자리 개 개 개 외에 구글은 새 조직 설립으로 얼마나 많은 일자리를 창출할 수 있을지는 밝히지 않았습니다. 하지만 AI 안전 및 조정 부서에 인공 일반 지능(AGI) 또는 인간이 할 수 있는 모든 작업을 수행할 수 있는 가상의 시스템과 관련된 안전에 중점을 둔 새로운 팀이 포함될 것이라고 밝혔습니다.
딥마인드에 신설된 AI 안전 및 정렬 팀은 작년에 신설된 OpenAI의 슈퍼얼라인먼트 부서와 유사한 목표를 공유합니다. 이 팀은 아직 개발되지 않은 미래의 초지능 AI 시스템을 관리하기 위한 방법을 연구하고 있는 런던에 위치한 딥마인드의 기존 연구 그룹인 확장 가능한 정렬(Scalable Alignment)과 협력할 예정입니다.
이 질문은 Google이 동일한 문제를 해결하기 위해 노력하는 두 팀을 설립한 것과 관련된 질문입니다. 충분히 이해할 수 있는 우려이지만, Google의 공개 부족으로 인해 이 문제에 대한 자세한 정보는 아직 제공되지 않고 있습니다.그러나 새로 구성된 팀이 유럽이 아닌 미국에 기반을 두고 있다는 점에 주목할 필요가 있는데, 이는 경쟁사를 따라잡고 인공지능 개발에 신중하고 체계적인 모습을 보이기 위한 전략적 움직임으로 해석할 수 있습니다.
AI 안전 및 조정 조직의 팀은 기존 및 개발 중인 Google의 제미니 모델에 강력한 보안 조치를 통합하는 임무를 맡았습니다. 안전의 범위는 여러 분야를 포괄하지만, 유해한 의료 지침을 완화하고 어린이의 복지를 보호하며 편견 및 기타 형태의 차별 악화를 최소화하는 것을 최우선 과제로 삼고 있습니다.
웨이모에서 연구원으로 근무했으며 현재 UC 버클리에서 컴퓨터 과학 교수로 재직 중인 안카 드라간이 팀을 이끌도록 임명되었습니다.
AI 안전 및 조율에 중점을 둔 조직에서는 인간의 선호도와 가치를 보다 강력하고 신뢰할 수 있는 방식으로 이해하는 인공지능의 역량을 강화하기 위해 노력하고 있습니다. 이러한 노력에는 AI 시스템이 자신의 한계를 인식하고, 인간과 효과적으로 협업하며, 적대적 공격에 대한 잠재적 취약성을 해결하고, 인간의 가치에 대한 다양하고 끊임없이 변화하는 관점을 고려할 수 있도록 하는 것이 포함됩니다.
최근 구글 자율주행차 프로젝트가 직면한 도전의 역사를 고려할 때, AI 안전 시스템과 관련하여 Waymo에 전문 지식을 제공하는 데 Dragan이 참여한 것은 호기심을 불러일으킬 수 있다는 점에서 주목할 만합니다.
콜레 박사가 인간과 인공지능 간의 조화로운 상호작용을 위한 알고리즘 개발에 집중하는 연구소를 이끌고 있는 딥마인드와 UC 버클리 사이에서 자신의 전문적인 노력을 배분하기로 했다는 점도 주목할 만합니다. 인공지능 안전 및 조정 조직에서 다루는 장기적인 문제를 포괄하는 인공지능(AGI) 안전과 같이 가장 중요한 문제에는 이를 효과적으로 관리할 수 있는 전임자가 필요하다는 것을 유추할 수 있습니다.
그럼에도 불구하고 드래건은 UC 버클리의 연구실과 딥마인드의 연구가 서로 연관되어 있을 뿐만 아니라 상호보완적인 관계에 있다고 주장합니다.
그녀의 연구실과 그녀의 지도 아래, 점점 더 발전하는 인공지능의 능력에 대비하기 위한 수단으로서 가치 정렬을 보장하는 데 상당한 노력을 기울여 왔습니다. 개인적으로 박사 과정을 밟으면서 로봇이 인간에게 목표를 효과적으로 전달하면서 동시에 인간의 욕구를 이해하고 충족시킬 수 있는 방법을 탐구하면서 이 분야에 대한 호기심이 촉발되었습니다.창립자 데미스 하사비스와 수석 인공지능 과학자 셰인 레그를 비롯한 딥마인드의 존경받는 리더들은 저의 광범위한 연구 배경과 실존적 위험과 관련된 현재의 우려에 대처하고 해결책을 실행하는 것이 이분법적으로 고려될 필요가 없다는 저의 확고한 신념의 장점을 모두 인정했습니다. 사실 저는 단기적인 도전을 완화하기 위해 취해진 많은 조치들이
실제로 드라간이 상당한 도전에 직면해 있다고 말하는 것은 상당한 과소평가일 수 있다고 굳게 믿습니다.
특히 딥페이크 및 잘못된 정보와 관련하여 GenAI 도구에 대한 회의론이 사상 최고조에 달하고 있습니다. YouGov의 설문조사 에서 미국인의 85%는 잘못된 동영상 및 오디오 딥페이크의 확산에 대해 매우 우려하거나 어느 정도 우려한다고 답했습니다. 별도의 설문조사 AP 통신-NORC 공공문제연구센터의 조사에 따르면 성인의 약 60%가 2024년 미국 선거 기간 동안 AI 도구가 허위 및 오해의 소지가 있는 정보의 양을 늘릴 것이라고 생각하는 것으로 나타났습니다.
구글과 경쟁사들이 GenAI 기술의 발전을 통해 유치하고자 하는 대기업들도 이 기술의 한계와 잠재적 결과에 대해 신중한 태도를 보이고 있습니다.
인텔의 자회사인 Cnvrg.io는 최근 GenAI 앱을 시범 운영하거나 배포 중인 기업 곳을 대상으로 건의 설문조사를 실시했습니다. 그 결과 응답자의 약 4분의 1이 GenAI 규정 준수 및 개인정보 보호, 신뢰성, 높은 구현 비용, 도구를 최대한 활용하는 데 필요한 기술력 부족에 대해 의구심을 갖고 있는 것으로 나타났습니다.
리스크 관리 소프트웨어 제공업체인 Riskonnect의 별도 설문조사에서 경영진의 절반 이상이 직원들이 GenAI 앱의 부정확한 정보를 바탕으로 의사 결정을 내릴까 봐 걱정된다고 답했습니다.
이러한 우려는 기우에 불과하지 않습니다. 지난 주 월스트리트저널 에서는 Gemini와 구조적으로 유사한 GenAI 모델을 기반으로 하는 Microsoft의 Copilot 제품군이 회의 요약과 스프레드시트 수식에서 종종 실수를 저지른다고 보도했습니다. 이 문제는 GenAI의 조작 성향에 대한 포괄적인 용어인 환각이 원인이며, 많은 전문가들은 이 문제를 완전히 해결할 수 없을 것으로 보고 있습니다.
드라간은 AI 안전 문제의 복잡성을 인정하면서도 완벽한 해결책을 보장하지는 않으며, 향후 이 문제를 해결하기 위해 추가 자원을 할당할 계획이며 ‘적절한 시기에’ GenAI 모델과 관련된 위험을 평가하는 방법론을 확립하겠다고 약속할 뿐이라고 주장합니다.
제 생각에는 AI 시스템 학습에 활용되는 데이터에 남아있는 인간의 인지 편향을 고려하는 동시에 개선이 필요한 영역을 식별하기 위해 정확한 불확실성 추정치를 보유하는 것이 필수적입니다. 또한 추론 중에 실시간 모니터링 메커니즘을 통합하면 잠재적인 실패 지점이나 예상 결과와의 편차를 감지하는 데 도움이 될 수 있습니다. 또한, 중요한 의사 결정 프로세스에는 확인 대화를 구현하는 것이 좋습니다. 그러나 한 가지 어려운 점은 실제 배포 과정에서 드러날 수 있는 최소한의 확률에도 불구하고 AI 시스템이 바람직하지 않은 동작을 보이지 않을 것이라는 완전한 확신을 보장하는 것입니다.
고객, 일반 대중, 규제 기관의 일반적인 합의가 이러한 위반에 대해 어느 정도의 관용을 보일지는 아직 지켜봐야 하며, 그 심각성과 영향을 받는 당사자에게 미치는 영향이 먼저 결정되어야 합니다.
실제로 저희는 드래건의 표현대로 시간이 지날수록 사용자들이 더욱 유익하고 안전한 플랫폼을 계속 만나게 되기를 희망합니다.