적대적 AI가 아무도 예상하지 못한 사이버 위협인 이유

Maya Patel included in Ai, Ml And Deep Learning Data Security And Privacy Hiddenlayer Llms Ml Mlops Machine Learning Network Security And Privacy Sdlc Security Ai Category-/Computers & Electronics Cyberattacks Cybersecurity Large Language Models Red Teaming Supply Chain Attacks Weaponize Llms

2024-03-23 889 words 5 minutes

Contents

최근 보고서 에 따르면 보안 리더의 의도와 AI 및 MLOps 보안을 위한 행동이 일치하지 않는 것으로 나타났습니다.

IT 리더의 압도적인 다수인 97% 는 AI 보안과 시스템 보호가 필수적이라고 답했지만, 61%만이 필요한 자금을 확보할 수 있을 것이라고 확신했습니다. 인터뷰에 참여한 IT 리더의 대다수인 77% 이 어떤 형태로든 AI 관련 침해(모델에 국한되지 않음)를 경험했다고 답했지만, 30%만이 MLOps 파이프라인을 포함한 기존 AI 개발에 적대적 공격에 대한 수동 방어 체계를 구축했다고 답했습니다.

Amazon Web Services에서 최근 실시한 설문조사에 따르면 잠재적인 사이버 공격에 대비하기 위한 계획을 실행한 조직은 14%에 불과했습니다. 이 회사는 MLOps를 ‘자동화를 통해 머신 러닝 기술을 개발하고 구현하는 프로세스를 간소화하고 단순화하는 것을 목표로 하는 접근 방식’이라고 정의합니다.

AI 기반 시스템은 IT 리더의 운영에 점점 더 필수적인 요소가 되었으며, 이러한 기술은 다양한 위협 벡터에 걸쳐 있는 악의적인 AI 기반 공격의 매력적인 표적이 되고 있습니다.

IT 리더의 기업에서는 평균적으로 1,689개의 모델을 운영 중이며, IT 리더의 98%는 일부 AI 모델을 성공에 결정적인 역할을 하는 것으로 간주합니다. 83%는 조직 내 모든 팀에서 널리 사용되고 있다고 답했습니다. 보고서의 분석가들은 “업계는 자산 보안 대책을 마련하지 않은 채 AI 도입을 가속화하기 위해 열심히 노력하고 있습니다.“라고 말합니다.

HiddenLayer의 AI 위협 환경 보고서 은 AI 기반 시스템이 직면한 위험과 AI 및 MLOps 파이프라인 보안의 발전에 대한 비판적 분석을 제공합니다.

적대적 AI 정의

적대적 AI의 목표는 AI와 머신러닝(ML) 시스템을 고의적으로 오도하여 설계된 사용 사례에 쓸모없게 만드는 것입니다. 적대적 AI 은 ‘인공지능 시스템을 조작하거나 속이기 위해 인공지능 기술을 사용하는 것’을 말합니다. 상대방의 취약점을 악용하는 교활한 체스 플레이어와 같습니다.이러한 지능형 공격자들은 정교한 알고리즘과 기술을 사용하여 기존의 사이버 방어 시스템을 우회하여 탐지를 회피하고 표적 공격을 실행할 수 있습니다.”

저자들의 논문에서는 다음과 같은 세 가지 주요 범주의 적대적 인공 지능에 대해 설명합니다:

적대적 머신 러닝 공격은 AI 애플리케이션을 조작하거나 시스템 동작을 변경하려는 의도로 알고리즘 구조의 약점을 파악하는 것을 목표로 합니다. 이러한 공격의 목적은 전체 AI 플랫폼을 교란하는 것부터 AI 기반 보안 시스템 내의 탐지 메커니즘을 우회하는 것까지 매우 다양합니다. 또한 이러한 공격은 AI 개발에 사용되는 기반 기술과 관련된 민감한 정보를 획득하려고 시도할 수도 있습니다. 국가적 행위자들은 종종 재정적, 정치적 이득을 얻기 위한 전략의 일환으로 스파이 전술을 사용한다는 점에 주목할 필요가 있습니다. 경우에 따라서는 AI 모델을 리버스 엔지니어링하여 귀중한 지적 재산에 접근하거나 악의적인 목적으로 용도를 변경하려고 시도할 수도 있습니다.

적대적 인공지능 시스템은 생성형 인공지능 모델 내에서 구현된 보호 조치를 우회하는 것을 목표로 하며, 여기에는 해당 모델이 사용하는 데이터 소스뿐만 아니라 모델이 의존하는 대규모 언어 모델에 대한 보호 조치가 포함됩니다. 국가가 후원하는 단체가 악의적인 목적으로 대규모 언어 모델을 사용하고 있는 것으로 보고되고 있습니다.

공격자들은 딥페이크, 허위 정보 또는 기타 유형의 유해한 디지털 미디어를 포함하여 모델이 차단하는 금지된 콘텐츠를 자유롭게 생성할 수 있도록 콘텐츠 제한을 우회하는 것을 테이블 스테이크(table stake)로 간주합니다. 차세대 인공지능 시스템 공격은 미국을 비롯한 전 세계의 민주적 선거에 영향을 미치려는 국가들이 즐겨 사용하는 방법입니다. 미국 정보 커뮤니티의 2024 연례 위협 평가 은 “중국이 제너레이티브 AI 실험을 포함하여 영향력 행사 활동에서 더 높은 수준의 정교함을 보여주고 있다"며 “중화인민공화국(중국)은 중국에 대한 비판자들을 외면하고 미국 사회의 분열을 확대하려는 욕구 때문에 2024년 미국 선거에 어느 정도 영향을 미치려고 시도할 수 있다"고 밝혔습니다.

MLOps 및 소프트웨어 공급망 공격은 일반적으로 국가와 대규모 범죄 조직이 인공 지능 시스템을 구축하고 배포하는 데 사용되는 프레임워크, 네트워크 및 플랫폼을 손상시키려는 의도로 수행하기 때문에 심각한 우려 사항입니다. 공격자들은 AI 시스템에 악성 코드를 도입하여 MLOps 파이프라인의 무결성을 훼손하는 데 중점을 둡니다.이러한 공격은 오염된 소프트웨어 패키지를 통해 오염된 데이터 세트를 전달하거나 임의의 코드 실행 및 멀웨어 전달 기술을 사용하는 등 다양한 수단을 통해 실행될 수 있습니다.

적대적인 AI 공격을 방어하는 네 가지 방법

DevOps와 CI/CD 파이프라인 간의 격차가 커질수록 인공지능 및 머신러닝 모델 개발은 잠재적인 위협에 더 취약해집니다. 사이버 공격에 고급 인공 지능이 점점 더 널리 사용되면서 이러한 모델을 위험으로부터 보호하는 것이 더욱 어려워지고 있습니다.

인공지능의 공격으로부터 자신을 보호하기 위해 조직은 다양한 조치를 취할 수 있습니다. 이러한 예방 조치 중 일부에는 다음이 포함됩니다:

레드팀 구성과 위험 평가를 조직 문화에 통합하는 것은 결단력을 가지고 추진해야 합니다. 이러한 활동을 자주 실행하는 것만으로는 충분하지 않으며, 회사의 운영 관행에 뿌리내려야 합니다. 이러한 접근 방식을 통해 시스템 및 파이프라인 내의 취약점을 사전에 식별할 수 있으므로 MLOps와 관련된 SDLC 워크플로에서 잠재적인 공격 경로를 강화하기 위한 조치를 쉽게 구현할 수 있습니다.

조직 내에서 강력한 보안 태세를 유지하려면 AI 방어 메커니즘의 최신 발전 사항에 대한 정보를 지속적으로 파악하는 것이 필수적입니다. 다양한 방어 프레임워크를 전문적으로 평가하는 DevSecOps 팀의 전담 담당자를 통해 조직의 목표를 달성하는 데 가장 적합한 옵션을 효과적으로 파악할 수 있습니다. 이 접근 방식은 귀중한 시간을 절약할 뿐만 아니라 소프트웨어 개발 수명 주기(SDLC) 및 지속적 통합/지속적 배포(CI/CD) 파이프라인의 무결성을 보장하면서 MLOps를 포함한 전체 ML 수명 주기를 보호합니다. 이러한 프레임워크의 대표적인 예로는 미국 국립표준기술연구소(NIST)의 AI 위험 관리 프레임워크와 오픈 웹 애플리케이션 보안 프로젝트(OWASP)의 AI 보안 및 Priv

합성 데이터 기반 공격으로 인한 위험을 완화하려면 모든 ID 액세스 관리 플랫폼에 여러 생체인식 방식과 비밀번호 없는 인증 방법을 통합하는 것이 필수적입니다. 인위적으로 생성된 데이터가 사칭 목적과 소스 코드 및 리포지토리 리소스에 대한 무단 액세스에 점점 더 많이 활용되는 추세가 증가하고 있습니다.따라서 강력한 보안 전략에는 안면 인식, 지문 스캔, 음성 인식과 같은 다양한 생체인식 기술과 혁신적인 비밀번호 없는 인증 솔루션을 결합하여 MLOps 운영의 핵심 시스템을 보호하는 것이 포함되어야 합니다. 설득력 있는 합성 데이터를 생성하는 데 있어 AI 세대의 숙련도가 입증된 만큼, 딥페이크 침입으로부터 시스템을 보호하는 것은 MLOps 팀에게 필수적인 문제가 될 것입니다. 따라서 진화하는 사이버 위협에 대한 최신 보안 조치를 유지하려면 액세스 제어 프로토콜을 자주 검토하고 업데이트하는 것이 필수적입니다. 이러한 공격을 차단하는 데 상당한 어려움을 초래하는 신원 사기의 확산을 고려할 때, 소프트웨어 업데이트에 대한 최신 정보를 파악하고 철저한 시스템 감사를 수행하는 것이 무엇보다 중요합니다. 이 웹사이트는 향후 신원 공격이 합법적으로 보이도록 설계된 합성 정보에 크게 의존하여 속임수를 극대화할 것으로 예상하고 있습니다.