Por que a IA adversária é a ameaça cibernética que ninguém prevê

As intenções dos líderes de segurança não correspondem às suas ações para proteger a IA e os MLOps, de acordo com um relatório recente.

Uma esmagadora maioria dos líderes de TI, 97%, afirma que proteger a IA e os sistemas é essencial, mas apenas 61% estão confiantes de que obterão o financiamento de que necessitam. Apesar da maioria dos líderes de TI entrevistados, 77%, afirmarem ter experimentado alguma forma de violação relacionada à IA (não especificamente aos modelos), apenas 30% implantaram uma defesa manual para ataques adversários em seu desenvolvimento de IA existente, incluindo pipelines de MLOps.

Apenas 14% das organizações implementaram planos para se prepararem para potenciais ataques cibernéticos, de acordo com uma pesquisa recente realizada pela Amazon Web Services. A definição de MLOps da empresa é descrita como “uma abordagem que visa agilizar e simplificar o processo de desenvolvimento e implementação de técnicas de aprendizado de máquina por meio da automação.

Os sistemas orientados por IA tornaram-se cada vez mais parte integrante das operações dos líderes de TI, tornando estas tecnologias alvos atraentes para ataques maliciosos viabilizados por IA que abrangem diversos vetores de ameaças.

Em média, as empresas dos líderes de TI têm 1.689 modelos em produção e 98% dos líderes de TI consideram alguns dos seus modelos de IA cruciais para o seu sucesso. Oitenta e três por cento estão vendo uso predominante em todas as equipes de suas organizações. “A indústria está trabalhando duro para acelerar a adoção da IA ​​sem implementar medidas de segurança patrimonial”, escrevem os analistas do relatório.

O relatório de cenário de ameaças de IA da HiddenLayer fornece uma análise crítica dos riscos enfrentados pelos sistemas baseados em IA e os avanços feitos na segurança de pipelines de IA e MLOps.

Definindo IA Adversária

O objetivo da IA ​​adversária é enganar deliberadamente os sistemas de IA e de aprendizado de máquina (ML), para que sejam inúteis para os casos de uso para os quais foram projetados. IA adversária refere-se ao “uso de técnicas de inteligência artificial para manipular ou enganar sistemas de IA. É como um jogador de xadrez astuto que explora as vulnerabilidades do seu oponente. Esses adversários inteligentes podem contornar os sistemas tradicionais de defesa cibernética, usando algoritmos e técnicas sofisticadas para evitar a detecção e lançar ataques direcionados.”

o artigo dos autores descreve três categorias principais de inteligência artificial adversária, que são as seguintes:

Os ataques adversários de aprendizado de máquina visam identificar pontos fracos em estruturas algorítmicas com a intenção de manipular aplicações de IA ou alterar comportamentos do sistema. Os objetivos de tais ataques podem variar amplamente, desde interromper toda uma plataforma de IA até contornar mecanismos de detecção em sistemas de segurança orientados por IA. Além disso, estes ataques podem procurar adquirir informações sensíveis relacionadas com as tecnologias subjacentes utilizadas no desenvolvimento da IA. Vale a pena notar que os intervenientes do Estado-nação recorrem frequentemente a tácticas de espionagem como parte das suas estratégias para obter ganhos financeiros e políticos. Em alguns casos, podem tentar fazer engenharia reversa de modelos de IA para aceder a propriedade intelectual valiosa ou até mesmo redirecioná-los para fins maliciosos.

Os sistemas adversários de inteligência artificial visam contornar as medidas de proteção implementadas nos modelos generativos de IA, que incluem salvaguardas tanto para as fontes de dados utilizadas por tais modelos, como para os grandes modelos de linguagem dos quais dependem. É relatado que entidades patrocinadas pelo Estado têm empregado grandes modelos de linguagem em seus esforços maliciosos.

Os invasores consideram que é um desafio contornar as restrições de conteúdo para que possam criar livremente conteúdo proibido que o modelo bloquearia, incluindo deepfakes, desinformação ou outros tipos de mídia digital prejudicial. Os ataques ao sistema Gen AI são os favoritos dos estados-nação que tentam influenciar também as eleições nos EUA e outras eleições democráticas a nível mundial. A Avaliação Anual de Ameaças de 2024 da Comunidade de Inteligência dos EUA conclui que “a China está demonstrando um maior grau de sofisticação em sua atividade de influência, incluindo experiências com IA generativa” e “a República Popular da China (RPC) pode tentar influenciar as eleições dos EUA em 2024 em algum nível devido ao seu desejo de marginalizar os críticos da China e ampliar as divisões sociais dos EUA.”

Os MLOps e os ataques à cadeia de fornecimento de software são uma preocupação significativa, uma vez que são normalmente realizados por estados-nação e grandes organizações criminosas com a intenção de comprometer estruturas, redes e plataformas utilizadas para construir e implementar sistemas de inteligência artificial. Os invasores se concentram em minar a integridade dos pipelines MLOps, introduzindo código malicioso nos sistemas de IA. Esses ataques podem ser executados por vários meios, como a entrega de conjuntos de dados envenenados por meio de pacotes de software contaminados ou o emprego de execução arbitrária de código e técnicas de entrega de malware.

Quatro maneiras de se defender contra um ataque adversário de IA

Quanto maiores se tornam as disparidades entre os pipelines de DevOps e CI/CD, mais suscetível se torna a inteligência artificial e o desenvolvimento de modelos de aprendizado de máquina a ameaças potenciais. Esta situação é ainda agravada pela utilização cada vez mais predominante de inteligência artificial avançada em ataques cibernéticos, tornando ainda mais difícil proteger estes modelos contra danos.

Para se protegerem de ataques adversários por inteligência artificial, as organizações podem implementar diversas medidas. Algumas dessas precauções incluem:

A integração do red teaming e da avaliação de riscos na cultura organizacional deve ser buscada com determinação. A execução pouco frequente destas atividades não é suficiente; em vez disso, devem tornar-se enraizados na estrutura das práticas operacionais da empresa. Esta abordagem permitirá a identificação proativa de vulnerabilidades em sistemas e pipelines, facilitando assim a implementação de medidas para fortalecer possíveis caminhos de ataque durante os fluxos de trabalho SDLC associados a MLOps.

Para manter uma postura de segurança robusta na sua organização, é essencial manter-se informado sobre os últimos avanços nos mecanismos de defesa de IA. Ao ter um representante dedicado da equipe DevSecOps especializado na avaliação de diversas estruturas defensivas, você pode identificar com eficácia a opção mais adequada para atingir seus objetivos organizacionais. Essa abordagem não apenas economiza um tempo valioso, mas também protege todo o ciclo de vida do ML, incluindo MLOps, ao mesmo tempo que garante a integridade do ciclo de vida de desenvolvimento de software (SDLC) e dos pipelines de integração/entrega contínua (CI/CD). Alguns exemplos notáveis ​​de tais estruturas incluem o AI Risk Management Framework do National Institute of Standards and Technology (NIST) e o Open Web Application Security Project (OWASP) AI Security and Priv.

Para mitigar o risco representado por ataques baseados em dados sintéticos, é imperativo incorporar múltiplas modalidades biométricas e métodos de autenticação sem palavra-passe em todas as plataformas de gestão de acesso de identidade. A tendência crescente indica que os dados gerados artificialmente são cada vez mais utilizados para fins de personificação e acesso não autorizado a códigos-fonte e recursos de repositório. Como tal, uma estratégia de segurança robusta deve envolver a combinação de várias tecnologias biométricas, como reconhecimento facial, digitalização de impressões digitais e identificação de voz, juntamente com soluções inovadoras de autenticação sem palavra-passe para proteger sistemas críticos no contexto das operações MLOps. Dada a proficiência demonstrada da Geração AI na geração de dados sintéticos convincentes, a proteção contra invasões deepfake se tornará uma preocupação essencial para as equipes de MLOps. Consequentemente, adotar uma

Para manter medidas de segurança atualizadas contra as ameaças cibernéticas em evolução, é essencial rever e atualizar frequentemente os protocolos de controlo de acesso. Dada a crescente prevalência de fraudes de identidade sintética, que representa um desafio significativo na contenção de tais ataques, manter-se informado sobre atualizações de software e realizar auditorias completas do sistema torna-se fundamental. Este site prevê que futuros ataques de identidade dependerão fortemente de informações construídas sinteticamente, projetadas para parecerem legítimas, para o máximo engano.

*️⃣ Link da fonte:

relatório , 97% , 77% , escrever , Relatório de cenário de ameaças de IA da HiddenLayer , IA Adversarial, Avaliação Anual de Ameaças de 2024 da Comunidade de Inteligência dos EUA,