Nos últimos anos, a inteligência artificial (IA) tem se destacado como uma das tecnologias mais disruptivas e transformadoras em diversos setores. No entanto, juntamente com seus benefícios, surgem também desafios significativos em termos de segurança cibernética e governança. O avanço na IA generativa e nos Large Language Models (LLMs) tornou essas tecnologias mais acessíveis e amplamente utilizadas, mas também criou novos riscos que permitem que cibercriminosos explorem ativamente essas tecnologias para aprimorar seus ataques, desenvolvendo malwares sofisticados, esquemas de phishing e deep fakes cada vez mais convincentes.  

Com efeito, a rápida adoção dessas tecnologias pode criar gaps de segurança, especialmente quando funcionários utilizam ferramentas de IA online ou aplicativos de terceiros, introduzindo riscos de Shadow AI que contornam os processos padrão de aprovação de software estabelecidos pelas organizações. Por outro lado, há riscos associados à não adoção dessas tecnologias em que organizações que não acompanham o ritmo da evolução tecnológica correm o risco de ficarem para trás, enfrentando desvantagens competitivas, perda de inovação e ineficiências operacionais.

Compreender os diferentes tipos de ameaças e integrá-las à estratégia de negócios é essencial para equilibrar os benefícios e os riscos do uso de LLMs. Para tanto, a Open Web Application Security Project (OWASP), propõe uma abordagem abrangente categorizando riscos que vão desde ameaças legais e regulatórias até ameaças específicas aos modelos de IA. Além disso, destaca a importância da implementação de Programa e treinamento em segurança cibernética, Privacidade e proteção de dados pessoais no âmbito da IA, a instituição de políticas de utilização justa e a de uma governança eficaz.  

A OWASP apresenta uma lista de verificação abrangente cuja análise das principais áreas de foco e implicações para a segurança da IA serão delineadas a seguir:

Risco de concorrente ou cibercriminosos: O cenário de ameaças enfrentado pelas organizações modernas é complexo e em constante evolução. Além de se proteger contra ataques convencionais, as empresas precisam considerar como os concorrentes ou cibercriminosos podem usar IA para ganhar vantagem competitiva. Isso envolve entender não apenas as técnicas de ataque, mas também os impactos no cenário de negócios e atualizar os processos internos para responder a incidentes relacionados à IA.

Modelagem de ameaças: Antecipar e mitigar ameaças em sistemas de IA é fundamental para garantir sua segurança. A modelagem de ameaças permite às organizações identificar potenciais vulnerabilidades e explorar como os invasores podem usar técnicas de IA generativa para acelerar ataques. Além disso, é crucial examinar a capacidade da organização de proteger suas conexões com sistemas internos contra ameaças externas.

Inventário de ativos de IA: Uma compreensão abrangente dos ativos de IA é essencial para uma estratégia de segurança eficaz. Isso inclui não apenas as soluções desenvolvidas internamente, mas também ferramentas e plataformas externas. Catalogar fontes de dados de IA e estabelecer processos para integrar e retirar ferramentas de forma segura são passos críticos para proteger os ativos da organização.

Treinamento em segurança e privacidade no âmbito da IA: Como diz o ditado, "os seres humanos são o elo mais fraco". Para evitar brechas de segurança causadas por erros humanos, é fundamental educar a equipe sobre os riscos de segurança e privacidade no âmbito da IA. Estabelecer uma cultura de confiança e transparência é essencial para promover a colaboração e prevenir o uso não autorizado de IA.

Estabelecer casos de negócios para uso de IA: Embora o potencial da IA seja inegável, sem casos de uso claros e objetivos bem definidos, os investimentos podem se perder no vazio. Estabelecer casos de negócios estratégicos permite que as organizações justifiquem seus investimentos em IA e evitem resultados insatisfatórios.

Governança: O estabelecimento de um Programa de Governança em Inteligência Artificial, incluindo a elaboração e uma tabela de AI RACI da organização determinando quem são os responsáveis, quem deve ser consultado e quem deve ser informado, a documentação e atribuição de riscos de IA, avaliações de riscos e responsabilidades de governança dentro da organização, o estabelecimento de políticas de gestão de dados pessoais, incluindo aplicação técnica, em relação à classificação de dados pessoais e limitações de uso, criação de uma Política de IA apoiada por uma política estabelecida, por exemplo, padrão de boa conduta, proteção de dados pessoais, uso de software, etc., publicação de uma matriz de uso aceitável para várias ferramentas generativas de IA para uso dos funcionários e a documentação das fontes e o gerenciamento de quaisquer dados pessoais, ou não, que a organização usa dos modelos LLM generativos.

Jurídico:  As implicações legais da inteligência artificial são complexas e em constante evolução, podendo ter um impacto significativo na reputação e na saúde financeira das organizações. Embora exijam a expertise de especialistas jurídicos externos ao campo da tecnologia, não devem ser subestimadas. Esta área abrange uma ampla gama de atividades, incluindo garantias de produtos que utilizam IA, contratos de licença de usuário final específicos para software de IA, questões de propriedade intelectual relacionadas ao desenvolvimento de código por meio de ferramentas de IA e disposições contratuais de responsabilidade, entre outros aspectos.

Regulatório: Para acompanhar as discussões legais em torno da IA, as regulamentações estão evoluindo rapidamente em várias regiões como, o IA Act, na União Europeia (“UE”), Ley La Inteligencia Artificial no Peru, Marco civil da Inteligência Artificial no Brasil, além das iniciativas semelhantes na China, Canadá e em outros lugares. As organizações devem determinar os requisitos de conformidade relacionados à IA, como a monitorização de colaboradores, e compreender claramente as práticas de armazenamento, eliminação e regulamentação de dados pessoais, por parte de seus fornecedores, entre outras medidas.

Usando ou implementando soluções LLM: O uso de soluções LLM requer considerações e controles de risco específicos. A lista de verificação destaca itens como controle de acesso, treinamento de segurança de pipeline, mapeamento de fluxos de trabalho de dados e compreensão de vulnerabilidades existentes ou potenciais em modelos LLM e cadeias de suprimentos. Além disso, há necessidade de solicitar auditorias de terceiros, testes de penetração e até revisões de código para fornecedores, tanto inicialmente como de forma contínua.

Testing, Evaluation, Verification, and Validation (“TEVV”): O processo de TEVV, é especificamente recomendado pelo NIST em seu AI Framework. Isso envolve o estabelecimento de testes, avaliações, verificação e validação contínuos ao longo dos ciclos de vida do modelo de IA, bem como o fornecimento de métricas executivas sobre a funcionalidade, segurança e confiabilidade do modelo de IA.

Model Cards and Risk Cards: Para implementar LLMs de forma ética, a checklist recomenda a utilização de documentos ou fichas que fornecem informações sobre modelos de inteligência artificial (“Model Cards”) e os riscos associados a esses modelos (“Risk Cards”). Esses cartões podem incluir itens como detalhes do modelo, arquitetura, metodologias de dados de treinamento e métricas de desempenho. Há também uma ênfase na contabilização de considerações e preocupações responsáveis ​​​​da IA ​​em torno da justiça e da transparência.

Retrieval Augmented Generation (“RAG”): A geração aumentada de recuperação é uma forma de otimizar os recursos dos LLMs quando se trata de recuperar dados relevantes de fontes específicas. Faz parte da otimização de modelos pré-treinados ou do retreinamento de modelos existentes em novos dados para melhorar o desempenho. A lista de verificação recomendou a implementação do RAG para maximizar o valor e a eficácia dos LLMs para fins organizacionais.

Red Team de IA: As equipes de Red teaming de IA são responsáveis por simular ataques aos sistemas de IA para garantir que não haja vulnerabilidades que possam ser exploradas por invasores. Essa prática é amplamente recomendada por diversos órgãos reguladores e de gestão de IA. No entanto, a OWASP destaca que o Red teaming, por si só, não é uma solução completa para lidar com todas as possíveis falhas nos sistemas de IA. Deve ser complementado por outras formas de teste, avaliação, verificação e validação, como avaliações de impacto algorítmico e auditorias externas.

Diante do exposto, fica claro que o checklist de Cibersegurança e Governança de IA do OWASP LLM é uma ferramenta valiosa para iniciar os esforços de reforço da segurança dos sistemas de inteligência artificial. Seguir as diretrizes propostas pudera auxiliar as organizações a mitigar os riscos associados à implementação de LLMs e outras tecnologias de IA. No entanto, é crucial complementar essas práticas com medidas proativas e estratégias adaptadas à realidade específica de cada organização, incluindo a contratação de consultoria especializada na Estruturação de Programas de Governança em Privacidade, Cibersegurança e Inteligência artificial, a implementação de monitoramento contínuo e o estabelecimento de um diálogo constante com fornecedores externos de IA. Ao adotar essas recomendações, as organizações não apenas protegem seus ativos, mas também fortalecem sua postura de segurança cibernética em um ambiente cada vez mais complexo e desafiador.

‍

Referência  

LLM_AI_Security_and_Governance_Checklist. Disponível em: https://owasp.org/www-project-top-10-for-large-language-model-applications/llm-top-10-governance-doc/LLM_AI_Security_and_Governance_Checklist-v1.pdf. Acesso em 19.03.2024.

‍