O Google está tomando medidas para lidar com os riscos cibernéticos associados à inteligência artificial generativa (GenAI), expandindo seu esquema de recompensas por bugs, o Programa de recompensas de vulnerabilidade (VRP) para abranger cenários de ataque específicos para a cadeia de fornecimento de IA generativa.
Laurie Richardson, vice-presidente de confiança e segurança, e Royal Hansen, vice-presidente de privacidade, segurança e engenharia de proteção, disseram que a empresa acredita que tomar essa medida não apenas traria à luz possíveis problemas de segurança mais rapidamente e tornaria a IA mais segura para todos, mas incentivar a comunidade em geral a fazer mais pesquisas em torno da segurança e proteção da IA.
“Como parte da expansão do VRP para IA, estamos repensando como os bugs devem ser categorizados e relatados. A IA generativa levanta preocupações novas e diferentes das da segurança digital tradicional, tais como o potencial de preconceito injusto, manipulação de modelos ou interpretações erradas de dados [or] alucinações”, disseram eles.
“À medida que continuamos a integrar a IA generativa em mais produtos e funcionalidades, as nossas equipas de Confiança e Segurança estão a aproveitar décadas de experiência e a adotar uma abordagem abrangente para melhor antecipar e testar estes riscos potenciais.
“Mas entendemos que pesquisadores de segurança externos podem nos ajudar a encontrar e solucionar novas vulnerabilidades que, por sua vez, tornarão nossos produtos de IA generativos ainda mais seguros e protegidos. Em agosto, nos juntamos à Casa Branca e a colegas do setor para permitir que milhares de pesquisadores de segurança terceirizados encontrassem possíveis problemas em O maior evento público da Generative AI Red Team da DEF CON.
“Agora, como estamos expandindo o programa de recompensas por bugs e lançando diretrizes adicionais sobre o que gostaríamos que os pesquisadores de segurança caçassem, estamos compartilhando essas diretrizes para que qualquer pessoa possa ver o que está ‘no escopo’. Esperamos que isso estimule os pesquisadores de segurança a enviar mais bugs e acelere o objetivo de uma IA generativa mais segura e protegida”, disseram eles.
Ao mesmo tempo, a Google também está a introduzir novas medidas para proteger melhor a cadeia de fornecimento de IA, anunciando uma série de melhorias no seu Secure AI Framework (SAIF) – que lançado em junho de 2023.
O SAIF foi concebido para apoiar a indústria na criação de aplicações de IA fiáveis, sendo o seu princípio fundamental a segurança dos componentes críticos da cadeia de abastecimento que os permitem contra ameaças como a adulteração, o envenenamento de dados e a produção de conteúdos nocivos.
Além disso, o Google está agora expandindo seu trabalho de segurança de código aberto e desenvolvendo uma parceria anterior com o Fundação de segurança de código aberto. Através desta parceria, a própria equipe de segurança de código aberto do Google (GOSST) usará o Estrutura SLSA para melhorar a resiliência nas cadeias de abastecimento, e Loja Sig para ajudar a verificar se o software na cadeia de fornecimento de IA é o que diz ser. O Google já disponibilizou protótipos para verificação de atestados com SLSA e assinatura de modelos com Sigstore.
“Estes são os primeiros passos para garantir o desenvolvimento seguro da IA generativa – e sabemos que o trabalho está apenas começando”, disseram Richardson e Hansen.
“Nossa esperança é que, ao incentivar mais pesquisas de segurança e ao mesmo tempo aplicar a segurança da cadeia de suprimentos à IA, possamos estimular ainda mais colaboração com a comunidade de segurança de código aberto e outros na indústria e, em última análise, ajudar a tornar a IA mais segura para todos.”
Laboratórios Endor O pesquisador de segurança Henrik Plate, especializado em segurança de software de código aberto (OSS) e IA, comentou: “Aplicar os mesmos princípios de segurança e, sempre que possível, ferramentas para IA/ML é uma grande oportunidade para desenvolver sistemas seguros desde o início.
“Em comparação com o espaço emergente de IA/ML, o desenvolvimento de software baseado em componentes ou OSS existe por um período de tempo mais longo, o que às vezes torna mais difícil agregar segurança a tecnologias bem estabelecidas sem interromper os processos existentes de desenvolvimento e distribuição de software.
“Existem muitas semelhanças entre a produção e o compartilhamento de componentes de software e artefatos de IA/ML: os dados de treinamento podem ser comparados com dependências de software, o modelo treinado com artefatos binários e registros de artefatos como Maven Central ou PyPI com registros de modelo como Hugging Face. E do ponto de vista dos desenvolvedores que consomem modelos de terceiros, esses modelos podem ser considerados como qualquer outra dependência upstream.
“Alguns ataques também são muito semelhantes, por exemplo, a desserialização de dados de fontes não confiáveis, que já assombra alguns ecossistemas OSS há algum tempo: modelos de ML serializados também podem conter código malicioso que é executado após a desserialização (um problema do proeminente formato de serialização pickle já apresentado na BlackHat 2011). Hugging Face e projetos de código aberto tentam resolver isso scanners de modelo dedicados.”