A Microsoft anunciou o lançamento do PyRIT, uma ferramenta para red team de open access projetada para ajudar profissionais de segurança e engenheiros de machine learning a identificar riscos em IA generativa.
De acordo com a Microsoft, o PyRIT aumenta a eficiência da auditoria automatizando tarefas e sinalizando áreas que exigem investigação mais aprofundada, aprimorando essencialmente o trabalho manual de red team.
A IA generativa de red team, observa a Microsoft, é diferente de sondar sistemas clássicos de IA ou sistemas tradicionais, principalmente porque requer a identificação de riscos de segurança e riscos de IA responsáveis, a IA generativa é mais probabilística devido às grandes variações nas arquiteturas de sistema de IA generativa.
A IA generativa pode produzir conteúdo infundado ou impreciso e seu resultado é influenciado até mesmo por pequenas variações de input, e o red team desses sistemas também precisa considerar esses riscos.
Além disso, os sistemas generativos de IA podem variar de aplicações independentes a integrações, e o seu resultado também pode variar muito, observa a Microsoft.
PyRIT (Python Risk Identification Toolkit para IA generativa), que começou em 2022 como um conjunto de scripts para IA generativa para red team, já provou sua eficiência nos red teams de vários sistemas, incluindo o Copilot.
“O PyRIT não substitui o trabalho manual do red team em sistemas generativos de IA. Em vez disso, ele aumenta a experiência de domínio existente de um integrante de um red team relacionada a IA e automatiza as tarefas tediosas para eles. O PyRIT ilumina os pontos críticos onde o risco pode estar, que o profissional de segurança pode explorar de forma incisiva”, explica a Microsoft.
A ferramenta fornece ao usuário controle sobre a estratégia e execução da operação da equipe vermelha de IA, pode gerar avisos prejudiciais adicionais com base no conjunto com o qual foi alimentado e altera táticas com base nas respostas recebidas do sistema de IA generativo.
PyRIT inclui suporte para várias formulações de alvos de IA generativos, pode ser alimentado com um modelo de prompt dinâmico ou um conjunto estático de prompts maliciosos, fornece duas opções para pontuar as saídas do sistema de destino, suporta dois estilos de estratégia de ataque e pode salvar interações intermediárias de entrada e saída para análise de acompanhamento.
“O PyRIT foi criado em resposta à nossa crença de que o compartilhamento de recursos de equipe vermelha de IA em toda a indústria eleva todos os barcos. Incentivamos nossos colegas em todo o setor a dedicar algum tempo ao kit de ferramentas e ver como ele pode ser adotado para formar equipes em seu próprio aplicativo generativo de IA”, observa a Microsoft.
PyRIT está disponível no GitHub.
Para saber mais, clique aqui.
