Pesquisadores da Palo Alto Networks revelaram um novo método de ataque que representa um risco significativo para a cadeia de suprimentos de inteligência artificial (IA). A técnica, batizada de Model Namespace Reuse, foi demonstrada com impacto em produtos da Microsoft e Google, além de expor riscos potenciais para projetos de código aberto.

Como funciona o ataque Model Namespace Reuse

O ataque consiste em criminosos digitais registrarem nomes de modelos associados a contas que foram excluídas ou transferidas em plataformas como o Hugging Face, uma das mais populares para hospedagem e compartilhamento de modelos de IA.
Ao reutilizar esse “espaço de nomes”, os atacantes conseguem disponibilizar modelos maliciosos, permitindo inclusive a execução arbitrária de código.

Em termos práticos, quando um desenvolvedor referencia um modelo no formato Autor/NomeDoModelo, o invasor pode assumir o antigo nome do autor e criar um modelo com a mesma nomenclatura. Assim, aplicações que já utilizavam essa referência passam a puxar, sem saber, um modelo comprometido.

Demonstrações em plataformas do Google e Microsoft

Os pesquisadores da Palo Alto demonstraram a vulnerabilidade no Vertex AI, plataforma de machine learning do Google. Eles mostraram que era possível registrar um nome de conta antigo e injetar um payload que abria uma conexão reversa (reverse shell), garantindo acesso à infraestrutura por trás do modelo.

Um cenário semelhante foi identificado na Azure AI Foundry, da Microsoft, que também permite a importação de modelos do Hugging Face. Nesse caso, os pesquisadores conseguiram obter permissões equivalentes às de um endpoint Azure, abrindo caminho para acessos não autorizados ao ambiente da nuvem.

Impacto em projetos de código aberto

Além das grandes plataformas, a investigação revelou que milhares de repositórios open source também podem estar em risco por utilizarem referências no formato Autor/NomeDoModelo. Muitos desses projetos continuam funcionando normalmente, mesmo após a exclusão ou transferência do modelo original, o que dificulta a percepção da ameaça.

Reações e medidas de mitigação

Google, Microsoft e Hugging Face foram notificados sobre o problema. O Google já iniciou varreduras diárias para identificar modelos “órfãos” e mitigar abusos.
No entanto, segundo a Palo Alto Networks, a questão central continua representando risco a qualquer organização que confia apenas no nome do modelo. “Confiar apenas no nome de modelos não é suficiente e exige uma reavaliação crítica da segurança em todo o ecossistema de IA”, destacaram os pesquisadores.

Recomendações da Palo Alto Networks

Para reduzir os riscos do Model Namespace Reuse, as medidas sugeridas incluem:

• • Fixar modelos a commits específicos para evitar mudanças inesperadas.
• • Clonar e armazenar modelos em locais confiáveis, em vez de depender unicamente de serviços de terceiros.
• • Realizar varreduras proativas no código para identificar referências que possam representar risco.

Para saber mais, clique aqui.