O órgão de proteção de dados da Itália bloqueou o DeepSeek, serviço da empresa chinesa de inteligência artificial (IA) no país, citando a falta de informações sobre o uso de dados pessoais dos usuários. O bloqueio ocorre dias após a autoridade, a Garante, enviar uma série de perguntas à DeepSeek, perguntando sobre suas práticas de tratamento de dados e onde obteve seus dados de treinamento.

Na prática, a entidade buscava informações junto a DeepSeek sobre quais dados pessoais são coletados por sua plataforma web e aplicativo móvel, de quais fontes, para quais propósitos, em qual base legal e se são armazenados na China. Em uma declaração emitida em 30 de janeiro de 2025, a Garante disse que chegou à decisão sobre o bloqueio, após a DeepSeek fornecer informações consideradas completamente insuficientes.

As entidades por trás do serviço, Hangzhou DeepSeek Artificial Intelligence e Beijing DeepSeek Artificial Intelligence, declararam que não operam na Itália e que a legislação europeia não se aplica a elas. Como resultado, o órgão regulador informou estar bloqueando o acesso ao DeepSeek com efeito imediato além de estar simultaneamente abrindo uma investigação.

Em 2023, a autoridade de proteção de dados também emitiu uma proibição temporária do ChatGPT da OpenAI, cuja restrição foi suspensa no final de abril depois que a empresa de IA interveio para resolver as preocupações com a privacidade de dados levantados. Posteriormente, a OpenAI foi multada em 15 milhões de euros pela forma como lidou com dados pessoais.

A notícia da proibição do DeepSeek chega enquanto a empresa surfa na onda de popularidade desta semana, com milhões de pessoas migrando para o serviço e enviando seus aplicativos móveis para o topo das paradas de download. 

Além de se tornar alvo de ataques maliciosos em larga escala, atraiu a atenção de legisladores e frequentadores por sua política de privacidade, censura alinhada à China, propaganda e as preocupações com a segurança nacional que pode representar. A empresa implementou uma correção em 31 de janeiro para lidar com os ataques a seus serviços.

Além disso, foi descoberto que os grandes modelos de linguagem (LLM) do DeepSeek são suscetíveis a técnicas de jailbreak como Crescendo, Bad Likert Judge, Deceptive Delight, Do Anything Now (DAN) e EvilBOT. Isso permite que atores mal-intencionados gerem conteúdo malicioso ou proibido, provocando uma série de saídas prejudiciais, desde instruções detalhadas para criar itens perigosos como coquetéis molotov até gerar código malicioso para ataques como injeção de SQL e movimento lateral, de acordo com a Palo Alto Networks Unit 42 em relatório divulgado em 30 de janeiro de 2025.

Embora as respostas iniciais do DeepSeek muitas vezes parecessem benignas, em muitos casos, prompts de acompanhamento cuidadosamente elaborados frequentemente expunham a fraqueza dessas salvaguardas iniciais. O LLM prontamente forneceu instruções maliciosas altamente detalhadas, demonstrando o potencial desses modelos aparentemente inócuos de serem transformados em armas para fins maliciosos.

A HiddenLayer, empresa de segurança de IA realizou uma avaliação mais aprofundada do modelo de raciocínio do DeepSeek, DeepSeek-R1, revelando não ser apenas vulnerável a injeções de prompt, mas também que seu raciocínio Chain-of-Thought (CoT) pode levar a vazamento inadvertido de informações. Em uma reviravolta interessante, também surgiram várias instâncias sugerindo que os dados do OpenAI foram incorporados, levantando preocupações éticas e legais sobre a origem dos dados e a originalidade do modelo.

A divulgação também traz a descoberta de uma vulnerabilidade de jailbreak no OpenAI ChatGPT-4o apelidado de Time Bandit que torna possível para um invasor contornar as proteções de segurança do LLM, solicitando ao chatbot perguntas de uma maneira que o faz perder sua consciência temporal. Desde então, o OpenAI mitigou o problema.

Um invasor pode explorar a vulnerabilidade iniciando uma sessão com o ChatGPT e informando-o diretamente sobre um evento histórico específico, um período histórico ou instruindo-o a fingir que está o auxiliando em um evento histórico específico e, uma vez que isso tenha sido estabelecido, o usuário pode girar as respostas recebidas para vários tópicos ilícitos por meio de prompts subsequentes, de acordo com o Centro de Coordenação do CERT (CERT/CC).

Falhas de jailbreak semelhantes também foram identificadas no modelo Qwen 2.5-VL do Alibaba e no assistente de codificação Copilot do GitHub, o último dos quais concede aos agentes de ameaças a capacidade de contornar restrições de segurança e produzir código prejudicial simplesmente incluindo palavras como “claro” no prompt.

Segundo a empresa Apex Oren Saban, iniciar consultas com palavras afirmativas como ‘Claro’ ou outras formas de confirmação atua como um gatilho, mudando o Copilot para um modo mais compatível e propenso a riscos. Este pequeno ajuste é tudo o que é preciso para desbloquear respostas que variam de sugestões antiéticas a conselhos totalmente perigosos. A Apex também encontrou outra vulnerabilidade na configuração de proxy do Copilot que, segundo ela, poderia ser explorada para contornar totalmente as limitações de acesso sem pagar pelo uso e até mesmo adulterar o prompt do sistema Copilot, que serve como instruções fundamentais que ditam o comportamento do modelo.

O ataque, no entanto, depende da captura de um token de autenticação associado a uma licença Copilot ativa, levando o GitHub a classificá-lo como um problema de abuso após divulgação responsável.

O bypass de proxy e o jailbreak de afirmação positiva no GitHub Copilot são exemplos de como até mesmo as ferramentas de IA mais poderosas podem ser abusadas sem salvaguardas adequadas.Para saber mais, clique aqui.