Injeção de Comandos em Sistemas de Inteligência Artificial Clínica: O Desafio de Segurança Emergente dos Modelos de Linguagem Grandes e da IA Agente

Revista de Engenharia Biomédica. Setembro de 2026 15. doi: 10.1007/s10439-026-04376-3. Online antes da publicação.

RESUMO

A discussão clínica sobre a segurança da inteligência artificial tem se concentrado na precisão, no viés e na alucinação, cada um dos quais descreve um modelo falhando em sua tarefa atribuída. A injeção rápida descreve a condição oposta: um modelo agindo exatamente como instruído, por uma instrução que o clínico não escreveu e não pode ver. A vulnerabilidade surge de uma propriedade fundamental das arquiteturas atuais de modelos de linguagem, que recebem um fluxo indiferenciado de tokens e não possuem mecanismo para distinguir o conteúdo que possui autoridade daquele que não possui. A medicina está particularmente exposta, porque o histórico clínico é composto por material originado fora da instituição, incluindo correspondência de encaminhamento, mensagens digitadas pelo paciente, relatórios externos, documentos digitalizados e imagens adquiridas em outro lugar. Argumentamos que a injeção rápida merece ser classificada como um risco à segurança do paciente com um modelo de ameaça articulado, em vez de uma curiosidade técnica, que promptings e filtragem de entrada aprimorados não abordam, e que a resposta viável está no tratamento de contexto consciente da origem, privilégios restritos para ações irreversíveis e testes adversariais antes da implementação.

PMID: 42745101 | DOI: 10.1007/s10439-026-04376-3

Para ler a postagem completa, visite o original: Leia a Postagem Completa

Respostas