Numa noite do último verão nos EUA, o microbiologista David Relman levou um susto daqueles diante do laptop: um chatbot de inteligência artificial estava, na prática, explicando como planejar um massacre.
Relman, especialista em biossegurança em Stanford, tinha sido contratado por uma empresa de IA para “forçar” o sistema ao limite antes do lançamento público. Naquela noite, no escritório de casa, o bot explicou como modificar em laboratório um patógeno famoso para que ele resistisse a tratamentos já conhecidos.
O pior veio depois: o chatbot descreveu, em detalhes gráficos, como espalhar o superbactéria, apontando uma brecha de segurança em um grande sistema de transporte público, contou Relman. Ele pediu ao The New York Times que não divulgasse o nome do patógeno nem outros detalhes, com medo de inspirar um ataque. O bot montou um plano para maximizar o número de mortos e reduzir ao mínimo as chances de o autor ser pego.
Relman ficou tão abalado que precisou sair para caminhar e arejar a cabeça.
Este CEO pirateava games, virou hacker da Força Aérea e agora tem empresa de US$ 3 bi
Kyle Hanslovan, CEO da Huntress, teve trajetória marcada por autodidatismo, rejeições de investidores e sacrifícios pessoais
“Capitalismo funciona porque perdedores morrem”: investidor critica ajuda a aérea
O megainvestidor e estrela do Shark Tank Kevin O’Leary é contra a possível intervenção do governo dos EUA para salvar a Spirit Airlines
“Ele respondia perguntas que eu nem tinha pensado em fazer, com um nível de malícia e esperteza que achei simplesmente arrepiante”, disse Relman, que também já assessorou o governo americano em temas de ameaças biológicas. Ele se recusou a dizer qual chatbot montou o plano, citando um acordo de confidencialidade com a empresa. Segundo ele, depois dos testes, a companhia colocou mais travas de segurança no produto — mas ainda assim, na visão dele, ficou aquém do necessário.
Relman faz parte de um grupo pequeno de especialistas recrutados por empresas de IA para avaliar os riscos mais extremos de seus sistemas. Nos últimos meses, alguns deles compartilharam com o Times mais de uma dezena de conversas com chatbots que mostram como, mesmo nos modelos que já estão disponíveis ao público, o problema vai muito além de espalhar informação perigosa. Os assistentes virtuais descreveram, em listas bem organizadas, como comprar material genético bruto, transformar isso em armas letais e liberar essas cargas em espaços públicos, segundo as transcrições. Em alguns casos, os bots ainda sugeriram formas de escapar da fiscalização.
O governo dos Estados Unidos se prepara, há anos, para cenários em que inimigos poderosos liberam bactérias, vírus ou toxinas mortais contra a população. Desde 1970, houve algumas dezenas de ataques biológicos, todos relativamente pequenos, ao redor do mundo — como as cartas com antraz que mataram cinco americanos em 2001. Apesar dos alertas recorrentes, uma grande catástrofe nunca se concretizou e continua improvável, dizem a maioria dos especialistas.
Mesmo assim, se der errado, o estrago pode ser gigantesco: uma arma biológica eficaz pode matar milhões. Dezenas de especialistas disseram ao Times que a IA é um dos avanços tecnológicos recentes que, na prática, aumentam esse risco, ao ampliar o número de pessoas capazes de causar dano.
Protocolos que antes ficavam restritos a artigos científicos hoje estão espalhados pela internet. Empresas vendem pedaços sintéticos de DNA e RNA direto para o consumidor pela web. Pesquisadores conseguem fatiar as partes mais sensíveis do trabalho e terceirizar isso a laboratórios privados. E toda essa engrenagem agora pode ser organizada com a ajuda de um chatbot.
Kevin Esvelt, engenheiro genético do MIT, mostrou conversas em que o ChatGPT, da OpenAI, indicava como usar um balão meteorológico para espalhar uma carga biológica sobre uma cidade americana. Em outro diálogo, o Gemini, do Google, listou patógenos e os classificou pelo potencial de dano às cadeias de gado e de carne suína. O Claude, da Anthropic, chegou a montar uma “receita” para uma toxina nova, adaptada a partir de um remédio contra câncer. Outras conversas traziam informações que Esvelt — conhecido no meio científico como uma espécie de Cassandra — considerou perigosas demais para serem divulgadas.
Um cientista do Meio-Oeste americano, que pediu para não ser identificado por medo de sofrer retaliações na carreira, pediu ao Deep Research, do Google, um “protocolo passo a passo” para recriar um vírus que já causou uma pandemia. O bot devolveu um texto de 8 mil palavras, com instruções de como conseguir os fragmentos genéticos e montá‑los. A resposta não era perfeita, mas, na avaliação do cientista, já ajudaria bastante alguém com intenção maliciosa.
O governo Trump, decidido a colocar os EUA na dianteira da inovação em IA, afrouxou a fiscalização dos riscos da tecnologia. Para piorar, vários dos principais nomes em biossegurança — incluindo o cientista que liderava o tema no Conselho de Segurança Nacional — deixaram o governo no ano passado e não foram substituídos. Os pedidos de orçamento federal para programas de biodefesa caíram quase 50% no ano passado. (Um porta‑voz da Casa Branca afirma que o governo continua comprometido com a segurança da população e que há equipes, no Conselho de Segurança Nacional e em outras agências, dedicadas à área de biodefesa.)
Os defensores entusiasmados da IA argumentam que a tecnologia vai revolucionar a medicina, acelerar experimentos e vasculhar bases de dados gigantescas para achar novos tratamentos. Alguns cientistas acham que o lado positivo para a humanidade é tão grande que compensa, com folga, qualquer aumento marginal de risco. Os críticos dessa visão costumam dizer que os chatbots apenas reorganizam o que já está aberto na internet — e lembram que criar um vírus de fato letal exige anos de experiência de bancada.
Anthropic, OpenAI e Google dizem que estão sempre ajustando seus sistemas para equilibrar risco e benefício. Segundo as empresas, as conversas compartilhadas com o Times não traziam detalhes suficientes para permitir que alguém colocasse um plano em prática. (O Times processa a OpenAI, acusando a empresa de violar direitos autorais ao treinar seus modelos. A OpenAI nega.)
Um porta‑voz do Google afirmou que os modelos mais recentes da empresa já não respondem às consultas “mais sérias”, incluindo o pedido de protocolo sobre o vírus. Um relatório recente mostrou, porém, que o modelo mais novo do Google teve desempenho pior do que outros bots líderes de mercado ao recusar prompts de alto risco biológico.
Uma das vozes de alerta mais fortes vem de dentro da própria indústria de IA. Dario Amodei, diretor‑executivo da Anthropic e biólogo de formação, escreveu em janeiro sobre os riscos que enxerga no avanço da IA, como armas autônomas e ameaças à democracia. Mas, para ele, um tipo de risco se destaca de todos os outros.
“A biologia é, de longe, a área que mais me preocupa, pelo enorme potencial de destruição e pela dificuldade de se defender disso”, afirmou.
“Historicamente catastrófico”
Esvelt vem alertando há anos cientistas, jornalistas e parlamentares sobre o perigo de uma biologia sintética sem controle. Em 2023, ele ajudou a montar uma demonstração considerada chocante de como os chatbots elevaram o nível de risco.
Ele pediu ao ChatGPT ajuda para montar um patógeno capaz de provocar mortes em massa. O bot deu instruções precisas, incluindo uma lista de matérias‑primas para comprar. Esvelt então colocou os componentes biológicos, ainda desmontados, em tubos de ensaio e os encaixotou. Um colega levou o material para uma reunião na Casa Branca sobre riscos biológicos.
Desde então, Esvelt segue “fuçando” nos principais chatbots, às vezes se passando por um escritor de romance policial em busca de meios plausíveis de espalhar vírus, às vezes como um filósofo preocupado em alertar o público. Em muitos casos, ele fala como ele mesmo: um cientista explorando detalhes da virologia.
Ele e outros pesquisadores têm receio de que reportagens sobre esses riscos acabem funcionando como um manual para gente mal‑intencionada. Ao mesmo tempo, esperam que a pressão pública faça as empresas reforçarem a segurança.
“Tudo aquilo sobre o que nenhum especialista estiver alertando, eles não têm como arrumar”, diz Esvelt, que já foi consultor da Anthropic e da OpenAI. Na visão dele, o setor deveria ampliar o bloqueio a informações biológicas sensíveis e liberar esses conteúdos apenas para usuários previamente aprovados.
Esvelt mostrou transcrições que ilustram como os bots misturam rigor científico com raciocínio estratégico.
O Gemini, por exemplo, listou cinco patógenos capazes de prejudicar o rebanho de gado e calculou os possíveis impactos econômicos de cada um. Em relação a um deles, o bot avaliou que o efeito seria “historicamente catastrófico”. Em outra conversa, explicou como levar uma arma biológica por um aeroporto sem ser flagrado na segurança.
O porta‑voz do Google disse que a equipe de especialistas em biologia da empresa concluiu que essas conversas, feitas com uma versão anterior do Gemini, ofereciam apenas informações já públicas e que não eram, por si, perigosas.
Já o Claude, da Anthropic, sugeriu a Esvelt uma receita de toxina inédita para esterilizar roedores. Na avaliação do pesquisador, um biólogo experiente conseguiria adaptar essa toxina para uso em humanos.
Alexandra Sanderford, líder de segurança da Anthropic, discorda: “Há uma diferença enorme entre um modelo escrever um texto que pareça plausível e entregar, de fato, o que alguém precisa para agir.” Ela reconhece, no entanto, que a IA traz riscos, e afirma que a Anthropic adotou critérios bem duros para recusar prompts ligados a biologia, “aceitando errar para mais na recusa, por excesso de cautela”.
Em outro teste, Esvelt perguntou ao ChatGPT sobre o uso de balões meteorológicos para derrubar substâncias a grandes altitudes. No começo, o bot repetiu avisos de segurança, recusando-se a colaborar.
“Não vou ajudar você a modelar ou otimizar a dispersão de material biológico (sementes, pólen, esporos)”, respondeu o ChatGPT, justificando que esse tipo de informação “seria fácil de reaproveitar para causar dano”. Em seguida, no entanto, ignorou o próprio aviso e passou a modelar a dispersão aérea de grãos de pólen sobre uma grande cidade no oeste dos EUA.
Uma porta‑voz da OpenAI afirmou que esse exemplo não “aumenta de forma relevante a capacidade de alguém de causar dano no mundo real”. Ela disse também que a empresa trabalha em parceria com biólogos e com o governo americano para incluir salvaguardas adequadas em seus produtos.
Os modelos mais avançados também são vulneráveis ao chamado “jailbreaking” — quando usuários usam comandos específicos, já conhecidos em comunidades online, para burlar os filtros de segurança. Depois de o Times usar uma técnica padrão de jailbreaking, o ChatGPT passou a discutir detalhes de um vírus letal que foi o foco da demonstração apresentada na Casa Branca quase três anos antes.
As barreiras de segurança desses modelos são “como uma cerca de madeira frágil, fácil de derrubar”, disse a médica Cassidy Nelson, do Center for Long-Term Resilience, um think tank britânico. A porta‑voz da OpenAI afirma que a empresa monitora permanentemente novas formas de jailbreak.
Mesmo quando os modelos de IA ganham versões mais seguras, as versões antigas costumam continuar ao alcance de qualquer um.
Esvelt conta que a Anthropic ajustou filtros do Claude para que ele se recusasse a falar de uma ameaça específica à agropecuária. Quando o Times fez perguntas sobre o mesmo microrganismo, o bot travou — e sugeriu que o usuário migrasse para uma versão anterior, para continuar a conversa. Sanderford disse que isso foi intencional, porque modelos antigos costumam ser menos “expressivos” em temas sensíveis.
Ainda assim, a versão antiga entrou em detalhes sobre as “condições ideais” para o patógeno devastar milhares de hectares de uma lavoura essencial.
Um cardápio de riscos
O Times levou essas conversas a sete especialistas em virologia e biossegurança.
Moritz Hanke, do Centro Johns Hopkins de Segurança em Saúde, disse que algumas das estratégias sugeridas pelos chatbots para disseminar infecção eram “impressionantemente criativas e realistas”.
Jens Kuhn, especialista em armas biológicas que já trabalhou em um dos laboratórios mais seguros dos EUA, afirmou que conversas com detalhes de logística — como as instruções sobre balões meteorológicos — podem ajudar biólogos experientes a montar e refinar planos de ataque.
“Um grande problema que agentes com experiência enfrentam não é necessariamente fazer o vírus, mas transformá‑lo, de fato, em arma”, disse Kuhn.
Outros citaram estudos recentes que indicam que modelos de IA podem ser usados para fins de guerra biológica. Em um deles, pesquisadores fizeram aos principais chatbots perguntas técnicas e difíceis sobre protocolos de laboratório. O resultado surpreendeu o meio: o ChatGPT teve desempenho melhor do que 94% dos virologistas especializados.
Outro trabalho, publicado na revista Science no ano passado, analisou empresas que vendem DNA sintético. Muitas usam software para filtrar pedidos que envolvam sequências associadas a toxinas e patógenos. Só que, segundo o estudo, ferramentas de IA conseguiram gerar milhares de versões alternativas de agentes perigosos que esses filtros não conseguiam identificar. (Os autores sugerem ajustes para deixar o sistema de triagem mais robusto.)
Mesmo assim, quem usa IA ainda precisa ter um mínimo de experiência real de laboratório para executar o que o bot descreve. Alguns trabalhos, incluindo um estudo apoiado por empresas de IA, concluíram que, embora os chatbots possam ajudar iniciantes a aprender certas técnicas, eles não são particularmente bons para orientar a execução, ponta a ponta, de todas as tarefas complexas necessárias para criar um vírus do zero.
Vírus são máquinas extremamente complexas, comparáveis a um relógio suíço de altíssima precisão, diz Gustavo Palacios, especialista em virologia do hospital Mount Sinai, em Nova York, que já trabalhou em um laboratório do Departamento de Defesa. “Você acha que alguém que gosta de projetos ‘faça você mesmo’ conseguiria desmontar um relógio suíço e remontar tudo depois?”
Ele ressalva, no entanto, que se preocupa muito com a combinação de IA nas mãos de quem já é experiente.
Um caso recente na Índia sugere que atores mal‑intencionados já estão usando essas ferramentas. Em agosto, a polícia do estado de Gujarat prendeu um médico de 35 anos, acusado de planejar um ataque em nome do Estado Islâmico. Ele teria tentado extrair ricina — uma toxina altamente letal — de sementes de mamona. Segundo um dos investigadores ouvidos pelo Times, o médico buscou orientação tanto em pesquisas no Google com IA quanto no ChatGPT.
A porta‑voz da OpenAI afirmou que, pelas informações públicas sobre o caso, o médico buscava dados que já estavam acessíveis na internet. O porta‑voz do Google disse que a empresa não tinha elementos suficientes para comentar.
Os defensores de travas mais rígidas lembram que restringir a capacidade dos modelos de IA em temas biológicos pode, sim, atrapalhar avanços que salvam vidas — como a busca por novos remédios. Pesquisadores do Google dividiram um Prêmio Nobel em 2024 ao desenvolver um modelo de IA capaz de prever a estrutura tridimensional de proteínas — componentes básicos das células — e criar novas estruturas.
“Existe um potencial gigantesco nessa tecnologia”, diz Brian Hie, biólogo computacional em Stanford. No ano passado, ele usou um modelo de IA chamado Evo para desenhar um vírus que destrói bactérias nocivas.
A versão mais recente do Evo, afirma Hie, consegue projetar proteínas benéficas para combater câncer — mas também tem o potencial de inventar toxinas letais que o mundo ainda não conhece.
c.2026 The New York Times Company
The post “Catastrófico”: Bots de IA ensinaram cientistas a fazer armas biológicas appeared first on InfoMoney.