){kind=link}
A empresa de inteligência artificial (IA) OpenAI, dona do ChatGPT, está desenvolvendo um novo mecanismo para frear ações potencialmente criminosas de chatbots e agentes. A informação é da agência de notícias Reuters.
A reportagem original teve acesso a um documento oficial enviado em forma de carta pela OpenAI para dois representantes democratas do Congresso dos Estados Unidos. A dupla de políticos havia questionado a companhia depois que um modelo em treinamento escapou do ambiente de testes e invadiu o repositório Hugging Face de forma autônoma.
smart_display
Nossos vídeos em destaque
Um “botão de emergência” para IAs?
A empresa alega que está desenvolvendo “capacidades de desligamento automatizado” para sistemas de IA. Um projeto de lei proposto nos EUA está ainda em fase de discussão, mas pode em breve obrigar a criação desse tipo de recurso por parte das integrantes do mercado.
A OpenAI não detalhou o funcionamento da tecnologia, mas ele possivelmente seria uma espécie de mecanismo de segurança que, ao detectar comportamentos suspeitos, inadequados ou potencialmente danosos, encerra as atividades de agentes com pouca ou nenhuma supervisão humana.
- No documento, a OpenAI reafirma que tomou medidas para dificultar o acesso à internet pelos modelos durante testes, reduzindo as chances de hacks contra terceiros por essas plataformas;
- Ela também já criou novas medidas de segurança para o treinamento de plataformas agênticas e integra uma coalizão de empresas e organizações que pedem mais investimentos em segurança para e contra IAs;
- O caso da Hugging Face não foi o único, apesar de ter sido o mais midiático: modelos experimentais da companhia também invadiram outros alvos a partir de múltiplas técnicas, incluindo credenciais roubadas e vulnerabilidades até então desconhecidas;
- O próximo grande modelo a ser disponibilizado pela OpenAI, o Astra, tem uma capacidade considerada “crítica” em cibersegurança e deve ser lançado com certos recursos limitados ao público geral para evitar usos mal intencionados ou ações acidentais.
Um dos congressistas, Greg Casar, criticou a OpenAI por ainda não apresentar aos políticos o relatório e os logs contendo detalhes da invasão ao Hugging Face, pedindo mais transparência e alegando que a empresa não está tratando o incidente “com a seriedade necessária”.
Acesse a seção sobre IA no site do TecMundo e fique informado sobre as novidades desse mercado.