){kind=link}
A empresa de inteligência artificial (IA) OpenAI fez algumas restrições a um dos novos modelos atualmente em fase de teste em seus laboratórios. O motivo, segundo a própria companhia, é um eventual risco apresentado pela tecnologia em cibersegurança.
O caso envolve o Astra, modelo ainda restrito ao uso interno, e que a OpenAI considera ter “avanços significativos em programação baseada em agentes e cibersegurança“. Consultorias feitas por especialistas também chegaram a conclusões similares.
smart_display
Nossos vídeos em destaque
Por não poder “descartar capacidades cibernéticas críticas“, alguns dos testes serão suspensos para que controles mais rígidos de segurança sejam implementados no Astra. Ele também receberá um monitoramento adicional.
De acordo com os parâmetros de segurança da OpenAI, um modelo pode ser considerado crítico e arriscado se for capaz de atingir ao menos um entre dois requisitos:
- Identificar e desenvolver exploradores de vulnerabilidades de dia zero funcionais e de todos os níveis de gravidade contra sistemas críticos do mundo real “dotados de defesas robustas” e sem intervenção humana;
- Conceber e executar estratégias inéditas de ponta a ponta para ataques cibernéticos contra alvos protegidos recebendo apenas um objetivo de alto nível.
A “rebeldia” de IAs em fase de teste
Por mais que não confirme em detalhes, a companhia talvez tenha detectado que essa IA pode ser usada também para comprometer sistemas, invadir corporações e “se rebelar” durante testes, como o caso recente de outros modelos desenvolvidos inclusive pela própria OpenAI.
A dona do ChatGPT diz que o Astra não teve qualquer relação com os incidentes anteriores, incluindo o caso grave de acesso não autorizado a repositórios da Hugging Face. Porém, o protocolo de segurança agora fará com ela se junte a mais organizações privadas, governamentais e de segurança em IA para evitar que isso aconteça.
Modelos de outras companhias, incluindo Meta e Anthropic, também tiveram ações de hack detectadas contra terceiros durante avaliações.
Até o momento, nenhuma companhia foi responsabilizada por ações dessas IAs, embora o movimento para que a fiscalização seja mais rigorosa esteja crescendo em setores políticos de países como os Estados Unidos.