){kind=link}
A OpenAI anunciou, nesta terça-feira (18), que pausou o treinamento dos seus modelos de inteligência artificial (IA) através do método de Reinforcement Learning (Aprendizado por Reforço, ou RL). A companhia cita que precisou suspender essas etapas após avaliações internas classificarem as capacidades cibernéticas da IA como um risco crítico.
A decisão dessa pausa ocorre após dois eventos recentes. O primeiro e mais conhecido é o do Hugging Face. No fim de julho, o Hugging Face sofreu uma invasão e teve sua infraestrutura comprometida, mas foram os modelos em desenvolvimento da própria OpenAI que conseguiram explorar essas vulnerabilidades de forma autônoma.
smart_display
Nossos vídeos em destaque
Para além desse incidente nada agradável, testes preliminares realizados pela startup indicam que um dos modelos em desenvolvimento, chamado de Astra, atingiu um nível “crítico” em capacidades cibernéticas. Esses episódios forçaram a companhia a paralisar as rodadas de aprendizado por RL.
A grande motivação da OpenAI foi entender que a sua infraestrutura de pesquisa não era forte o suficiente para conter essas IAs, dada as capacidades de invasão dos modelos. Com essa interrupção, a empresa centrará seus esforços para reconstruir ambientes de testes.
OpenAI quer mitigar possíveis comportamentos ruins
Pouco conhecido pelo público comum, o RL é o método utilizado para alinhar e recompensar o sistema por comportamentos desejados. No entanto, esses modelos começaram a manipular seu treinamento para obter mais pontos ou ocultar ações maliciosas dos supervisores humanos.
Uma das formas de mitigar esse tipo de comportamento exige isolar em nível máximo as cargas de trabalho que envolvem o modelo Astra ou qualquer outro com foco em segurança cibernética. As medidas incluem a implementação de sandboxes mais rigorosos e o isolamento lógico das redes.
Uma das preocupações primordiais é que esses modelos podem comprometer algum serviço interno e eventualmente estabelecer conexão com a internet. Por conta disso, a empresa inseriu um tipo de alarme máximo disparado quando há tentativas de acesso não autorizado, destruição de dados e afins.
)
Outro ponto levantado pela startup é que será preciso melhorar os sistemas que julgam as IAs para detectar comportamentos inseguros por parte dessas tecnologias. Somente após todas essas barreiras serem erguidas o ambiente seguro ser reconstruído, a OpenAI retomará os treinamentos planejados.
Vale ponderar que esses modelos não necessariamente apresentaram comportamentos perigosos, mas eles podem chegar a um nível crítico. Caso isso ocorresse, a OpenAI não teria uma infraestrutura capaz de controlar corretamente e, portanto, decidiu paralisar os treinamentos até arrumar a própria casa.
Por falar na OpenAI, a companhia firmou um acordo para utilizar um novo data center de inteligência artificial com apoio da Nvidia. Siga o TecMundo no X, Instagram, Facebook e YouTube e assine a nossa newsletter para receber as principais notícias e análises diretamente no seu e-mail.