){kind=link}
Os alertas sobre riscos da inteligência artificial generativa para a humanidade seguem em alta. Desta vez, o aviso veio do ex-líder de segurança em IA da Anthropic, Mrinank Sharma, que se demitiu da startup comentando que o mundo está em “perigo”.
Em sua carta de despedida enviada aos colegas de trabalho, o pesquisador dá indícios de ter passado por tensões internas em discussões sobre a segurança da tecnologia na desenvolvedora do bot Claude. O texto foi compartilhado no X, na segunda-feira (9).
smart_display
Nossos vídeos em destaque
“Pressões para deixar de lado o que é mais importante”
Ingressando na Anthropic em 2023, Sharma disse que liderava a Equipe de Pesquisa de Salvaguardas da empresa de IA. Desde então, lidou com uma série de questões sensíveis, incluindo o desenvolvimento de mecanismos para prevenir usos indevidos da tecnologia.
- Um dos casos citados por ele é o da criação de ferramentas com o objetivo de evitar o “bioterrorismo assistido por IA”, em que o bot auxiliaria em ataques biológicos;
- O ex-funcionário também atuou em pesquisas relacionadas à bajulação da IA, que pode tornar os modelos mais propensos a erros;
- Isso acontece quando os chatbots respondem de maneira complacente, reforçando crenças do usuário durante a interação;
- Outro projeto no qual o especialista se envolveu foi um dos primeiros casos formais sobre segurança de IA da empresa, elaborando documento que cita riscos e medidas de mitigação.
Embora tenha se mostrado satisfeito com o trabalho realizado, Sharma deu a entender que os funcionários da Anthropic enfrentam pressões constantes para “deixar de lado o que é mais importante”. Na sequência, se mostra preocupado quanto ao futuro da IA.
“Constantemente me vejo confrontando nossa situação. O mundo está em perigo. E não apenas por causa da inteligência artificial ou das armas biológicas, mas por toda uma série de crises interconectadas que se desenrolam neste exato momento”, refletiu, sem dar maiores detalhes.
Alertas se tornaram comuns na indústria da IA
Pedidos de demissão relacionados a preocupações com a segurança da IA têm acontecido de maneira repetida. A OpenAI é outra empresa que passa por esse tipo de situação com uma certa frequência.
Advertências sobre os riscos dos avanços da tecnologia também estão surgindo cada vez mais. Na última semana, o CEO da Anthropic, Dario Amodei, reforçou a importância de monitorar o desenvolvimento da IA para detectar eventuais rebeliões das máquinas.
A startup, que se prepara para iniciar uma nova rodada de financiamento, não se pronunciou, até o momento, sobre o alerta divulgado pelo ex-funcionário.
Curtiu o conteúdo? Continue no TecMundo e leia mais matérias semelhantes, como esta em que as big techs admitem os problemas que a tecnologia pode causar.