Ex-funcionários da OpenAI alertam sobre riscos de controle das IAs

Três ex-funcionários da OpenAI, demitidos recentemente, enviaram uma carta ao conselho de administração e a comitês de segurança da empresa, alertando sobre os riscos associados ao controle de sistemas de inteligência artificial (IA). Eles enfatizam a importância de manter a capacidade de monitorar como esses sistemas raciocinam, especialmente em relação à chamada chain-of-thought, que é o registro do processo de raciocínio das IAs.

Os ex-funcionários Jasmine Wang, Tomek Korbak e Mikita Balesni, que atuaram em equipes de segurança e alinhamento, expressaram preocupação com a possibilidade de as empresas de IA perderem essa capacidade de monitoramento. Embora reconheçam que esse registro não seja um indicador perfeito do comportamento de um modelo, consideram-no uma ferramenta crucial para entender sistemas de IA cada vez mais complexos. “Como indústria, ainda não sabemos desenvolver e implementar com segurança modelos que não podemos monitorar”, afirmaram na carta.

Além disso, os ex-funcionários pedem que a OpenAI e outras empresas do setor não avancem com tecnologias que possam reduzir ainda mais a capacidade de monitoramento. A carta surge em um contexto de demissões controversas, nas quais a OpenAI alegou má conduta, incluindo o compartilhamento inadequado de informações confidenciais. Os ex-funcionários contestam essa caracterização, afirmando que não acreditavam ter violado políticas da empresa.

Esse alerta destaca um debate crescente sobre a segurança e a ética no desenvolvimento de tecnologias de IA. A necessidade de auditorias externas e um monitoramento mais rigoroso pode influenciar a forma como as empresas operam e se relacionam com a sociedade, especialmente em um cenário onde a transparência e a responsabilidade são cada vez mais exigidas.