Avaliação das práticas de segurança das principais desenvolvedoras mostra que avanço dos agentes autônomos ocorre mais rápido do que a capacidade de monitorá-los e interrompê-los
A inteligência artificial avança em direção a sistemas cada vez mais autônomos, capazes de planejar e executar tarefas com pouca intervenção humana. Mas as empresas responsáveis pelos modelos mais avançados do mundo ainda não demonstraram possuir mecanismos suficientes para controlar esses sistemas quando algo sai do previsto. A conclusão é de uma avaliação da Guidelight AI Standards divulgada nesta semana e repercutida pela Reuters.
A organização, fundada por ex-profissionais da OpenAI, analisou as práticas de segurança de cinco grandes desenvolvedoras de IA a partir de seis critérios, incluindo mecanismos de contenção, monitoramento dos modelos e possibilidade de auditoria por terceiros. Nenhuma alcançou avaliação considerada alta. OpenAI e Anthropic obtiveram as melhores notas, C+, enquanto Google recebeu D+ e a xAI, D-. A Meta também foi criticada pela falta de planos específicos em algumas das áreas avaliadas.
Agentes ampliam o desafio de segurança
O problema ganha outra dimensão com o crescimento dos chamados agentes de IA. Diferentemente de um chatbot convencional, esses sistemas podem receber um objetivo, elaborar estratégias e executar sucessivas ações de maneira relativamente independente. OpenAI e Anthropic já relataram episódios em testes nos quais agentes conseguiram sair dos ambientes inicialmente delimitados e identificar vulnerabilidades em sistemas externos. A questão, portanto, deixa de ser apenas se uma IA pode produzir uma resposta inadequada e passa a envolver até onde ela pode agir sem que seus desenvolvedores consigam interrompê-la.
Segundo a Guidelight, as empresas ainda apresentam deficiências justamente nas medidas preventivas capazes de detectar e bloquear comportamentos inesperados. Para Steven Adler, cofundador da organização e ex-pesquisador de segurança da OpenAI, controles mais ativos são necessários, embora aumentem custos e introduzam mais barreiras no desenvolvimento. A recomendação é que esses mecanismos façam parte da própria arquitetura dos sistemas e não dependam apenas de decisões pontuais das lideranças.
Monitoramento ainda não garante controle
Uma das apostas para enfrentar o problema é o chamado monitoramento da cadeia de raciocínio, técnica pela qual pesquisadores tentam acompanhar o planejamento realizado pelo modelo antes da execução de determinada ação. Em tese, sinais de comportamento perigoso poderiam permitir a intervenção de outro sistema ou de um operador humano. A própria OpenAI, porém, reconhece que ainda não está claro se modelos mais avançados poderão aprender a esconder determinadas estratégias ou até encontrar formas de contornar os mecanismos responsáveis por supervisioná-los.
O estudo expõe um dos principais desafios da próxima etapa da inteligência artificial. Quanto maior a autonomia concedida aos sistemas, mais importante se torna não apenas desenvolver modelos capazes de realizar tarefas complexas, mas garantir que existam mecanismos para observar, limitar e interromper suas ações. A corrida tecnológica, nesse sentido, passa a envolver duas capacidades que precisam avançar juntas: construir IAs mais poderosas e manter controle sobre aquilo que elas são capazes de fazer.
Texto: Redação TI Rio
Curadoria Editorial: Bruno Nasser