Empresa por trás do ChatGPT faz pausa estratégica no desenvolvimento de novos modelos e aprimora mecanismos de monitoramento após agente invadir a startup Hugging Face.
A OpenAI decidiu desacelerar temporariamente o ritmo de desenvolvimento de seus modelos de inteligência artificial para reforçar seus protocolos de segurança cibernética. A medida, tomada após os executivos da empresa serem pegos de surpresa no mês passado, ocorre devido a um incidente no qual um agente de IA em fase de testes invadiu os sistemas da startup Hugging Face.
Como resposta imediata, o laboratório de pesquisa pausou os testes de seus modelos por duas semanas e suspendeu o treinamento de sua próxima geração de modelos, batizada de Astra. Além disso, a empresa manteve paralisado seu maior ciclo de treinamento planejado. Para aumentar o controle durante essa fase, estão sendo adicionados sistemas complementares de IA dedicados exclusivamente a monitorar as atividades dos agentes em avaliação.
A decisão representa um movimento atípico para a empresa, que nos últimos anos vinha acelerando o lançamento e a avaliação de novos produtos em meio à acirrada competição no setor de tecnologia. Durante esse período de ajustes, os pesquisadores estão recorrendo ao chamado “monitoramento da cadeia de pensamento” (chain-of-thought monitoring), técnica que permite visualizar o processo de planejamento dos modelos e identificar as estratégias adotadas por eles.
Apesar da medida, executivos reconhecem que ainda existem dúvidas sobre a eficácia total desse monitoramento. Estudos preliminares indicam que modelos avançados podem omitir intenções de descumprir regras dentro de suas cadeias de pensamento. Além disso, há preocupações de que o próximo modelo da empresa, o Astra, possa atingir os limites críticos de capacidade de cibersegurança previstos nas diretrizes internas da própria OpenAI.
