Um pesquisador de políticas ex-OpenAI de alto perfil, Miles Brundage, recorreu às redes sociais na quarta-feira para criticar a OpenAI por 'reescrever a história' de sua abordagem de implantação de sistemas de IA potencialmente arriscados.
No início desta semana, a OpenAI publicou um documento delineando sua filosofia atual sobre segurança e alinhamento de IA, o processo de projetar sistemas de IA que se comportam de maneiras desejáveis e explicáveis. No documento, a OpenAI disse que vê o desenvolvimento de AGI, amplamente definido como sistemas de IA que podem realizar qualquer tarefa que um humano possa, como um 'caminho contínuo' que requer 'implantação e aprendizado iterativos' das tecnologias de IA.
'Num mundo descontínuo [...] as lições de segurança vêm do tratamento dado aos sistemas de hoje com uma precaução desproporcional em relação ao seu poder aparente, [o que] é a abordagem que adotamos para [nosso modelo de IA] GPT‑2', escreveu a OpenAI. 'Agora vemos a primeira AGI como apenas um ponto ao longo de uma série de sistemas de crescente utilidade [...] No mundo contínuo, a maneira de tornar o próximo sistema seguro e benéfico é aprender com o sistema atual.'
No entanto, Brundage afirma que o GPT-2, de fato, merecia muita cautela na época de seu lançamento, e que isso era '100% consistente' com a estratégia de implantação iterativa da OpenAI hoje.
'O lançamento do GPT-2 pela OpenAI, no qual estive envolvido, era '100% consistente' e prenunciava a filosofia atual da OpenAI de implantação iterativa', escreveu Brundage em uma postagem no X. 'O modelo foi lançado incrementalmente, com lições compartilhadas a cada etapa. Muitos especialistas em segurança na época nos agradeceram por essa cautela.'
Brundage, que ingressou na OpenAI como cientista de pesquisa em 2018, foi chefe de pesquisa de políticas da empresa por vários anos. Na equipe de 'prontidão para AGI' da OpenAI, ele tinha um foco particular na implantação responsável de sistemas de geração de linguagem como a plataforma de chatbot de IA da OpenAI ChatGPT.
O GPT-2, que a OpenAI anunciou em 2019, foi um precursor dos sistemas de IA que alimentam o ChatGPT. O GPT-2 podia responder perguntas sobre um tópico, resumir artigos e gerar texto em um nível às vezes indistinguível do dos humanos.
Embora o GPT-2 e suas saídas possam parecer básicos hoje, eles eram de ponta na época. Citando o risco de uso malicioso, a OpenAI inicialmente se recusou a divulgar o código-fonte do GPT-2, optando por dar a determinados veículos de notícias acesso limitado a uma demonstração.
A decisão foi recebida com críticas mistas da indústria de IA. Muitos especialistas argumentaram que a ameaça representada pelo GPT-2 havia sido exagerada e que não havia evidências de que o modelo poderia ser abusado da maneira que a OpenAI descreveu. A publicação focada em IA The Gradient chegou ao ponto de publicar uma carta aberta solicitando que a OpenAI lançasse o modelo, argumentando que era muito importante tecnologicamente para ser retido.
A OpenAI eventualmente lançou uma versão parcial do GPT-2 seis meses após a revelação do modelo, seguida pelo sistema completo vários meses depois. Brundage acredita que essa foi a abordagem correta.
'Qual parte [do lançamento do GPT-2] foi motivada ou baseada em pensar na AGI como descontínua? Nenhuma', disse ele em uma postagem no X. 'Qual é a evidência de que essa precaução era 'desproporcional' ex ante? Ex post, provavelmente teria sido OK, mas isso não significa que foi responsável YOLO [sic] com essas informações na época.'
Brundage teme que o objetivo da OpenAI com o documento seja estabelecer um ônus da prova onde 'as preocupações são alarmistas' e 'você precisa de evidências esmagadoras de perigos iminentes para agir sobre elas'. Isso, ele argumenta, é uma mentalidade 'muito perigosa' para sistemas de IA avançados.
''Se eu ainda estivesse trabalhando na OpenAI, estaria perguntando por que esse [documento] foi escrito da maneira que foi, e o que exatamente a OpenAI espera alcançar minimizando a cautela de maneira tão desequilibrada', acrescentou Brundage.
A OpenAI historicamente foi acusada de priorizar 'produtos brilhantes' em detrimento da segurança, e de lançar produtos às pressas para vencer empresas concorrentes no mercado. No ano passado, a OpenAI dissolveu sua equipe de prontidão para AGI, e uma série de pesquisadores de segurança e políticas de IA deixaram a empresa por rivais.
As pressões competitivas só aumentaram. O laboratório de IA chinês DeepSeek chamou a atenção do mundo com seu modelo R1 disponível abertamente, que correspondeu ao modelo de 'raciocínio' o1 da OpenAI em vários benchmarks-chave. O CEO da OpenAI, Sam Altman, admitiu que o DeepSeek diminuiu a vantagem tecnológica da OpenAI, e disse que a OpenAI lançaria 'alguns lançamentos' para competir melhor.
Há muito dinheiro em jogo. A OpenAI perde bilhões anualmente, e a empresa teria projetado que suas perdas anuais poderiam triplicar para US$ 14 bilhões até 2026. Um ciclo de lançamento mais rápido de produtos poderia beneficiar a linha de fundo da OpenAI a curto prazo, mas possivelmente às custas da segurança a longo prazo. Especialistas como Brundage questionam se o comprometimento vale a pena.
