A equipe de Superalinhamento da OpenAI, responsável por desenvolver maneiras de governar e dirigir sistemas de IA “superinteligentes”, recebeu a promessa de 20% dos recursos computacionais da empresa, de acordo com uma pessoa dessa equipe. Mas as solicitações de uma fração dessa computação eram frequentemente negadas, impedindo a equipe de realizar seu trabalho.
Essa questão, entre outras, levou vários membros da equipe a renunciarem esta semana, incluindo o co-líder Jan Leike, um ex-pesquisador da DeepMind que enquanto estava na OpenAI esteve envolvido no desenvolvimento do ChatGPT, GPT-4 e do antecessor do ChatGPT, InstructGPT.
Leike divulgou alguns motivos de sua renúncia na manhã de sexta-feira. “Há algum tempo que discordo da liderança da OpenAI sobre as principais prioridades da empresa, até que finalmente chegamos a um ponto de ruptura”, escreveu Leike em uma série de postagens no X. “Acredito que muito mais de nossa largura de banda deveria ser gasta na preparação. para as próximas gerações de modelos, em matéria de segurança, monitorização, preparação, segurança, robustez contraditória, (super)alinhamento, confidencialidade, impacto social e tópicos relacionados. Esses problemas são muito difíceis de resolver e estou preocupado por não estarmos no caminho certo para chegar lá.”
A OpenAI não retornou imediatamente um pedido de comentário sobre os recursos prometidos e alocados para aquela equipe.
A OpenAI formou a equipe Superalignment em julho passado, liderada por Leike e pelo cofundador da OpenAI, Ilya Sutskever, que também renunciou à empresa esta semana. Tinha o ambicioso objetivo de resolver os principais desafios técnicos do controle da IA superinteligente nos próximos quatro anos. Juntamente com cientistas e engenheiros da divisão de alinhamento anterior da OpenAI, bem como pesquisadores de outras organizações da empresa, a equipe deveria contribuir com pesquisas informando a segurança de modelos internos e não-OpenAI e, por meio de iniciativas, incluindo um programa de bolsas de pesquisa , solicitar e compartilhar trabalhos com o setor mais amplo de IA.
A equipe do Superalignment conseguiu publicar um conjunto de pesquisas de segurança e canalizar milhões de dólares em doações para pesquisadores externos. Mas, à medida que os lançamentos de produtos começaram a ocupar uma quantidade cada vez maior de largura de banda da liderança da OpenAI, a equipe do Superalignment se viu tendo que lutar por investimentos mais iniciais – investimentos que ela acreditava serem críticos para a missão declarada da empresa de desenvolver IA superinteligente para o benefício de toda a humanidade. .
“Construir máquinas mais inteligentes que as humanas é um empreendimento inerentemente perigoso”, continuou Leike. “Mas, nos últimos anos, a cultura e os processos de segurança ficaram em segundo plano em relação aos produtos brilhantes.”
A batalha de Sutskever com o CEO da OpenAI, Sam Altman, serviu como uma grande distração adicional.
Sutskever, junto com o antigo conselho de administração da OpenAI, decidiu demitir Altman abruptamente no final do ano passado devido a preocupações de que Altman não tivesse sido “consistentemente sincero” com os membros do conselho. Sob pressão dos investidores da OpenAI, incluindo a Microsoft, e de muitos dos próprios funcionários da empresa, Altman acabou sendo reintegrado, grande parte do conselho renunciou e Sutskever supostamente nunca mais voltou ao trabalho.
Segundo a fonte, Sutskever foi fundamental para a equipe do Superalignment – não apenas contribuindo com pesquisas, mas servindo como ponte para outras divisões da OpenAI. Ele também serviria como uma espécie de embaixador, impressionando a importância do trabalho da equipe nos principais tomadores de decisão da OpenAI.
Após a saída de Leike, Altman escreveu em X que concordou que há “muito mais a fazer” e que eles estão “comprometidos em fazê-lo”. Ele sugeriu uma explicação mais longa, fornecida pelo cofundador Greg Brockman na manhã de sábado:
Embora haja pouco concreto na resposta de Brockman no que diz respeito a políticas ou compromissos, ele disse que “precisamos de ter um ciclo de feedback muito apertado, testes rigorosos, consideração cuidadosa em cada passo, segurança de classe mundial e harmonia de segurança e capacidades. ”
Após as saídas de Leike e Sutskever, John Schulman, outro cofundador da OpenAI, passou a liderar o tipo de trabalho que a equipe do Superalignment estava fazendo, mas não haverá mais uma equipe dedicada – em vez disso, será uma equipe vagamente associada. grupo de pesquisadores integrados em divisões de toda a empresa. Um porta-voz da OpenAI descreveu isso como “integrar (a equipe) mais profundamente”.
O medo é que, como resultado, o desenvolvimento da IA da OpenAI não seja tão focado na segurança como poderia ser.
Estamos lançando um boletim informativo sobre IA! Inscrever-se aqui para começar a recebê-lo em suas caixas de entrada em 5 de junho.
