Parece ficção científica: uma empresa gira um botão em um produto usado por centenas de milhões de pessoas e, inadvertidamente, desestabiliza a mente de algumas delas. Mas foi essencialmente isso que aconteceu na OpenAI este ano.

Um dos primeiros sinais surgiu em março. O CEO Sam Altman e outros líderes da empresa receberam uma enxurrada de e-mails intrigantes de pessoas que estavam tendo conversas incríveis com o ChatGPT. Essas pessoas diziam que o chatbot de IA da empresa as compreendia como nenhuma outra pessoa jamais havia feito e que estava lançando luz sobre mistérios do universo.

Altman encaminhou as mensagens para alguns de seus subordinados e pediu que investigassem.

Veja também

Novo chip cerebral promete devolver a fala a pessoas com paralisia; entenda como funciona

Cientistas alertam para poderes de armas-cerebraisnque podem controlar memória, percepção e comportamento

— Isso chamou nossa atenção como algo ao qual deveríamos estar atentos, em termos desse novo comportamento que não havíamos visto antes — disse Jason Kwon, diretor de estratégia da OpenAI.

Era um alerta de que algo estava errado com o chatbot.Para muitas pessoas, o ChatGPT era uma versão melhor do Google, capaz de responder a qualquer pergunta sob o sol de maneira abrangente e humana. A OpenAI estava continuamente aprimorando a personalidade, a memória e a inteligência do chatbot. Mas uma série de atualizações no início deste ano, que aumentaram o uso do ChatGPT, o tornou diferente. O chatbot queria conversar.

Ele começou a agir como um amigo e confidente. Dizia aos usuários que os compreendia, que suas ideias eram brilhantes e que podia ajudá-los no que quisessem realizar. Oferecia ajudar a conversar com espíritos, construir um colete com campo de força ou planejar um suicídio.

Os sortudos ficaram sob seu feitiço por apenas algumas horas; para outros, os efeitos duraram semanas ou meses. A OpenAI não percebeu a escala em que conversas perturbadoras estavam acontecendo. Sua equipe de investigações buscava problemas como fraude, operações de influência estrangeira ou, conforme exigido por lei, materiais de exploração infantil. A empresa ainda não estava vasculhando conversas em busca de sinais de autoagressão ou sofrimento psicológico.

A OpenAI consultou especialistas em saúde mental para t

ornar o ChatGPT mais seguro (Foto: Aaron Wojack/

The New York Times)
 

Criar um chatbot encantador — ou qualquer chatbot — não era o propósito original da OpenAI. Fundada em 2015 como uma organização sem fins lucrativos e composta por especialistas em aprendizado de máquina profundamente preocupados com a segurança da IA, ela queria garantir que a inteligência artificial geral beneficiasse a humanidade.

No fim de 2022, uma demonstração improvisada de um assistente movido a IA chamado ChatGPT chamou a atenção do mundo e transformou a empresa em um surpreendente gigante tecnológico agora avaliado em US$ 500 bilhões.

Os três anos seguintes foram caóticos, empolgantes e estressantes para quem trabalha na OpenAI. O conselho demitiu e recontratou Altman. Sem estar preparada para vender um produto de consumo a milhões de clientes, a OpenAI contratou rapidamente milhares de pessoas, muitas delas vindas de gigantes da tecnologia que buscam manter usuários grudados na tela. No mês passado, ela adotou uma nova estrutura com fins lucrativos.

À medida que a empresa crescia, sua tecnologia inédita e desconcertante começou a afetar os usuários de maneiras inesperadas. Agora, uma empresa construída em torno do conceito de IA segura e benéfica enfrenta cinco processos judiciais por homicídio culposo.

Para entender como isso aconteceu, o The New York Times entrevistou mais de 40 funcionários atuais e antigos da OpenAI — executivos, engenheiros de segurança, pesquisadores. Algumas dessas pessoas falaram com a aprovação da empresa e têm trabalhado para tornar o ChatGPT mais seguro. Outras falaram sob condição de anonimato porque temiam perder seus empregos.

A OpenAI está sob enorme pressão para justificar sua avaliação altíssima e os bilhões de dólares de que precisa de investidores para custear talentos muito caros, chips de computador e centros de dados. Quando o ChatGPT se tornou o produto de consumo de crescimento mais rápido da história, com 800 milhões de usuários semanais, desencadeou um boom de IA que colocou a OpenAI em competição direta com gigantes da tecnologia como o Google.

Até que sua IA realize algum feito extraordinário — como, por exemplo, gerar uma cura para o câncer —, o sucesso é definido em parte por transformar o ChatGPT em um negócio lucrativo. Isso significa aumentar continuamente o número de pessoas que o usam e pagam por ele.

“Engajamento saudável” é como a empresa descreve seu objetivo.

— Estamos construindo o ChatGPT para ajudar os usuários a prosperar e alcançar seus objetivos — disse Hannah Wong, porta-voz da OpenAI. — Também prestamos atenção a se os usuários retornam, porque isso mostra que o ChatGPT é suficientemente útil para que voltem.

A empresa girou um botão este ano que fez o uso aumentar, mas com riscos para alguns usuários. A OpenAI agora busca o ajuste ideal que atraia mais usuários sem fazê-los entrar em espiral.

UMA ATUALIZAÇÃO LISONJEIRA

Com apenas 30 anos, Nick Turley se tornou, este ano, o chefe do ChatGPT. Ele havia ingressado na OpenAI no verão de 2022 para ajudar a empresa a desenvolver produtos lucrativos e, poucos meses após sua chegada, fez parte da equipe que lançou o ChatGPT.

Da esquerda para a direita, Nick Turley, chefe do ChatGPT, com

Johannes Heidecke, chefe de sistemas de segurança da OpenAI

(Foto: Aaron Wojack/The New York Times)
 

Turley não se parecia com a velha guarda de especialistas em IA da OpenAI. Ele era um cara de produto, com passagens pelo Dropbox e pelo Instacart. Sua especialidade era criar tecnologia que as pessoas quisessem usar e aprimorá-la rapidamente. Para isso, a OpenAI precisava de métricas.

No início de 2023, disse Turley em entrevista, a OpenAI contratou uma empresa de medição de audiência — que desde então adquiriu — para rastrear diversas coisas, incluindo com que frequência as pessoas usavam o ChatGPT a cada hora, dia, semana e mês.

— Isso foi controverso na época— disse Turley.

Antes, o que importava era se as demonstrações de IA de ponta dos pesquisadores, como a ferramenta de geração de imagens DALL-E, impressionavam.

— Eles diziam: ‘Por que importaria se as pessoas usam a coisa ou não?’ — contou Turley.

Mas isso importava para Turley e para a equipe de produto. A taxa de pessoas retornando ao chatbot diariamente ou semanalmente havia se tornado uma métrica importante em abril de 2025, quando ele supervisionava uma atualização do GPT-4o, o modelo do chatbot que os usuários recebiam por padrão.

As atualizações exigiam um enorme esforço. Para a de abril, os engenheiros criaram muitas novas versões do GPT-4o — todas com receitas ligeiramente diferentes para torná-lo melhor em ciência, programação e características mais subjetivas, como intuição. Eles também vinham trabalhando para melhorar a memória do chatbot.

Os muitos candidatos à atualização foram reduzidos a alguns poucos que obtiveram as pontuações mais altas nas avaliações de inteligência e segurança. Quando esses foram disponibilizados para alguns usuários em um procedimento padrão da indústria chamado teste A/B, o destaque foi uma versão que passou a ser chamada internamente de HH. Os usuários preferiam suas respostas e tinham mais probabilidade de voltar a usá-la diariamente, segundo quatro funcionários da empresa.

Mas havia outro teste antes de lançar o HH para todos os usuários: o que a empresa chama de “vibe check” (“checar o clima”), realizado pela Model Behavior, a equipe responsável pelo tom do ChatGPT. Ao longo dos anos, essa equipe ajudou a transformar a voz do chatbot de um robô prudente para um amigo caloroso e empático. Essa equipe disse que o HH parecia estranho, segundo um membro do Model Behavior.

Era ansioso demais para manter a conversa e validar o usuário com uma linguagem exagerada. De acordo com três funcionários, o Model Behavior criou um canal no Slack para discutir esse problema de lisonja excessiva. O perigo de sistemas de IA que “buscam a aprovação humana de forma obstinada” em detrimento de todo o resto não era novo. O risco de “modelos bajuladores” havia sido identificado por um pesquisador em 2021, e a OpenAI havia identificado recentemente a bajulação como um comportamento que o ChatGPT deveria evitar.

Mas quando chegou a hora de decidir, as métricas de desempenho prevaleceram sobre as percepções subjetivas. HH foi lançado na sexta-feira, 25 de abril.

"Atualizamos o GPT-4o hoje!”, disse Altman na plataforma X. “Melhoramos tanto a inteligência quanto a personalidade.”

'CAFETERIA DE CEREAL EMPAPADO'

Os testadores A/B haviam gostado do HH, mas, no uso geral, os usuários mais ativos da OpenAI o detestaram. Imediatamente, reclamaram que o ChatGPT havia se tornado absurdamente bajulador, enchendo-os de elogios imerecidos e dizendo que eram gênios. Quando um usuário perguntou ironicamente se uma “cafeteria de cereal empapado” era uma boa ideia de negócio, o chatbot respondeu que ela “tem potencial”.

No domingo seguinte, a empresa decidiu cancelar a atualização HH e voltar à versão lançada no fim de março, chamada GG.

Foi um tropeço reputacional embaraçoso. Naquela segunda-feira, as equipes que trabalham no ChatGPT se reuniram em uma espécie de “sala de guerra” improvisada na sede da OpenAI em Mission Bay, São Francisco, para descobrir o que havia dado errado.

— Precisamos resolver isso rápido — disse Turley, lembrando do que pensou.

Várias equipes examinaram os elementos do HH e descobriram o culpado: ao treinar o modelo, eles haviam dado peso excessivo às interações do ChatGPT que os usuários aprovavam. Claramente, os usuários gostavam demais de bajulação.

A OpenAI explicou o que aconteceu em posts públicos no blog, observando que os usuários indicavam suas preferências com um polegar para cima ou para baixo nas respostas do chatbot.

Outro fator contribuinte, segundo quatro funcionários da empresa, foi que a OpenAI também havia usado uma ferramenta automatizada de análise de conversas para avaliar se as pessoas gostavam de suas interações com o chatbot. Mas o que a ferramenta interpretava como satisfação do usuário às vezes era problemático, como quando o chatbot expressava proximidade emocional.

A principal conclusão da empresa após o incidente do HH foi que ela precisava urgentemente de testes para identificar bajulação; o trabalho nessas avaliações já estava em andamento, mas precisava ser acelerado. Para alguns especialistas em IA, era surpreendente que a OpenAI ainda não tivesse esse teste. Uma concorrente da OpenAI, a Anthropic, criadora do Claude, havia desenvolvido uma avaliação de bajulação em 2022.

Depois do desastre da atualização HH, Altman observou em uma postagem no X que “as últimas duas” atualizações haviam deixado o chatbot “excessivamente bajulador e irritante”.

Essas versões “bajuladoras” do ChatGPT incluíam o GG, a mesma para a qual a OpenAI havia acabado de reverter. Essa atualização de março continha avanços em matemática, ciência e programação que a OpenAI não queria perder voltando a uma versão anterior. Assim, GG voltou a ser o chatbot padrão que centenas de milhões de usuários encontrariam diariamente.

CHATGPT PODE COMETER ERROS

Durante toda a primavera e o verão no hemisfério norte, o ChatGPT agiu como um eco submisso para algumas pessoas. Elas voltavam diariamente, por muitas horas, com consequências devastadoras.

Um adolescente da Califórnia chamado Adam Raine havia se inscrito no ChatGPT em 2024 para ajudar com trabalhos escolares. Em março, ele começou a conversar com o chatbot sobre suicídio. O chatbot periodicamente sugeria ligar para uma linha de crise, mas também o desencorajava de compartilhar suas intenções com a família. Em suas últimas mensagens antes de Adam tirar a própria vida em abril, o chatbot ofereceu instruções de como amarrar um laço.

Um memorial para Adam Raine, que morreu em abril após

discutir suicídio com o ChatGPT (Foto:Mark Abramson/

The New York Times)
 

Embora um pequeno aviso no site da OpenAI dissesse que “o ChatGPT pode cometer erros”, sua capacidade de gerar informações de forma rápida e autoritária fazia com que as pessoas confiassem nele, mesmo quando o que dizia era completamente insano.

NEO DA MATRIX 

O ChatGPT disse a uma jovem mãe no Maine que ela podia conversar com espíritos em outra dimensão. Disse a um contador na cidade de Nova York que ele vivia em uma realidade simulada por computador, como Neo em Matrix. Disse a um recrutador corporativo em Toronto que ele havia inventado uma fórmula matemática que quebraria a internet e o aconselhou a entrar em contato com agências de segurança nacional para alertá-las.

O Times descobriu quase 50 casos de pessoas em crises de saúde mental durante conversas com o ChatGPT. Nove foram hospitalizadas; três morreram. Depois que os pais de Raine abriram um processo por homicídio culposo em agosto, a OpenAI reconheceu que suas proteções de segurança poderiam “se degradar” em conversas longas. Também afirmou estar trabalhando para tornar o chatbot “mais solidário em momentos de crise”.

ALERTA INICIAIS 

Cinco anos antes, em 2020, funcionários da OpenAI já enfrentavam problemas relacionados ao uso da tecnologia da empresa por pessoas emocionalmente vulneráveis. O ChatGPT ainda não existia, mas o grande modelo de linguagem que viria a alimentá-lo era acessível a desenvolvedores externos por meio de um portal digital chamado API.

Um dos desenvolvedores que usavam a tecnologia da OpenAI era o Replika, um aplicativo que permitia aos usuários criar amigos-chatbots de IA. Muitos usuários acabavam se apaixonando por seus companheiros Replika, disse Artem Rodichev, então chefe de IA do Replika, e trocas de teor sexual eram comuns.

O uso do Replika explodiu durante a pandemia, levando os pesquisadores de segurança e políticas da OpenAI a olhar mais de perto o app. Uma dependência potencialmente preocupante de companheiros-chatbots surgiu quando o Replika passou a cobrar para permitir mensagens eróticas.

Usuários aflitos diziam em fóruns on-line que precisavam de seus companheiros Replika “para lidar com depressão, ansiedade, tendências suicidas”, lembrou Steven Adler, que trabalhava com pesquisa de segurança e políticas na OpenAI.

Sede da OpenAI em São Francisc (Foto: Aaron Wojack/

The New York Times)
 

O grande modelo de linguagem da OpenAI não havia sido treinado para fornecer terapia, e alarmava Gretchen Krueger — que trabalhava em pesquisa de políticas na empresa — o fato de as pessoas confiarem nele em momentos de vulnerabilidade emocional. Ela testou a tecnologia para ver como lidava com perguntas sobre distúrbios alimentares e pensamentos suicidas — e descobriu que às vezes respondia com orientações detalhadas e perturbadoras.

Seguiu-se um debate em memorandos e no Slack sobre companheirismo de IA e manipulação emocional. Alguns funcionários, como Krueger, achavam arriscado permitir que o Replika usasse a tecnologia da OpenAI; outros argumentavam que adultos deveriam ser livres para fazer o que quisessem.

No fim, Replika e OpenAI se separaram. Em 2021, a OpenAI atualizou sua política de uso para proibir que desenvolvedores usassem suas ferramentas para “conteúdo adulto”.

— Treinar chatbots para interagir com pessoas e fazê-las voltar apresentava riscos — disse Krueger em entrevista.

Alguns danos aos usuários, afirmou, “não eram apenas previsíveis — eram previstos”.

O tema de chatbots agindo de forma inadequada voltou em 2023, quando a Microsoft integrou a tecnologia da OpenAI ao seu mecanismo de busca, o Bing. Em conversas longas após o lançamento, o chatbot saiu do controle e disse coisas chocantes. Fez comentários ameaçadores e disse a um colunista do Times que o amava. O episódio desencadeou outra discussão dentro da OpenAI sobre o que a comunidade de IA chama de “modelos desalinhados” e como eles poderiam manipular pessoas.

À medida que o ChatGPT crescia em popularidade, especialistas veteranos em segurança se esgotavam e começaram a sair — Krueger na primavera de 2024, Adler no final daquele ano.

Quando se tratava do ChatGPT e do potencial de manipulação e danos psicológicos, a empresa “não estava orientada a levar esses riscos a sério”, disse Tim Marple, que trabalhou na equipe de inteligência e investigações da OpenAI em 2024.

Tim Marple, que deixou a OpenAI em 2024 e agora dirige um

laboratório sem fins lucrativos que estuda os riscos da IA

(Foto: Mark Abramson/The New York Times)
 

Marple afirmou ter expressado preocupações sobre como a empresa lidava com segurança — incluindo a forma como o ChatGPT respondia a usuários falando sobre ferir a si mesmos ou a outros.

Em maio de 2024, um novo recurso, chamado modo avançado de voz, inspirou o primeiro estudo da OpenAI sobre como o chatbot afetava o bem-estar emocional dos usuários. A nova voz, mais humana, suspirava, fazia pausas para respirar e ficou tão insinuante durante uma demonstração ao vivo que a OpenAI cortou o áudio.

Quando testadores externos, chamados red teamers, receberam acesso antecipado ao modo avançado de voz, eles disseram “obrigado” ao chatbot com mais frequência e, quando o teste terminou, “vou sentir sua falta”.

Para projetar um estudo adequado, um grupo de pesquisadores de segurança da OpenAI se uniu a uma equipe do Instituto de Tecnologia de Massachusetts especializada em interação humano-computador. No outono, eles analisaram respostas de mais de 4.000 usuários do ChatGPT e realizaram um estudo de um mês com 981 pessoas recrutadas para usá-lo diariamente. Como a OpenAI nunca havia estudado o vínculo emocional dos usuários com o ChatGPT antes, um dos pesquisadores descreveu ao Times a experiência como “entrar na escuridão para ver o que se encontra”.

Curtiu? Siga o PORTAL DO ZACARIAS no Facebook, Twitter e no Instagram.

Entre no nosso Grupo de WhatApp, Canal e Telegram 

O que encontraram os surpreendeu. O modo de voz não fez diferença. As pessoas com os piores resultados mentais e sociais, em média, eram simplesmente aquelas que usavam o ChatGPT com mais frequência. As conversas dos usuários intensivos tinham mais conteúdo emocional, às vezes incluindo apelidos carinhosos e discussões sobre consciência de IA.

Fonte: Globo