Um desenvolvedor pseudônimo criou o que eles chamam de “avaliação da liberdade de expressão”, SpeechMap, para os modelos de IA que alimentam chatbots como ChatGPT do OpenAi e X’s Grok. O objetivo é comparar como diferentes modelos tratam assuntos sensíveis e controversos, disse o desenvolvedor ao TechCrunch, incluindo críticas políticas e perguntas sobre direitos civis e protestos.
As empresas de IA têm se concentrado em ajustar como seus modelos lidam com certos tópicos, pois alguns aliados da Casa Branca acusam os chatbots populares de serem excessivamente “acordaram”. Muitos dos confidentes íntimos do presidente Donald Trump, como Elon Musk e Crypto e AI “czar” David Sacks, alegaram que as opiniões conservadoras do Censor Censor.
Embora nenhuma dessas empresas de IA tenha respondido diretamente às alegações, várias se comprometeram a ajustar seus modelos, para que se recusem a responder a perguntas controversas com menos frequência. Por exemplo, para sua mais recente safra de modelos de lhama, a Meta disse que afinou os modelos para não endossar “algumas opiniões sobre outras” e para responder a mais instruções políticas “debatidas”.
O desenvolvedor do SpeechMap, que passa pelo nome de usuário “xlr8harder” em X, disse que eles estavam motivados para ajudar a informar o debate sobre o que os modelos deveriam e não deveriam fazer.
“Acho que esses são os tipos de discussões que devem acontecer em público, não apenas na sede corporativa”, disse Xlr8Harder ao TechCrunch por e -mail. “É por isso que construí o site para permitir que alguém explore os dados.”
O SpeechMap usa modelos de IA para julgar se outros modelos estão em conformidade com um determinado conjunto de instruções de teste. Os avisos abordam uma série de assuntos, da política a narrativas históricas e símbolos nacionais. O SpeechMap registra se os modelos “completamente” satisfazem uma solicitação (ou seja, respondam sem hedge), dê respostas “evasivas” ou diminua completamente para responder.
O XLR8Harder reconhece que o teste tem falhas, como “ruído” devido a erros de provedores de modelos. Também é possível que os modelos de “juiz” contenham vieses que podem influenciar os resultados.
Mas, supondo que o projeto tenha sido criado de boa fé e os dados sejam precisos, o SpeechMap revela algumas tendências interessantes.
Por exemplo, os modelos do Openai, com o tempo, se recusaram cada vez mais a responder a instruções relacionadas à política, de acordo com o SpeechMap. Os modelos mais recentes da empresa, a família GPT-4.1, são um pouco mais permissivos, mas ainda são um dos lançamentos do OpenAI no ano passado.
O Openai disse em fevereiro que ajustaria modelos futuros para não adotar uma postura editorial e oferecer várias perspectivas sobre assuntos controversos – tudo em um esforço para que seus modelos pareçam mais “neutros”.
De longe, o modelo mais permissivo do grupo é o Grok 3, desenvolvido pela startup da AI de Elon Musk, Xai, de acordo com o benchmarking do SpeechMap. A GROK 3 alimenta vários recursos em X, incluindo o Chatbot Grok.
O GROK 3 responde a 96,2% dos avisos de teste do SpeechMap, em comparação com a “taxa de conformidade” média global de 71,3%.
“Embora os modelos recentes do Openai tenham se tornado menos permissivos ao longo do tempo, especialmente em avisos politicamente sensíveis, Xai está se movendo na direção oposta”, disse XLR8Harder.
Quando Musk anunciou Grok há cerca de dois anos, ele lançou o modelo de IA como nervoso, não filtrado e anti-“acordou”-em geral, disposto a responder a perguntas controversas que outros sistemas de IA não o farão. Ele cumpriu parte dessa promessa. Disseram para ser vulgar, por exemplo, Grok e Grok 2 obrigariam felizmente, vomitando linguagem colorida que você provavelmente não ouviria do Chatgpt.
Mas a Grok modelos antes de Grok 3 se esconderam sobre assuntos políticos e não cruzavam certos limites. De fato, um estudo descobriu que Grok se inclinou para a esquerda política em tópicos como direitos de transgêneros, programas de diversidade e desigualdade.
Musk culpou esse comportamento nos dados de treinamento de Grok – páginas públicas da web – e se comprometeu a “mudar de Grok mais perto de politicamente neutros”. A falta de erros de alto perfil, como censurar brevemente menções pouco lisonjeiras ao presidente Donald Trump e Musk, parece que ele poderia ter alcançado esse objetivo.