Em uma atualização de sua estrutura de preparação, a estrutura interna OpenAI usa para decidir se os modelos de IA são seguros e quais salvaguardas, se houver, são necessárias durante o desenvolvimento e a liberação, o Openai disse que pode “ajustar” seus requisitos se um Rival AI Lab lançar um sistema de “alto risco” sem salvaguardas comparáveis.
A mudança reflete as crescentes pressões competitivas nos desenvolvedores comerciais de IA para implantar modelos rapidamente. O OpenAI foi acusado de reduzir os padrões de segurança em favor de liberações mais rápidas e de não fornecer relatórios oportunos detalhando seus testes de segurança.
Talvez antecipando críticas, o OpenAI afirma que não tornaria esses ajustes de política de ânimo leve e que manteria suas salvaguardas em “um nível mais protetor”.
“Se outro desenvolvedor de IA da Frontier lançar um sistema de alto risco sem salvaguardas comparáveis, podemos ajustar nossos requisitos”, escreveu o OpenAI em um post publicado na terça-feira à tarde. “No entanto, primeiro confirmaríamos rigorosamente que o cenário de risco realmente mudou, reconhecemos publicamente que estamos fazendo um ajuste, avaliar que o ajuste não aumenta de maneira significativa o risco geral de danos graves e ainda mantemos salvaguardas em um nível mais protetor”.
A estrutura de preparação renovada também deixa claro que o OpenAI está dependendo mais de avaliações automatizadas para acelerar o desenvolvimento do produto. A empresa diz que, embora não tenha abandonado completamente os testes liderados pelo ser humano, construiu “um conjunto crescente de avaliações automatizadas” que pode “acompanhar (a) mais rápida (liberação do modelo) cadência”.
De acordo com o Financial Times, o OpenAI deu aos testadores menos de uma semana para verificações de segurança para um modelo principal – um cronograma compactado em comparação com os lançamentos anteriores. As fontes da publicação também alegaram que muitos dos testes de segurança do OpenAI agora são realizados em versões anteriores dos modelos do que as versões lançadas ao público.
Outras alterações na estrutura do OpenAI dizem respeito à forma como a empresa categoriza os modelos de acordo com o risco, incluindo modelos que podem ocultar suas capacidades, evitar salvaguardas, impedir seu próprio desligamento e até auto-replicar. O Openai diz que agora se concentrará se os modelos atingem um dos dois limites: capacidade “alta” ou capacidade “crítica”.
A definição de Openai do primeiro é um modelo que pode “ampliar os caminhos existentes para danos graves”. Estes últimos são modelos que “introduzem novos caminhos sem precedentes para danos graves”, de acordo com a empresa.
“Os sistemas cobertos que atingem alta capacidade devem ter salvaguardas que minimizem suficientemente o risco associado de danos graves antes de serem implantados”, escreveu o OpenAI em sua postagem no blog. “Os sistemas que atingem a capacidade crítica também exigem salvaguardas que minimizem suficientemente os riscos associados durante o desenvolvimento”.
As alterações são o primeiro OpenAI que fez na estrutura de preparação desde 2023.