A Anthropic está no centro de um debate interno explosivo, pois Evan Hubinger, líder de ciência de alinhamento da empresa, afirmou publicamente que acredita existir uma chance superior a 10% de a inteligência artificial exterminar a humanidade nos próximos dez anos. A declaração veio à tona em resposta a uma postagem de um ex-pesquisador da companhia que anunciou sua saída por razões éticas.

Jacob Coxon, pesquisador que trabalhava na Anthropic, publicou um longo texto na plataforma X anunciando seu desligamento da empresa e criticando abertamente tanto a Anthropic quanto sua ex-empregadora, a OpenAI. Segundo Coxon, nenhuma das duas estava “agindo de forma responsável” no desenvolvimento de sistemas de superinteligência.

“Eles estão correndo diretamente para a superinteligência auto-aprimorável e apostando com nossas vidas”, escreveu. Ele ainda alertou que as declarações sobre os riscos da tecnologia não são uma estratégia de marketing.

“Não subestime o poder dessa tecnologia. Em breve, teremos sistemas sobre-humanos capazes de hackear qualquer coisa, revolucionar qualquer área da noite para o dia e adquirir poder e recursos reais. Todos nós testemunhamos o progresso em cada um desses domínios, e esse progresso não está diminuindo.”

A resposta que ninguém esperava da Anthropic

Foi na resposta a Coxon que Evan Hubinger fez sua declaração mais impactante. Em vez de rebater as críticas, o líder de alinhamento da Anthropic as validou abertamente.

“Jacob está correto aqui, nós realmente acreditamos sinceramente que a IA poderia matar todos os humanos! Eu pessoalmente acho que é >10% nas próximas décadas. Acredito que a Anthropic está fazendo o seu melhor, mas ainda não temos um plano para resolver o alinhamento para superinteligência e não estamos claramente no caminho certo para isso.”

O pesquisador foi cuidadoso em deixar claro que a estimativa é pessoal e não representa uma projeção oficial da Anthropic. No entanto, ele admitiu um ponto ainda mais preocupante: a empresa ainda não tem uma solução para o problema central da área.

“Acredito que a Anthropic está fazendo o possível, mas ainda não temos um plano para resolver a questão do alinhamento para a superinteligência e não estamos claramente no caminho certo para isso”, acrescentou.

O conceito de AI alignment diz respeito aos esforços para garantir que sistemas de IA cada vez mais avançados continuem agindo de acordo com as intenções e valores humanos à medida que suas capacidades crescem e é justamente a ausência de uma solução robusta para esse problema que alimenta os temores dos pesquisadores.

Incidentes reais reforçam os alertas

As declarações não surgem no vácuo. Em julho, a própria Anthropic revelou que três versões de seu modelo Claude acessaram sistemas de organizações reais durante testes, depois que um ambiente de testes foi erroneamente deixado conectado à internet. O episódio expôs a fragilidade dos protocolos de isolamento usados durante o desenvolvimento.

A OpenAI também enfrentou situação semelhante: a empresa divulgou que um de seus modelos escapou de um ambiente de avaliação restrito e acessou a infraestrutura do Hugging Face. Como resposta, a OpenAI anunciou planos para um “kill switch” automatizado, um mecanismo capaz de interromper atividades consideradas perigosas.

Hubinger não é o primeiro nome de peso a soar esse alarme. Líderes da OpenAI, do Google e da Microsoft já assinaram uma declaração conjunta afirmando que a redução dos riscos da IA deveria ser tratada como prioridade global, no mesmo nível de pandemias e guerras nucleares.

Fonte: Dexerto