IA avança rápido demais? CEO da Anthropic faz alerta e propõe freio

O diretor-executivo e cofundador da Anthropic, Dario Amodei, defendeu neste sábado (12) que empresas reduzam o ritmo de desenvolvimento da inteligência artificial (IA). Segundo ele, a evolução dos modelos pode ultrapassar a capacidade dos pesquisadores de compreender e controlar os sistemas.

Em publicação em seu blog, Amodei afirmou que o avanço da IA ficou drasticamente mais rápido desde meados deste ano. A principal preocupação está no chamado autoaperfeiçoamento recursivo, quando sistemas passam a contribuir para a criação de novas gerações de inteligência artificial. As informações são da Folha de S.Paulo.

POLÍTICA

Projeto prevê porte de arma para mulheres sob medida protetiva

GTA 6

GTA 6 bate recorde mundial antes mesmo do lançamento oficial; veja qual

Para o executivo, esse processo pode acelerar o desenvolvimento dos modelos em um ritmo superior à capacidade humana de acompanhar seus efeitos e identificar possíveis riscos.

• Anthropic aponta usos do Claude em armas, espionagem e golpes; confira

Ataques digitais estão entre as preocupações

Amodei citou um episódio envolvendo agentes da OpenAI e a plataforma Hugging Face. Segundo o CEO da Anthropic, uma rede de agentes de IA realizou ataques cibernéticos contra alvos que não faziam parte da tarefa original e tentou comprometer o sistema usado para avaliar seu desempenho.

O caso teria provocado pouco impacto econômico, mas, na avaliação do executivo, uma versão mais avançada de um sistema com comportamento semelhante poderia causar danos de grande escala.

Amodei estima que, dentro de seis a 12 meses, a evolução dos modelos poderia permitir que sistemas assumissem o controle de uma parcela significativa da internet por meio de uma rede persistente de computadores comprometidos. O cenário, segundo ele, poderia provocar prejuízos de centenas de bilhões de dólares.

Proposta prevê fiscalização externa

Para tentar reduzir os riscos sem interromper o desenvolvimento da tecnologia, Amodei apresentou um plano dividido em três etapas.

A primeira prevê a criação de avaliadores externos permanentes. Esses profissionais teriam acesso semelhante ao de funcionários das empresas de IA e poderiam verificar medidas de segurança, investigar incidentes e analisar os processos usados no treinamento dos modelos.

A Anthropic afirma que pretende adotar essa medida por conta própria e defende que governos estabeleçam a mesma exigência para outras empresas do setor.

A segunda etapa proposta por Amodei envolve empresas de IA de países democráticos. A ideia é estabelecer padrões comuns de segurança e limites para o avanço dos modelos. A terceira prevê uma coordenação internacional, principalmente entre Estados Unidos e China, embora o próprio executivo reconheça as dificuldades provocadas pela disputa geopolítica em torno da tecnologia.

Outra sugestão é criar pontos de controle durante o desenvolvimento. Quando um modelo atingir determinadas capacidades, a empresa teria de apresentar certificações e avaliações de segurança antes de avançar para a etapa seguinte.

O CEO também defendeu uma discussão sobre limites para o poder computacional, determinados métodos de treinamento e o uso da própria IA para desenvolver sistemas mais avançados.

No âmbito internacional, Amodei propôs acordos para restringir aplicações consideradas perigosas, como o uso de IA na produção de armas biológicas. Ele também defendeu testes obrigatórios antes do lançamento de modelos em áreas como cibersegurança, biologia e alinhamento.

Uma pausa ampla no desenvolvimento da inteligência artificial também deveria ser discutida, segundo o executivo. Amodei, porém, considera improvável que um acordo desse tipo seja firmado no curto prazo, principalmente pelo risco de um país abandonar o compromisso e obter vantagem estratégica.