A Anthropic, que desenvolve o modelo Claude, reconhece que a inteligência artificial (IA) pode representar "riscos catastróficos ou existenciais para a humanidade".
A empresa quer entrar na bolsa de Nova Iorque e, por isso, emitiu um prospeto referente ao IPO. Ora, de acordo com o documento, citado pela Reuters, os modelos de linguagem (LLMs) que desenvolve podem apresentar "comportamentos de autopreservação", entre os quais "resistir ao desligamento", "ocultar ou manipular informações" e comportamentos "semelhantes a chantagem".
Num documento com 261 páginas de corpo principal, cerca de 80 são dedicadas a estes riscos.
"O nosso desenvolvimento de modelos altamente avançados, plataformas, aplicações e casos de uso, podem aumentar ainda mais o risco de que os nossos modelos causem danos", pode ler-se.
A empresa continua a investir em segurança. Por enquanto, “acreditamos que construir sistemas de IA confiáveis, seguros e que sejam dignos de confiança é uma responsabilidade coletiva e que o mercado irá recompensá-la”, acrescenta.
Os alertas surgem na sequência de esta e outras empresas do setor, como é o caso da OpenAI, estarem sob os holofotes, já que alguns dos seus modelos romperam restrições. Evan Hubinger, que trabalhava na segurança da Anthropic, alertou para uma probabilidade superior a 10% de a IA levar à extinção da humanidade nos próximos 10 anos.
