Analisámos já os riscos existenciais para a humanidade emergentes de colisão com asteróides e das armas de destruição massiva. Abordamos neste artigo os riscos decorrentes da inteligência artificial (AI). Em 1965, o cientista da computação I. J. Good anteviu a possibilidade de criação de uma “máquina ultrainteligente”, que “poderia projetar máquinas ainda melhores” e que conduziria a uma “explosão de inteligência”, deixando a inteligência do homem para trás. Em 1993, o cientista da computação e escritor de ficção científica Vernor Vinge descreveu essa possibilidade como uma “singularidade tecnológica” vindoura e previu que “dentro de trinta anos, teremos os meios tecnológicos para criar inteligência sobre-humana”. A maioria das pessoas, incluindo as elites e os decisores políticos, ainda concebem a AI como mais um mero instrumento tecnológico, não percebendo que se trata de agentes autónomos com capacidade de aprender, adaptar-se e evoluir de forma autónoma, que podem tomar decisões e criar ideias novas sem necessidade de intervenção humana direta. O objetivo declarado de muitas empresas líderes em AI é o desenvolvimento de AIs gerais e, sobretudo, AIs superinteligentes que possam superar significativamente os humanos em praticamente todas as tarefas cognitivas. Em março de 2023, o Instituto do Futuro da Vida (FLI) emitiu uma carta aberta [assinada por um grande número de especialistas e figuras públicas] pedindo às empresas de AI que “pausassem a pesquisa em grande escala de AI”. A preocupação subjacente era: “Devemos desenvolver mentes não humanas que possam eventualmente superar-nos, tornar-nos obsoletos e substituir-nos? Devemos correr o risco de perder o controle da nossa civilização?” Dois meses depois, centenas de pessoas proeminentes assinaram uma declaração de uma frase sobre o risco da IA afirmando que “Mitigar o risco de extinção da IA deve ser uma prioridade global ao lado de outros riscos de escala social, como pandemias e guerra nuclear”. Em 22 de outubro de 2025, o FLI emitiu nova carta aberta sobre os riscos de desenvolvimento de AI superinteligentes. Os decisores políticos tendem a encarar estas preocupações como exageradas e especulativas. Apesar do foco na segurança da AI em conferências internacionais de AI em 2023 e 2024, tal não sucedeu na Cimeira de Ação de AI deste ano em Paris. É importante que os decisores políticos, os analistas políticos e os investigadores em AI dediquem mais tempo e energia a abordar os riscos subjacentes ao desenvolvimento de AI. E é crucial que os formuladores de políticas nas principais potências entendam a natureza da ameaça existencial e reconheçam que, à medida que avançamos em direção a sistemas de AI que superem a inteligência humana, tem que se aumentar as exigências de controle da AI e adotar medidas para proteção da segurança humana.