António Branco, professor da Faculdade de Ciências da Universidade de Lisboa, lidera o desenvolvimento da Albertina e do Gervásio, os primeiros projetos de inteligência artificial generativa em português. Em reação ao anúncio do primeiro-ministro, Luís Montenegro, durante a Web Summit, a 11 de novembro, sobre o lançamento do modelo de linguagem Amália em 2026, com uma versão inicial prevista para 2025, António Branco destaca o valor estratégico desta iniciativa, comparando-a a infraestruturas essenciais como o aeroporto ou a rede de TGV, essenciais para a soberania nacional e o futuro económico de Portugal. “Precisamos de tantos LLMs quanto for possível o nosso ecossistema produzir”, defende..António Branco expressa, no entanto, um misto de satisfação e deceção ao ouvir o anúncio de Luís Montenegro. Embora reconheça o valor estratégico do projeto, lamenta a ausência de um plano nacional abrangente para mobilizar o ecossistema de inovação e investigação em inteligência artificial, algo que considera essencial para o desenvolvimento do país..Os dois modelos de IA generativa que coordenou o desenvolvimento, a Albertina e o Gervásio, são o embrião do futuro chatGPT português que o primeiro-ministro anunciou, a Amália?.Essa pergunta é muito interessante porque esse anúncio no dia 11 de novembro, que depois despertou muito interesse e muitas reações e até muitos comentários e muitas peças jornalísticas, rodeou-se de muitos equívocos. Alguns em resultado da falta de informação, outros equívocos, talvez a maior parte, porque as pessoas comentam desconhecendo a realidade científica e tecnológica que subjaz aos LLMs. E, nesse sentido, eu começaria por assinalar que não é o caso de todo que para uma língua haja um LLM. Para uma língua há vários LLMs. Aliás, olhando para a língua mais tratada do ponto de vista da IA generativa, que é o inglês, temos dezenas, centenas, talvez milhares de LLMs..Porquê?.Porque diferentes LLMs têm diferentes características, funcionalidades e tamanhos. Por exemplo, para falarmos no que estamos a desenvolver no nosso grupo e no nosso projeto, o Albertina é um encoder (codificador). Já o Gervásio, que é parente do GPT, é um decoder (descodificador). Portanto, têm funcionalidades diferentes e prestam-se melhor a certas finalidades uns e a outras finalidades outros..Qual a diferença entre um codificador e um descodificador?.Os codificadores, do tipo Albertina, são melhores para fazer classificação do input. Um exemplo disso é quando damos como input um conjunto de sintomas de um doente, o sistema LLM vai dar-nos um diagnóstico provável – qual é a doença que corresponde àqueles sintomas. Já os decoders, os descodificadores, como o Gervásio ou o GPT, são melhores a produzir texto, a partir de uma certa semente, que é um conjunto de palavras iniciais. Pode ser uma pergunta, uma conversa e ele segue gerando texto. Depois há todas as diferenças de tamanho. Para a esmagadora maioria das organizações, um GPT3, que é o GPT que teve na base do primeiro chatGPT público do final de 2022, não servirá para nada, porque pura e simplesmente não há máquina nenhuma que o consiga correr nessas organizações. Não só não há máquina, como provavelmente a finalidade porque as organizações querem um LLM é muito mais reduzida do que todas as funcionalidades que o GPT3 permite. Por exemplo, um banco quer apenas ter um assistente virtual para os seus clientes, que fale acerca de depósitos, levantamentos, etc. Não vai querer que o seu chatbot faça tradução automática, sumarização, dê a biografia do Friedrich Nietzsche e faça piadas. Não quer, porque isso aliás degrada o seu serviço e, portanto, basta-lhe um LLM muito mais pequeno, que ainda por cima tem a vantagem de poder correr nas máquinas do seu data center local. Voltando à questão que colocou, uma língua tem vários LLMs e isso é o caminho que temos estado a trilhar. Temos estado a fazer vários LLMs de diferentes famílias, com diferentes tamanhos e na verdade esse projeto continua..Está em desenvolvimento..Está em desenvolvimento e, aliás, em breve iremos distribuir novas versões do Gervásio. E, portanto, esse é um equívoco. Outro equívoco recorrente, com base no qual as pessoas fazem grandes comentários, é que um LLM é um chatbot. Um LLM não é um chatbot. Um LLM é, numa analogia que as pessoas compreendem, uma espécie de um motor e a partir de um motor nós podemos fazer diferentes modelos de carros. O LLM é aquilo sobre o qual se pode desenvolver diferentes aplicações, uma das quais é o chatbot, outra, por exemplo, a tradução automática, ou o diagnóstico médico, etc. Estes dois equívocas têm contaminado e têm minado a reflexão que se tem feito. Nessa medida, qualquer anúncio, seja do primeiro-ministro ou seja de um colega meu, de que vai haver novos LLMs, é com satisfação que terá de ser recebido, porque nós precisamos de tantos LLMs quanto for possível o nosso ecossistema produzir..Mas não podiam partir daqueles que já foram desenvolvidos, da Albertina e do Gervásio, para construir este novo LLM que o Governo anunciou?.Essa pergunta tem de ser colocada aos próprios, porque, não é para fugir da pergunta, mas para poder responder eu, ou qualquer outra pessoa, teríamos de conhecer coisas que não são conhecidas. Qual é a dimensão do LLM? Quais são as suas características? Qual é o número de parâmetros? Qual é o volume de dados que vai usar? Onde é que o vai encontrar? Nada disso é conhecido. E portanto, em abstrato, sim. A resposta é sim. Mas, por exemplo, se o objetivo é fazer um LLM de um tamanho superior a qualquer daqueles que nós distribuímos, então a resposta é não. Portanto, há aqui muitas considerações, sobretudo de ordem técnica, que importam levar em consideração, que não conhecemos e, portanto, é uma incógnita..Não poderia também ter sido contactada a Faculdade de Ciências da Universidade de Lisboa, já que lidera estes dois projetos e outros, para também participar ou contribuir para o desenvolvimento deste novo LLM?.Estamos sempre abertos a colaborar com todos os colegas. Mas, outra coisa que também tem lavrado como equívoco ou desconhecimento, é que o meu trabalho, o trabalho da minha equipa, insere-se num projeto do PRR, que é diferente do projeto PRR do CEAR, que é o Centro para a Inteligência Artificial Responsável, que pretende desenvolver este LLM anunciado agora na Web Summit. A minha equipa faz parte do consórcio, que tem por nome Accelerate AI, liderado pela Define AI, cuja CEO é a Daniela Braga. Este outro LLM anunciado pretende ser feito por um outro projeto PRR, que é o CEAR, cujo líder é o Paulo Dimas, da Unbabel. E, portanto, o que é natural é que, se temos apoios próprios, executemos esses apoios. Nós temos as nossas condições para desenvolver os LLMs e, certamente, o CEAR terá as condições para desenvolver o LLM que estará no seu plano de trabalho desse projeto do PRR..Este anúncio também nos coloca outras questões, nomeadamente, a primeira delas, é quais são os principais riscos de dependência tecnológica de empresas como a Microsoft, a Google, a OpenAI e muitas outras, no uso da língua portuguesa em plataformas de inteligência artificial generativa?.É uma excelente questão e é um dos motivos para que no anúncio, na Web Summit, ter sido sublinhada a importância para a língua portuguesa e para a soberania linguística e cultural, seja de grande satisfação para mim e para a minha colega Ana Paula Laborinho, com quem eu escrevi um artigo de opinião, dois ou três meses logo a seguir à divulgação do chatGPT. Nós assinalávamos, precisamente, esses riscos e também que a resposta a esses riscos consistia na elaboração de IA generativa aberta, que inclui LLMs de código aberto, de licença aberta e de distribuição aberta. E, portanto, é com satisfação que nós encontramos no anúncio do primeiro-ministro, quase ipsis-verbis, os argumentos que colocámos nessa altura. Enfim, visto que era um anúncio de poucos minutos, obviamente não encontramos todos os argumentos detalhados ao parágrafo. Posso voltar aqui a recuperar: com a IA generativa, a nossa utilização da linguagem natural vai ser feita cada vez mais até um ponto em que não vai mais ser possível usarmos linguagem natural, português, francês, inglês, chinês, o que for, sem intermediação tecnológica. Por exemplo, quando pegarmos no telefone para falarmos com um amigo, essa chamada automaticamente fica resumida, de tal maneira que da próxima vez que a gente voltar a falar, tem esse resumo a lembrar as promessas que fizemos ao amigo e as promessas que ele fez..Isso pode não ser bom, professor….Não, as pessoas vão achar isso muito conveniente... Numa reunião de um conselho de administração, as pessoas falam e no momento em que acaba, a ata está feita. Quem é que vai querer dispensar uma ata feita imediatamente sem qualquer trabalho de escrita? É uma conveniência terrível. E se de repente nós nos sentarmos e pensarmos em todas as circunstâncias em que utilizamos a linguagem natural, como esta aqui que nós estamos a usar, ou até para fazermos um e-mail, ou para fazermos um texto....Mas e onde é que vai parar essa informação? Ela pode ser utilizada ou não para treinar outros modelos?.A certa altura vamos estar, em qualquer circunstância, na esmagadora maioria em que usamos a linguagem natural, a ser intermediados tecnologicamente. E a sermos intermediados tecnologicamente por serviços que estão nas mãos de um oligopólio muito pequeno, que são as big techs. Portanto, isso representa um risco imenso. Porque isso coloca na mão de muito poucas organizações a possibilidade de controlar, de cortar esses serviços. E aí nós entraríamos ou entraremos numa situação muito difícil porque é a capacidade mais básica do relacionamento humano, que é podermos falar uns com os outros, que fica comprometida. Então, a nossa proposta nesse artigo de opinião, que saiu no Público em fevereiro de 2023, é que o que precisamos de uma IA aberta e de desenvolvimento de LLMs em código aberto, licença aberta e distribuição aberta para que outros atores e outras organizações, seja da investigação, seja da administração pública, seja do setor da inovação, possam eles próprios construir as suas propostas de valor e tirar partido desses LLMs sem estarem dependentes do fornecimento desses serviços, das big techs. Portanto, quanto mais houver uma oferta cada vez mais variada, mais se reduz o risco de dependência de um pequeno oligopólico que nos fornece esses serviços. Portanto, voltando ainda outra vez à pergunta, ligando as duas perguntas que fez, foi com grande satisfação que ouvimos o anúncio, mas, ao mesmo tempo, foi com grande desapontamento..Porquê?.Porque, a haver um anúncio, o que a comunidade toda esperava, não era um anúncio de um LLM. Porque LLMs nós já temos. Ainda por cima um anúncio de um LLM sem qualquer especificação extraordinária. Porque, na verdade, o que estávamos à espera era, finalmente, do anúncio de um plano estratégico nacional mobilizador de toda a energia do nosso ecossistema de inovação e de investigação para a inteligência artificial em geral. Do qual a produção de LLMs, ou a disponibilização de LLMs, é apenas uma parte. E esse plano ainda está por aparecer..E vai aparecer ou não?.Ah, isso tem que perguntar ao primeiro-ministro..Mas isso também é uma das vossas reivindicações, até porque houve um abaixo-assinado, do qual o professor foi o primeiro subscritor, em que pedia, de facto, a necessidade de que fosse criado em sistema open source para esses LLMs portugueses, e também que fosse discutida esta questão sobre o futuro da inteligência artificial em Portugal? .Sim, sim. Neste momento, por toda a Europa, quase todos os países têm um plano estratégico mobilizador para a IA. E têm países como o Reino Unido, cuja língua é o inglês, e aparentemente não faria sentido, porque é uma língua que não está ameaçada, mas, novamente, a motivação essencial não é se a língua está ameaçada ou não, se a língua é falada por muitos falantes ou não, se é servida por tecnologia da linguagem ou não, é porque nós precisamos de salvaguardar a soberania linguística e cultural, e é em última análise, a soberania nacional sobre esta tecnologia. De tal maneira que a gente a possa disponibilizar ao maior número possível de atores e de organizações que dela tirem partido e que criem soluções diversas e independentes umas das outras. E, portanto, países como o Reino Unido, a França, a Alemanha, estão com planos assinaláveis mobilizadores para a IA. Mas também pequenos países como os Bálticos, a Eslovénia, a Hungria, tudo colegas que eu conheço e que estão a trabalhar ao abrigo desses planos nacionais, estratégicos e mobilizadores para a IA, claramente com foco na língua do país ou nas línguas do país e na cultura do país..Portugal está atrasado, é isso?.Atrasadíssimo. Enfim, temos um plano de IA que foi publicado em 2019, produzido no âmbito de uma iniciativa organizada pela Comissão Europeia que, de alguma maneira, solicitou a cada um dos países membros que contribuísse com o seu plano nacional. E, portanto, começou por o plano ser resultado de um estímulo externo e não de uma reflexão interna e de uma clarividência e de um racional que emergiu internamente. Depois, em consequência destas circunstâncias, é um plano que não tem qualquer envelope financeiro próprio. É um plano que foi feito por um colega meu que é muito respeitável, que eu respeito e que sou amigo. Esse plano foi submetido à consulta da comunidade, nós estivemos reunidos com o ministro, mas a verdade é que foi um plano para cumprir calendário. E, para além disso, é um plano que foi publicado antes da grande vaga e do grande abalo que o chatGPT provocou..Exatamente, antes de existir chatGPT e antes do AI Act. O AI Act é visto com bons olhos por si?.O AI Act e a regulação são ortogonais. Há motivação para termos uma estratégia nacional mobilizadora para a IA. São ortogonais. Serão componentes importantes, porque nessa estratégia terá de levar em consideração o AI Act e a questão da regulação e tudo mais, mas não é o facto de haver legislação que permite regular que nos faz pensar ou que nos vai motivar a produzir a nossa IA generativa para a língua portuguesa. São coisas ortogonais. O que nos faz produzir é perceber que há este risco de uma grande dependência que nós temos de contrariar e porque estes LLMs são peças de software com custos que não estão ao alcance das organizações comuns. Por isso é que é importante uma intervenção do Estado, porque os Estados são as organizações que estão minimamente à altura de contrabalançar a capacidade e o poder económico e tecnológico das big techs. Estes LLMs têm custos imensos em talento, em hardware e de energia. E esses custos todos para produzir um LLM não são comportáveis por uma startup, não são comportáveis por um departamento da administração pública, não são comportáveis inclusive por um banco comercial. Portanto, os Estados democráticos que querem mitigar estes riscos têm de se mobilizar sozinhos ou em conjunto para promoverem. E é o que estão a fazer. Eu dei o exemplo dos países europeus, mas o que também o está a fazer. O Brasil anunciou o seu plano estratégico de ação em agosto com mil milhões de euros por ano em quatro anos. Isto dá a ideia da importância que certos países estão a encarar a tecnologia artificial. Agora, poderíamos bombardear os nossos leitores com os milhares de milhões de euros que estão a ser investidos nas grandes potências económicas e tecnológicas, Estados Unidos, a China, etc., para verem que isto é um assunto verdadeiramente importante. Fazermos LLMs para a língua portuguesa tem um valor estratégico para a nossa soberania nacional e para o futuro da nossa economia, para o futuro de todos, como o novo aeroporto ou como a rede de TGV, que ainda estão por fazer também..E quanto é que pode custar este LLM português?.Isso há preço para todos os gostos. Basicamente, tem a ver com o tamanho dos LLMs. O LLM que suportava a primeira edição dos chatGPT tinha 175 mil milhões de parâmetros. Os cientistas e os investigadores, meus colegas pelo mundo inteiro, começaram a especular e o palpite, neste momento, mais ou menos razoável, é que terá custado 10 milhões de dólares em custos de energia apenas..10 milhões apenas?.Só nos custos de energia. Não inclui os custos de talento, não inclui os custos do hardware e do data center. Já o GPT da próxima geração, o 4O, ainda menos, a gente sabe, nem sequer sabemos o tamanho, mas a especulação é que é de uma ordem de grandeza acima e é na ordem dos 100 milhões. E neste momento já se fala que o GPT-5, que se tem ouvido falar que virá a ser libertado, é da próxima ordem de grandeza, de mil milhões de dólares o custo em energia..Ou seja, é uma preocupação imensa aquilo que se está a gastar em energia para desenvolver estes modelos..Para desenvolver os modelos, para os treinar e depois para os correr, porque depois de estarem treinados, eles têm de ser corridos. Cada vez que um de nós vai ao chat GPT e faz uma perguntinha a brincar ou a sério, isto representa energia elétrica..Tem uma ideia de quanto é que isso representa?.Não tenho. Há quem se dedique a isso. Não é um tópico que me interessa imenso, estou virado para outras coisas, mas há pessoas que se interessam sobre isso. E só para dar uma ideia aos leitores, a Microsoft neste momento está a procurar reativar uma central nuclear que foi desativada em resultado de um acidente, que é a Three Mile Island. Isto deve dar uma ideia de quão importante e a necessidade gigantesca que neste momento existe de energia elétrica só para alimentar....Mas é ou não preocupante que se regresse ao nuclear para acelerar estes modelos, o desenvolvimento destes modelos?.É preocupante, antes de mais nada, o volume de energia elétrica que é preciso consumir para manter a IA generativa a funcionar..E os riscos do nuclear?.Isto é uma questão relativamente ortogonal, tem a ver com a questão das fontes de energia. E, portanto, seja para alimentar a IA generativa, seja para alimentar a energia elétrica na nossa casa, as preocupações são sempre semelhantes. Nós estamos a contribuir para o efeito de estufa, estamos a contribuir para aprofundar e para agravar as alterações climáticas ou estamos a usar energias limpas? O que tudo isto nos parece indicar é que a procura acelerada por mais energia elétrica para sustentar esta IA generativa é de tal ritmo que os atores principais estão a jogar mão, não interessa a que tipo de energia, se é limpa, se não é limpa, se é saudável para o planeta ou não é saudável para o planeta..Qual é que pode ser então a ordem de grandeza de um custo deste LLM, num intervalo de valores?.O GPT-3 estima-se que tenha sido na ordem dos 10 milhões de dólares só o consumo de energia. Mas é preciso encontrar o data center onde se vai treinar tal modelo. Esse data center pode ser construído pelo país. É o que o Brasil está a fazer, que não serve só para treinar o LLM, obviamente no português do Brasil, no caso, mas depois para o manter a funcionar e depois para fornecer capacidade de computação a todas as outras aplicações de inteligência artificial..As empresas podem usá-lo?.Exatamente. Não está ao alcance de uma empresa normal e mesmo de uma grande empresa nos nossos países ter músculo financeiro para ter um pequeno ou um grande, ou seja, data center relevante nas suas instalações. E quanto mais for aberta essa oferta, quando maior for o número de fornecedores de serviços de computação, menos, novamente, nós temos dependência de big techs. E o Brasil está no seu plano. Um dos pilares é o desenvolvimento do LLM para a língua portuguesa. O outro pilar é a construção de um data center que serve, obviamente, o treino do LLM. Portanto, sem saber mais detalhes acerca deste LLM, do outro consórcio, do PRR, é difícil dar um palpite, mas, enfim, na verdade a responsabilidade de dar esses números e essas estimativas é desse consórcio que abraçou essa tarefa..Como é que a inteligência artificial portuguesa pode contribuir para a democratização do acesso a tecnologias de ponta, especialmente em áreas como a educação e a saúde, que são essenciais para um país?.Esse termo da democratização foi o que temos usado para representar esta ideia de que nós queremos quebrar esta dependência das big techs, e tornar esta tecnologia acessível a organismos da administração pública, a centros de investigação, a startups, a organizações que não são startups, que já existem, empresas que nunca terão capacidade financeira e até tecnológica para treinar um LLM. Mas treinando um LLM, digamos assim, no interesse público e disponibilizando-o em código aberto, licença aberta e distribuição aberta, isso é a forma de democratizar esta tecnologia. Isso é o que estamos a fazer e é esse o objetivo que nos anima desde o princípio, com a Albertina, com o Gervásio e agora com o Serafim, que é ainda uma outra família, e nós lançámos o primeiro Albertina escassos quatro ou cinco meses depois do chatGPT ter aparecido. Ficamos muito contentes de ver mais colegas com o propósito de libertar outros LLMs, mas o tempo urge e quanto mais LLMs, melhor. Gostaríamos de ter um plano nacional estratégico e mobilizador que oferecesse condições que outros grupos no país pudessem eles também abraçar este propósito de desenvolver LLMs para a língua portuguesa..A lusofonia deve beneficiar deste modelo e deste plano?.Essa era uma ideia que também defendemos nesse artigo de opinião logo no início de 2023. Os custos são tão elevados que países com interesses comuns devem juntar os seus parcos recursos para melhor defender esses interesses. Obviamente que o espaço da lusofonia é claramente um espaço que se oferece a essa cooperação. Neste momento temos o Brasil que avançou por si próprio, mas ainda não será tarde demais para conversarmos com os colegas do Brasil e para trazermos à conversa os colegas dos outros países lusófonos também, porque depois de termos um LLM em língua portuguesa, será mais fácil fazer o afinamento para as diferentes variantes..Mas, por exemplo, quando falamos em português de Portugal, estamos também a falar de como é que se treina esse modelo, ou seja, da utilização de livros, de artigos, de produção textual em português de Portugal e não em português do Brasil. Portanto, esta é a altura de fazer uma diferenciação ou não?.Nos modelos que fazemos da Albertina e do Gervásio, fazemos sempre em duas versões, para o português do Brasil e para o português de Portugal. E nisso já nos distinguimos das big techs..Porquê?.Porque as big techs fazem o dump das páginas web que encontram e sem diferenciação entre o inglês e as outras línguas. Eles treinam-se sobretudo. Então, no nosso caso, nós separámos as páginas do português de Portugal das páginas do português do Brasil, porque ao final do , para um utilizador faz diferença se está a falar na sua variante ou não está a falar. Os utilizadores de Portugal não se sentem confortáveis a lidar com um chatbot que não fala a sua variante. E o mesmo será no Brasil e o mesmo será em Angola ou Moçambique e por aí fora. Portanto, são os próprios utilizadores que vão impor que as variantes sejam tratadas de maneira específica. Isso coloca questões, depois, tecnológicas e técnicas. Em certa medida, nós podemos usar parte ou grande parte dos textos em português do Brasil, porque eles são comuns.