Desde o final de 2022 que existe um enorme burburinho sobre a importância do ChatGPT enquanto marco no campo da Inteligência Artificial. Enquanto o mundo científico e a população em geral o discutem, alguns alunos começam já a testar esta nova tecnologia na resolução de diversas tarefas relacionadas com os seus trabalhos académicos. No contexto de uma Unidade Curricular que leciono no Instituto Superior de Engenharia do Porto, pareceu-me adequado introduzir o tema de um ponto de vista meramente informativo, deixando ao cuidado dos alunos a avaliação da sua relevância, com a certeza de que custos ou benefícios que advenham do seu uso serão (também) da sua responsabilidade. De referir que uma boa parte dos alunos, apenas três meses depois da plataforma ficar disponível, já tinha utilizado o ChatGPT.
Foi-lhes então solicitado que estudassem os fundamentos básicos dos NLP (natural language processing) de forma a perceberem a relação com algumas das matérias dadas noutras unidades curriculares e, posteriormente, procurarem algum tipo de falha na ferramenta disponibilizada pela OpenAI (Alunos de Engenharia de Sistemas vs ChatGPT, era o título do trabalho). Os resultados, verificados por mim posteriormente, foram surpreendentes. A título de exemplo, um dos grupos solicitou ao ChatGPT a resolução da equação (x−1)(3x+3) = (2x−1)(x−4), equação de 2.º grau cuja solução* em notação decimal arredondada à 3.ª casa decimal {−9.720,0.720}), estará ao alcance de qualquer aluno do ensino secundário.
A resolução do problema via ChatGPT (versão 3.5) confirmada a 13/04/2023 via interface disponível em www.openai.com, apresenta os principais passos da resolução com elevado detalhe, apresentando a solução como sendo... {0.92,8.08}. De notar que, para alguém com uma literacia matemática pouco acima do básico, seria bem mais rápido calcular a solução do problema e depois verificar se o resultado apresentado pela plataforma está correto, do que procurar em todos os passos se existe algum erro. Pode colocar-se então a questão de que, caso a ferramenta não seja confiável, qual a sua utilidade real? Um utilizador que não domine o tema aprenderá erradamente e poderá mesmo propagar esse erro, já que estes modelos se alimentam de informação disponível na internet. Por outro lado, alguém que domine o tema poderá perder mais tempo a procurar eventuais erros do que a resolver o problema inicial.
Tomando partido da interação que este tipo de modelos permite, questionou-se a máquina: "Tem a certeza que é esta a solução? Pode, por favor, substituir a solução na equação inicial?". O ChatGPT, qual aluno inseguro, devolveu de imediato: "Peço desculpa pelo erro na minha resposta anterior", e apresenta uma nova resolução com ainda mais pormenor do que a anterior, chegando à resposta {−9.563, 0.563} distinta da solução correta S ≈ {−9.720, 0.720}.
Assim sendo, poderemos colocar, no mínimo, as seguintes interrogações: A que tipo de utilizador (aprendiz, experiente) poderá ser útil este resultado? Deverá confirmá-lo? Qual a credibilidade?
A título de curiosidade, aproveito para informar que o processo continuou tendo uma terceira interação conduzido finalmente a uma solução correta, escrita na forma fracionária, mas com representação decimal errada.
Em resumo, numa simples equação de 2.º grau, o ChatGPT fornece um conjunto solução errado. Quando instado a corrigir a resposta, apresenta outro conjunto solução errado que garante estar certo. Finalmente, quando confrontado com a solução correta, faz uma aproximação errada sem um único algarismo significativo correto.
No entanto, não é só na área da matemática fundamental que foi possível detetar erros graves nesta plataforma. Foram detetadas situações perfeitamente hilariantes, como, por exemplo, o facto de o ChatGPT confirmar (!) que a palavra "frase" termina com a letra "s". Note-se que, em qualquer um dos exemplos, não foi pedida informação que necessitasse de dados recentes, pelo que o argumento de que o sistema foi treinado com informação anterior a 2021 não é uma justificação para os resultados obtidos. A fórmula resolvente para equações do 2.º grau existe pelo menos desde o século IX, e a questão relacionada com a palavra "frase" pode deixar algumas dúvidas sobre a adequabilidade do termo "inteligência", mesmo que "artificial" a esta plataforma.
Dada a evolução e investimento nesta área, não será absurdo assumir que estes erros serão "corrigidos" em futuras versões (aqui foi utilizada a versão 3.5 do ChatGPT, com consultas efetuadas em março e abril de 2023). Tão pouco se pretende diminuir a importância que este tipo de tecnologia terá no futuro. No entanto, talvez seja fundamental alertar para o perigo de se entender este tipo de tecnologia como algo que poderá substituir o esforço e o tempo que o verdadeiro conhecimento exige. Assim, urge informar e pensar como contrariar esta via aparentemente fácil e rápida de se substituir a aquisição do verdadeiro saber.
Afinal, como em algumas coisas na vida, a viagem pode ser bem mais importante do que o destino final.
Fica a sugestão.
*
Professor e Investigador