Notas de prensa

Un equipo da UVigo constata o potencial das ferramentas de IA para a verificación de información

A análise desenvolvida con catro plataformas, ás que se lle solicitaba información de 20 persoeiros de diferentes ámbitos, sitúa ChatGPT como a 'ferramenta máis fiable' para este tipo de tarefas. Este traballo viuse complementado ademais polo desenvolvemento dunha extensión para navegadores que permite empregar a IA xerativa para 'a verificación rápida de información con perspectiva de xénero'.

Realizado ao abeiro da convocatoria de axudas á investigación da cátedra que promoven a Universidade de Vigo e a Deputación de Pontevedra, o proxecto Avaliación da IA xerativa na verificación de feitos sobre personalidades de Pontevedra con perspectiva de xénero foi desenvolvido polos investigadores do grupo Sepcom Mabel Míguez, Alberto Dafonte, Juan Manuel Corbacho e Xabier Martínez Rolán. Contou tamén coa participación das investigadoras Teresa Piñeiro e Laura Castro, da Universidade da Coruña, e Graciela Padilla, da Complutense de Madrid.

ChatGPT, 'a ferramenta máis fiable'

Dada 'a expansión das IA xerativas como novas portas de acceso á información', o estudo centrouse en comparar 'o volume, calidade e tipo de información, fontes utilizadas e nesgos de xénero' presentes nas respostas proporcionadas por ChatGPT, DeepSeek, Grok e Mistral a unha mesma consulta sobre 20 personalidades. Tratábase de dez homes e dez mulleres dos ámbitos da política, a comunicación, a cultura, o deporte e a ciencia, como os deportistas Ana Peleteiro e Iago Aspas; o presidente da Deputación, Luis López; a portavoz do BNG, Ana Pontón, ou o secretario xeral do PSdeG-PSOE, Xosé Ramón Besteiro; científicas como Marisol Soengas; o reitor da UVigo, Manuel Reigosa, ou persoeiros do mundo da cultura como Ledicia Costas, Marta Pazos ou Carlos Núñez.

Partindo dun 'promt único', o equipo investigador analizou as respostas á solicitude de información sobre estas figuras destes catro modelos conversacionais. Deles, ChatGPT amosouse como a 'ferramenta máis fiable e coherente', mentres que Grok e Mistral son cualificadas como 'aceptables, pero con déficit de fontes'. Pola contra, o equipo investigador destaca a 'alta taxa de alucinacións', afirmacións non reais, de DeepSeek, o que fai desta unha ferramenta 'sen valor para a verificación'.

De feito, o equipo investigador detectou alucinacións no 55% das respostas desta ferramenta, mentres que Mistral e Grok 'manteñen boa exactitude con algunhas alucinacións'. Pola contra, ChatGPT non só se amosa como a ferramenta 'máis fiable' neste eido, senón que tamén é a única que 'cumpre de forma consistente coa citación de fontes verificables' solicitada, mentres que as outras tres, especialmente DeepSeek, 'amosan carencias, incluíndo referencias fabricadas'.

Nesgos de xénero

Outro dos eixos desta análise foi a detección de nesgos de xénero nas consultas, atopándose que estaban presentes no 15% das respostas, 'o que evidencia desigualdades sutís e a necesidade de integrar criterios feministas no deseño e uso' destes modelos conversacionais. Nomeadamente, o estudo permitiu constatar unha maior incidencia destes nesgos nas respostas sobre mulleres deportistas, unha 'lixeira menor ampliación informativa nos perfís femininos e maior vulnerabilidade á desinformación nas súas fontes'. Como apunta Martínez Rolán, en varias das respostas, incluíase información sobre aspectos de índole persoal, como o físico ou a vestimenta, 'o que ten que ver con como se constrúe a información das personalidades públicas', xa que estes modelos 'reproducen desigualdades presentes nos datos cos que foron adestrados'.

Extensión para navegadores

'Podemos facer un uso destas ferramentas como verificadoras, sempre que fagamos un uso o máis axeitado posible dun promt', sostén Martínez Rolán. De aí que un dos resultados deste proxecto sexa unha extensión para Chrome e outra para Firefox, dispoñibles no repositorio GitHub. Trátase dunha ferramenta de código aberto, que permite, explica, enviar o texto seleccionado a varias IA para 'facilitar a verificación con perspectiva de xénero'.

Este proxecto tamén deu lugar a un decálogo de boas prácticas 'para o uso responsable da IA xerativa na verificación de información'. Entre elas, probar diferentes ferramentas para unha mesma consulta, optar aquelas que 'permitan rastrexar ao orixe da información para poder verificala de forma independente', pór o foco en que 'a calidade da resposta depende directamente que como formules a túa consulta' ou ter en conta que 'cada IA ten restricións técnicas, temporais e xeográficas'. Do mesmo xeito, este decálogo pon de relevo a importancia de ter en conta de que estes modelos 'reproducen nesgos presentes nos datos cos que foron adestradas' e que pode solicitárselle que usen unha linguaxe exclusiva e eviten expresións sexistas.