The Columbia Journalism Review va realitzar una prova bastant rigorosa per avaluar la precisió de tots els principals chatbots d’IA, i no crec que sigui una exageració dir que van fallar miserablement:

La majoria de les eines que vam provar presentaven respostes inexactes amb una confiança alarmant, rarament utilitzaven frases qualificatives com ara “sembla”, “és possible”, “podria”, etc., o reconeixent els buits de coneixement amb afirmacions com “No he pogut localitzar l’article exacte”. ChatGPT, per exemple, va identificar incorrectament 134 articles, però va indicar una falta de confiança només quinze vegades de les seves dues-centes respostes i mai no va negar a donar una resposta. Amb l’excepció de Copilot, que va rebutjar més preguntes de les que va respondre, totes les eines tenien més probabilitats de proporcionar una resposta incorrecta que de reconèixer les limitacions.

El newletters de Simon Owens’s Media informa que gairebé totes les principals plataformes tecnològiques estan impulsant els chatbots d’IA als seus clients i afirmen que aquestes eines milloraran enormement el seu producte de treball alhora que els estalviaran temps, però cada vegada que aquests chatbots es sotmeten a proves rigoroses, es demostra que són molt inexactes un percentatge important del temps.

És per això, segons l’esmentat newsletter, que tots els editors que es van inclinar pel contingut generat per IA han acabat amb un ou a la cara. I encara diu més, “sense una verificació rigorosa dels fets, aquests robots inseriran errors a la còpia. I si heu de contractar algú per comprovar cada declaració, quina eficiència està impulsant el chatbot? Amb la mateixa facilitat podríeu pagar a aquesta persona per escriure la història”.- El Bloc de l’Estanis/Comunicació 360º (Il·lustració: Anthem Awards)