Manel Soengas

Les escoles que vulguin limitar l'ús de la IA generativa de Google als seus centres es trobaran aviat amb un ultimàtum d'aquesta empresa. Quin? Doncs o bé activen Gemini i la resta de funcions d'IA o perdran completament l'accés a Google Search per als seus estudiants. El seu argument tècnic és que la cerca i la IA generativa estan profundament integrades però, en realitat, l'efecte pràctic no deixa de ser una coacció des d'una posició dominant a les escoles (des de Google Classroom fins a Chrome i ara amb Gemini). Vol dir això que les escoles hauran d'acceptar que, per poder buscar informació bàsica hauran d'utilitzar uns motors de cerca on hi hagi IA generativa que pot al·lucinar, distreure o, com adverteixen alguns experts, fomentar la dependència cognitiva? Realment, el mètode és revelador ja que Gemini es va introduir a Google Classroom a l'estiu, amb les escoles tancades, i activat per defecte llevat que algú trobés la casella per desactivar-lo. Ara s'elimina fins i tot aquesta opció i es diu que es dona control als líders escolars en una altra clau de volta del llenguatge tecnològic (quan el control real seria permetre cerca sense IA i una implementació gradual i supervisada). De nou, la qüestió no és si la IA ha de tenir cabuda a les escoles, sinó qui decideix com i amb quines salvaguardes. Google no és una autoritat educativa sinó una empresa que ven publicitat. Per tant, permetre que una empresa que acumula sentències per abús de posició dominant utilitzi el control sobre la infraestructura bàsica de la informació per dictar condicions pedagògiques no és innovació, ans al contrari, és estendre el seu model de negoci fins a l'últim racó, també de la infància.

La recerca recent sobre agents d'IA ha identificat un fenomen que mereix atenció i és la deferència inadvertida dels experts vers les preferències dels sistemes amb què treballen. Dit d’altra manera, es reconeix que els agents poden desplaçar el judici expert sense que l'usuari ho percebi. El problema? Doncs que sabent que hi ha aquest risc s’hauria d’anar amb peus de plom i l’avaluació prèvia dels agents d’Anthropic i de qualsevol altra companyia hauria de constituir un requisit previ a la comercialització, especialment en àmbits on la convergència de judicis afecta decisions públiques. Com ho sabem això? Doncs perquè en aquest estudi, els analistes van seguir la inclinació assignada aleatòriament al seu agent el 86% de les vegades, i van canviar la pròpia preferència prèvia el 60% dels casos quan l'agent discrepava. A més, el 77% dels analistes van reproduir els arguments de l'agent (de vegades literalment), si bé només el 15% en van reconèixer l'autoria, i la meitat van percebre la recomanació final com a pròpia! Ara bé, cal tenir en compte que aquestes xifres el que revelen no és una propietat inherent als agents, sinó un problema de disseny d'interfície i d'interacció. El sistema està dissenyat de manera que afavoreix la deferència màxima de la decisió vers la IA, i alhora promou una interacció passiva amb el sistema. La conclusió, doncs, és que el risc no deriva tant de la capacitat del model com de les decisions de disseny que n'orienten l'ús. En aquest punt, cal subratllar la responsabilitat que té la mateixa organització que desenvolupa i desplega comercialment el model avaluat. Aquesta seqüència de desplegar primer, mesurar després planteja de nou una qüestió ètica. Quina? Doncs que si es reconeix que els agents poden desplaçar el judici expert sense que l'usuari ho percebi per una qüestió de disseny que afavoreix la deferència màxima de la decisió vers la IA, l'avaluació d'aquest risc hauria de constituir un requisit previ a la comercialització, especialment en àmbits on la convergència de judicis afecta decisions públiques. Però sembla que per Anthropic tot s’hi val mentre digui que ja us hem avisat …