José Vicente

Hay una polémica en Francia con un libro muy exitoso al que alguien ha pasado Pangram (según dicen, un detector infalible), y muchos pasajes han dado que es 100% IA. Veamos por qué NO hay que hacer caso a Pangram. Al menos no como si fuera un ente divino: Lo primero es saber quién dice que Pangram es el mejor detector. Pues lo dice Pangram, dice que su ratio de falsos positivos es virtualmente cero porque no detectan solo patrones, sino que hacen prompt-espejo en embeddings y toda la pesca. Es cierto que hay auditorías externas, que también lo ponen bien, pero son sensiblemente menos robustas que lo que dice el propio Pangram. Y Pangram es una empresa que quiere vender su producto. Yo me pregunto si podría dar unos resultados tan buenos en un sandbox totalmente aislado de Internet, pero démoslo por válido. Eso sí, hay algo que distingue a Pangram de los demás detectores. Otros dicen que "hay una probabilidad del 40% de que este texto sea artificial". Pangram no, Pangram discrimina el texto por secciones y te dice "Este 40% es artificial y este 60% es humano", y te marca esas secciones. Comprobémoslo. He puesto el texto de la imagen 1, un texto sencillote, con un poco de ritmo y sin florituras, bastante sota, caballo y rey. ¿Qué dice Pangram? Pues dice que es 100% humano. Así que, en la imagen 3, le he añadido 14 palabras al texto original, 14 de 230. He transformado una aposición en una adversativa y he añadido un tercer ítem a dos series de dos, transformándolas así en series ternarias. ¿Resultado? 100% Artificial. 100%, TODAS LAS PALABRAS LAS HA ESCRITO UNA MÁQUINA. Pero Pangram, no decías que tú no detectas patrones sino que haces prompts-espejo con red neural y toda la hostia en verso? Que sí, qué sí, que eso lo ha escrito todo una máquina, que te lo digo yo. Vale, es un texto corto (algo menos de una página de un libro), así que vamos a hacerlo más largo. Ya os aviso que el resultado es peor (o puede serlo). Lo cuento en el siguiente tuit, para que veáis las imágenes. (Por cierto, podéis copiar y pegar los textos y haced vosotros mismos la comprobación)