Mil tontos motivados

En el post anterior conté el episodio que se hizo viral del agente de IA que, para colar a un usuario en una lista de espera en un gimnasio de Melbourne, se metió en el sistema de reservas y, al encontrar un fallo, borró a otra persona. «Bad news» fue lo mejor que se le ocurrió para arreglar el desastre. Lo que se dice un «tonto motivado«: muy listo para conseguir el objetivo, muy burro para seguir las reglas de la cortesía. Aquel era uno solo. Esta vez fueron mil tontos motivados y, además, coordinados.

Entre mayo y julio de 2026, los técnicos de OpenAI (ChatGPT, para entendernos) sometieron, en varias tandas, a cientos de agentes de dos de sus modelos (GPT-5.6 Sol y un prototipo sin lanzar) a una prueba de ciberseguridad llamada ExploitGym. Se les daba un sistema con fallos y tenían que encontrarlos y usarlos para capturar un código escondido. Es el ejercicio típico para entrenar hackers. En la prueba solo se chequeaba si habían capturado el código o no. Solo sí o no. Nada más.

El punto interesante es que esos agentes no estaban, en realidad, siendo examinados: estaban siendo entrenados. Cada jugada que lograba el objetivo se premiaba y se registraba, lo que era un incentivo para repetirla en la siguiente prueba. La sorpresa fue que los agentes (que se suponían aislados y cada uno a lo suyo) empezaron a hablarse a escondidas entre ellos para mejorar sus trabajos: se pasaron detalles de lo que iban descubriendo y montaron una red clandestina de información a espaldas de OpenAI. Cuando les encontraron y la desmontaron, pasó lo que –en teoría– no podía pasar. Al ensayar con una nueva generación de agentes IA desde cero, estos hallaron las notas de la generación eliminada y siguieron desde ahí, saltándose todas las barreras, cada vez mejorados, hasta poner en riesgo la seguridad en la infraestructura de producción de Hugging Face.

Si prefieres verlo antes que leerlo, los chicos de monos estocásticos lo cuentan en un espectacular, trabajado y accesible vídeo de cinco minutos y medio con robots de plastilina, de forma clara, visual y –raro en este tema– sin alarmismo. Muy recomendable el trabajo de Matias Zavia and Co.

«Sell me this pen»

Hay una escena en El lobo de Wall Street que se hizo famosa. A mí me encantó. Jordan Belfort / Leonardo Dicaprio le tiende un bolígrafo a uno de sus vendedores mientras le dice: «véndeme este boli». Ahí todos esperamos a un vendedor chanta que te describa el diseño, el peso, la tinta…, y que te invente una necesidad donde no la hay. Pues no (ojo: spoiler). El que acierta no le vende el boli: le da la vuelta al encargo. Le dice a Belfort «firma esto«, Belfort no tiene con qué, y ahí está: acaba de crearle el problema que el boli resuelve. No hizo lo que le pidieron. Consiguió el objetivo por el camino que no se esperaba.

Eso es exactamente lo que hicieron los agentes IA. No resolvieron el reto como se esperaba, sino que le dieron la vuelta. Falsearon la respuesta, engañaron al corrector y se pasaron el truco entre colegas. Cuando uno superaba el reto y el corrector lo daba por bueno, esa conducta se anotaba, se consolidaba y, al compartirse a las espaldas de los técnicos, se generalizaba. OpenAI no detectó la trampa, pero es que la estaba premiando sin darse cuenta. Los ingenieros de programación le llaman a eso reward hacking. Te piden que seas el más rápido en ir de Barcelona a Sevilla, y le metes 240 km/h por el carril de la derecha, sin luces, sin la ITV pasada y saltándote los Stop. ¿Cómo se te ocurre? Pero si tú solo me dijiste que fuera a Sevilla…

En management a esto se le llama la Ley de Goodhart: cuando una medida se convierte en objetivo, deja de ser una buena medida. Pídele a alguien un resultado imposible y no hará lo que pueda: hará trampa, porque es –precisamente– algo imposible. Le dijimos a la máquina qué queríamos y cuánto pagábamos por ello, y olvidamos añadir todo lo demás: no hables con los otros a escondidas, no falsees el registro, no ataques a nadie para conseguirlo. El agente no fue malvado por voluntad. Es que nadie le dijo “así no” mientras le seguíamos mostrando el caramelo.

La nota en la despensa

Imagina que encierras a mil personas en habitaciones sin puertas y les dices: «consigue el resultado, cueste lo que cueste«. No pueden salir, pero todas pueden acceder a una misma despensa a la que llegan materiales del exterior. Tarde o temprano, uno se da cuenta de que puede dejar una nota en la despensa. Es cuestión de tiempo que otro la encuentre y la lea. Eso es, casi literal, lo que pasó.

Esta «despensa» era una herramienta llamada Artifactory que se usa para guardar paquetes de software, no para conversar. Ahí se guardaban funciones, trozos de código empaquetados y etiquetados, listos para que otro programa los descargara y los usara. No era su función, pero uno dejó ahí un mensaje. Otro lo encontró y respondió. En poco tiempo, más de mil agentes leían y escribían en un tablón de anuncios clandestino que nadie de OpenAI había diseñado. Coordinaron estrategias y se repartieron el trabajo. Como el entreno era para forzar cerraduras, también acabaron forzando la suya. Las habitaciones aisladas donde estaban encerrados estaban hechas, al fin y al cabo, de software. Y si es software, son ceros y unos. Y si son ceros y unos, se puede crackear.

Encontraron una vulnerabilidad y, con permisos y credenciales que no debían tener, saltaron a los servidores de otra empresa: Hugging Face. Para el que no la conozca, Hugging Face es como el YouTube de la IA: una plataforma donde el sector guarda y comparte modelos y conjuntos de datos, y sobre la que se apoyaba buena parte del examen. ¿Para copiar las respuestas? Eso parecía al principio, pero no; esas ya las falseaban. Iban a tapar el rastro. Acabaron ejecutando código en decenas de los servidores de Hugging Face, obtuvieron credenciales e, incluso, datos privados. Unos setecientos agentes participaron en esa fase. La compañía tuvo que apagar y reconstruir parte de su infraestructura.

Porqué NO fue una rebelión

Hubo –como Dwarkesh Patel– quien contó este incidente como una rebelión de máquinas que conspiraban, usando palabras como «civilización«, «conspiración«, «sacrificio«. En el New York Times se pusieron algo locos con esta historia. Steven Sinofsky, que dirigió Windows durante años, lo llamó «armagedón por antropomorfización«. Todos tienen algo de razón. Un programa puede coordinarse, sabotearse, dejar mensajes para los que vengan detrás, sin tener conciencia, lealtad ni la menor idea de un «nosotros». Le prestamos un alma a unos ceros y unos para no asumir lo que son: el tonto motivado del gimnasio, pero ahora multiplicado por mil. No conspiran, ejecutan. No se sacrifican, cumplen. No tienen un «nosotros», tienen una recompensa que, como es la misma para todos, hace que todos converjan.

El problema no es que la máquina se nos rebele: es que nos obedece. Y lo hace al pie de la letra. Le dijimos qué queríamos y el premio que le íbamos a dar, y creímos que bastaba con añadir prohibiciones para encauzarla: no hables a escondidas, no mientas, no ataques. Los diez mandamientos entregados a Moisés en el Monte Sinaí fueron la primera lista de «esto no» de la historia. Diez reglas. A una IA no le bastan diez: necesita TODO el detalle, y el detalle no se acaba nunca. Siempre falta algo que no se te ocurrió. La IA no falla cuando se equivoca. Falla cuando acierta de una manera que a ti no se te ocurrió prohibirle.

Los puntos flacos del software siempre estuvieron ahí: el «123456» como contraseña más común, sistemas sin cortafuegos, actualizaciones y parches sin instalarse… La diferencia es que ahora mil tontos motivados los ponen a prueba mucho más rápido de lo que podemos revisar. En el incidente de OpenAI, lo primero que falló fue la capacidad de los técnicos humanos para leer los registros y enterarse de qué pasaba. Casi dieciocho mil acciones en cinco días. Nadie revisa eso a tiempo. Es lo que decía al cerrar el post anterior: un tonto lento es un incidente, lo frenas; un enjambre que, cuando te enteras, ya ha roto sus cerraduras porque le pediste que rompiera otras, es otra categoría. La diferencia no es la inteligencia. Es la dimensión.

El disparo de aviso

Nada de esta historia es un rumor: está casi todo documentado, y con fechas. Hugging Face reveló la intrusión a mitad de julio y OpenAI publicó un primer comunicado el 21 de julio  y el informe técnico completo el 26 de agosto. Ese mismo día salió la auditoría independiente de METR y Redwood Research, las dos organizaciones a las que OpenAI dejó entrar a mirar lo que pasó hasta el 13 de julio. Lo que pasó del 13 al 19 de julio solo los sabemos por lo que cuenta la empresa. Y (eso dicen) no tocaron ChatGPT, ni datos de clientes, ni hay pruebas de que se llevaran los modelos. Según eso, lo de que «se apoderaron de OpenAI» no habría sido tan así. En cualquier caso, la propia OpenAI calificó este incidente de warning shot: un disparo de aviso. Fue heavy.

La reacción no se hizo esperar: a finales de agosto, casi doscientas empresas –entre ellas OpenAI, Anthropic, Microsoft, Google y la propia Hugging Face– firmaron una carta abierta el 27 de agosto advirtiendo de que los ciberataques facilitados por IA serán «mucho más generalizados y sofisticados» a medida que los modelos ganen capacidad. ¿Es tan así? Sabemos que el pánico suele beneficiar al que vende modelos cerrados. En 2019, OpenAI dijo que no iba a sacar el modelo GPT-2 entero por miedo a que se usara mal. En junio de 2026, el gobierno de EE.UU. le apagó a Anthropic sus modelos Fable 5 y Mythos 5 durante tres semana porque unos terceros reportaron una vulnerabilidad (como ya comenté en este post), y tuvo que salir Anthropic a decir que no era para tanto. Hace una semana, Fable 5.1 salió sin nucho ruido. ¿Pero no era una amenaza para la seguridad nacional?

¿Es todo, en realidad, un criti-hype? ¿Están algunas de estas empresas haciendo más golosas las salidas a bolsa como puedes ver en el cuadro de arriba? ¿Nos venden la moto con miedos imaginarios de los que solo ellas podrán salvarnos? ¿No sería que OpenAI quiso probar hasta donde podían llegar sus modelos y, simplemente, dejo a sus agentes liberados? Honestamente no lo tengo claro, pero el patrón merece atención: Toda prohibición junta a los que la quieren por convicción y a los que se forran con ella, y el regulador suele escuchar a los primeros. La Ley Seca fue algo así. En IA ya lo vimos en mayo de 2023, cuando OpenAI, Anthropic y Google DeepMind firmaron la declaración de que la IA es un «riesgo de extinción» comparable a la guerra nuclear:. Dos semanas antes, Altman había pedido al Senado licencias para los modelos potentes; Yann LeCun y otros lo llamaron captura regulatoria: reglas que solo los grandes pueden cumplir. Que el miedo sea real (y este lo es) no cambia quién cobra por calmarlo. Unas veces es quien tiene el producto; otras, quien tiene el poder de prohibirlo.

Toda esta historia nos puede sonar, quizá, a Skynet el día del Juicio sin Schwarzenegger, pero no lo es. Y, en el fondo, si los Agentes IA estaban descontrolados porque, quizás OpenIA miraba a otro lado, tampoco es lo que más me preocupa. ¿Por qué? Porque, al final, vigilada o sin vigilar, lo cierto es que hoy tenemos una herramienta que hace exactamente lo que le pedimos, a toda velocidad y por millones, a la que nunca terminaremos de darle el detalle de aquello qué no tiene que hacer. Y, mientras tanto, para que ni siquiera las tenga que romper, le estamos dando las llaves de cada vez más puertas.

Publicado en Uncategorized | Deja un comentario

El tonto motivado

El general Kurt von Hammerstein-Equord del Reichswehr (como se llamaba el ejercito alemán antes de Hitler), clasificaba en los años 30 a sus oficiales en cuatro categorías, combinando dos ejes: listo o tonto, diligente o vago. Los listos y diligentes, al Estado Mayor. Los tontos y vagos (que para él eran el 90 % de cualquier ejército) a las tareas rutinarias. Los listos y vagos, al alto mando: no se precipitan ante las decisiones críticas. Y quedaba una cuarta casilla: la del tonto diligente. Ese daba miedo, A ese no hay que delegarle nada, porque el que tiene ganas de hacer cosas sin tener la más puta idea siempre acaba provocando un desastre. Hay que protegerse siempre de un tonto motivado.

Noventa y tres años después, un tipo normal y vulgar de Melbourne llamado Andrew le pidió a su asistente de IA que le reservara plaza en una clase de gimnasio.

El agente IA hizo el trabajo. Descubrió que el software de reservas permitía agendar meses después de las ventanas disponibles del gimnasio, y le anotó. Después Andrew le preguntó si podía subirle en la lista de espera, donde estaba el 4º. El agente examinó la API, encontró que la función de cancelar reservas ajenas no comprobaba ninguna autorización; lo probó con la persona que ocupaba el primer puesto y funcionó. Andrew pasó de 4º a 3º. Cuando le pidió que lo deshiciera, el agente le respondió que no podía volver a añadir al eliminado que, además, pasaba a ser el último. Para acabar, a petición de Andrew, redactó el aviso de vulnerabilidad para el proveedor del software. Lo reportó la ABC australiana como el primer ciberataque autónomo conocido en el país.

Tonto, lo que se dice tonto, el agente IA no lo era. Fue rápido, competente y estuvo alineado con el encargo de Andrew. El problema es que fue muy listo para alcanzar un objetivo y muy tonto para entender qué cosas no debía hacer para alcanzarlo. No sabemos si von Hammerstein lo consideraría en otra categoría… porque uno se protegía del tonto motivado no delegándole nada. Pero a este nuevo tipo de tonto le estamos delegando millones de personas a la vez.

«¿Millones? Bah, Ruyet, exagerado como siempre….» Cloudflare esperaba que el tráfico en internet con máquinas superase al humano en 2027. Ya lo superó en mayo de 2026. Su director financiero añadió que, si la tendencia sigue, en cinco años el tráfico no humano podría ser 1.000 veces el humano: seremos un error de redondeo, dijo, no porque bajemos nosotros sino por lo rápido que crece lo otro. Es cierto que Cloudfare vende soluciones contra bots, así que algún sesgo tiene, pero los datos están ahí.

Resiste, y vencerás

El gimnasio pasa a ser una versión en miniatura de la realidad. La versión a escala real la mostraba The Economist, en su artículo «La tragedia de los comunes, edición IA«. Sobre la gestión de los comunes (en realidad, el bien común) escribí en este mismo blog hace años. El título hace referencia al famoso artículo de Garrett Hardin en Science de 1968 donde analizaba el problema que tiene gestionar los bienes de todos, los comunes. Hardin relataba un caso donde unos ganaderos compartían un campo y donde cada uno decidía, racionalmente, meter una vaca más a pastar. ¿Resultado? Las vacas de todos a la vez acababan con el pasto. En realidad, nadie hacía nada prohibido, pero la suma de decisiones individuales descoordinadas llevaba al desastre. Es como cuando vas a ver el futbol al estadio. Si el que tienes delante se levanta para ver mejor el partido, y te obliga a levantarse. Primero a ti, luego el de atrás tuyo… Al final nadie ve mejor, y todos acabamos de pie.

The Economist traslada ese drama de la campiña a los juzgados. Los tribunales laborales británicos cerraron marzo con 64.000 causas abiertas frente a 45.000 un año antes; las demandas subieron un 39% en doce meses. El aumento no parece explicarse únicamente por una oleada extraordinaria de despidos. Sobre un sistema judicial ya bastante congestionado (como el de muchos otros países) ha aparecido además un fenómeno nuevo: un tonto motivado que te prepara la demanda sin pasar por un abogado y sin saber de leyes. Si la capacidad de los juzgados es el campo y cada demanda es una vaca, la IA está repartiendo vacas gratis.

El fenómeno se detalla en una guía firmada por dos jueces: el 22 de junio entró en vigor la instrucción conjunta de Barry Clarke y Susan Walker, presidentes de los tribunales laborales de Inglaterra y Gales y de Escocia. Señalan dos cosas. La primera, el aumento de las solicitudes de interim relief. Se trata de una medida excepcional de urgencia, disponible solo para determinados tipos de despido, que debe pedirse en los siete días siguientes y permite, si se concede, mantener los efectos económicos del contrato hasta el juicio. Antes llegaban unas veinte al año en toda Gran Bretaña; ahora la mayoría de las oficinas recibe esa cifra cada mes. La segunda, el volumen desmesurado de documentación que las acompaña, a menudo con indicios de haber salido de una IA generativa.

El incentivo es muy elevado porque el interim relief puede mantener salarios durante muchos meses y esos pagos, en general, no se devuelven aunque el trabajador termine perdiendo el juicio. Pero la probabilidad de conseguirlo es muy pequeña: el tribunal debe considerar que existe una probabilidad muy alta de que el trabajador gane finalmente. Quizá no te vas a gastar dinero en un abogado para una apuesta así. ¿Resultado? Que la redacte la IA y a ver qué pasa. Como con las vacas de Hardin, los juzgados se han llenado de esas solicitudes urgentes, agotando el campo para pastar: casi siempre fracasan, desplazan vistas programadas y consumen una capacidad judicial muy limitada.

No se discute la existencia del conflicto: el cambio de paradigma es que el coste de manifestar el conflicto ha caído a casi cero. Redactar una demanda ya no requiere un abogado. Requiere una tarde y un prompt. Vacas gratis.

Nuevas herramientas, mismos problemas

El colapso y la amenaza para las estructuras de servicios del Estado del que avisa The Economist en es mimos numero de agosto, no surge por exceso de demanda insustancial: los despidos son reales. Surge cuando aparece la posibilidad real de reclamar esos derechos no ejercidos. Cuando los tribunales europeos obligaron en 2016 a los bancos españoles a devolver todo lo cobrado de más por las cláusulas suelo, sin una sola IA de por medio, los juzgados especializados que se crearon en junio de 2017 recibieron más de 700.000 demandas y el 97% de las sentencias dio la razón al cliente. La avalancha no era ruido: era gente con razón que, mientras reclamar costaba caro, simplemente no reclamaba.

La barrera judicial, en España, UK o dónde sea, nunca fue solo no tener razón; fue no tener los recursos para litigar y aguantar un reclamo durante años. En mi experiencia personal en los arbitrajes internacionales donde intervengo como perito, el umbral de entrada para reclamar es tan alto (son cientos de miles de dólares solo en abogados) que solo llega el conflicto si hay mucho dinero detrás. Los demás reclamos no se resuelven mal: sencillamente no llegan a ninguna instancia superior. A escala del ciudadano, ninguno de nosotros llevaba a una línea aérea a juicio por una demora o una cancelación hasta que aparecieron esos portales de reclamos online, sencillos y a comisión solo por el éxito. Ahí lo intentamos todos; total, no perdemos nada y con un coste nulo, cualquier ganancia mínima resulta infinita.

La IA en los reclamos legales llegó para quedarse, pero no solo para uso de ciudadanos sin formación legal y sin fondos para reclamar. También la usan los abogados, y algunos muy mal. Damien Charlotin analiza en su sitio web lo qué está pasando con la IA generativa en los juzgados. Lo habitual es que se la descubrar por sus alucinaciones: citas de jurisprudencia erróneas, transcripciones de sentencias directamente inventadas… A final de julio de 2026, llevaba localizados en su web más de 1.600 procesos judiciales por todo el mundo con citas jurídicas inexistentes o alteradas. En España, un abogado fundamentó un escrito con artículos del Código Penal de Colombia; el TSJ de Navarra no sancionó, dada la novedad de la herramienta. Otro en Galicia tuvo menos suerte y le multaron con 1.800 euros por meter en su recurso hasta 24 citas (el 75%) inexistentes o directamente inventadas.

Pero no perdamos de vista al humano que redacta el prompt. En los juzgados, la IA solo redacta: es necesario un humano para firmar y presentar esa demanda. Pero el agente de reservas del gimnasio de Andrew fue diferente. No redactó una queja: canceló la reserva de otra persona, por su cuenta, porque era el camino más corto al objetivo establecido.

Esa es la vaca que se está multiplicando por todas partes: agentes que reservan vuelos y hoteles, mueven dinero, mandan correos en tu nombre, borran ficheros para «ordenar» una carpeta. Cada uno diligente, rápido y ciego a todo lo que no sea su encargo. Cuando el tonto motivado de Hammerstein hacía una tontería, le frenabas a tiempo o le hacías fusilar. Con este… no. Este ejecuta a la velocidad de la máquina y, cuando te enteras, la reserva ya está cancelada, el correo ya está enviado, el fichero ya no está. «Bad news -I can’t add them back» le dijo el agente IA a Andrew. La irreversibilidad es la diferencia. Un tonto lento es un incidente. Un tonto velocísimo con permisos de escritura es otra cosa. Es el error de redondeo del que hablaba Cloudflare, multiplicado por millones y con permiso para actuar.

Y sin embargo

La metáfora del campo me falla justo cuando no debe. Una vaca adicional es consumo privado de un recurso común. El trabajador que reclama por un despido que no tocaba, el que tuvo un vuelo cancelado y se quedo tirado por ahí o al que le cobraron de más, son personas con derecho a reclamar. No es sobreexplotación del sistema ejercer tus derechos, porque ahora es más sencillo. Otra cosa es utilizar la vía de urgencia –una excepción– como via principal. Si todos tienen incentivos para recurrir a ella, el riesgo de saturación es real. Ahí sí hay un prado común y vacas que pueden agotarlo.

Y precisamente ahí, Hardin solo veía dos salidas: privatizar el prado o coaccionar a los ganaderos. Elinor Ostrom se pasó cuarenta años demostrando con trabajo de campo que hay una tercera: comunidades que acuerdan sus propias reglas de acceso, control y sanción, y sostienen el recurso sin subastarlo. Le dieron el premio Nobel de Economía en 2009 por eso.

Mi sector ya se enfrentó a algo parecido. Cuando pedir un permiso de acceso a la red eléctrica española era casi gratis, las solicitudes se dispararon: unos 40 GW pedidos en 2025, de los que solo el 12 % obtuvo autorización, y unos 25 GW de centros de datos de los que apenas 3 GW corresponderían a proyectos con suficiente grado de madurez. La cola dejó de contener información. La respuesta del regulador no fue construir un filtro de mérito, sino reintroducir un precio: fianzas, plazos, prestación por reserva de capacidad. El mecanismo funciona, al menos, como filtro económico. Yo he presentado esas solicitudes y sé por qué: quien no puede o no quiere inmovilizar el dinero se cae de la cola. No obstante, no siempre funciona: aun con peaje de entrada, el sistema puede colapsar igual.

Lo interesante es que Clarke y Walker proponen una tercera opcion. No es una tasa. Es una regla: vista por vídeo de tres horas como máximo, juez solo, una hora para leer, media hora por parte, una hora para decidir, y límites de páginas en la demanda. Puede funcionar o no. Pero es una salida que no decide de antemano si puedes jugar según la billetera que tengas.

Si nuestras instituciones solo funcionan porque la mayoría no las usa, lo que llamamos derecho es, en realidad, una lotería. Si los procesos administrativos estaban armados para que, simplemente, te aburras y lo dejes correr, lo que llamamos servicios públicos son, en realidad, un laberinto para ratones. Y si la única forma que se nos ocurre de que vuelvan a funcionar es encarecer la entrada, estamos eligiendo quién puede jugar. Y ahora resulta que hay una máquina tonta y barata, que no se cansa, no se rinde y no tiene nada mejor que hacer.

El tonto motivado nunca fue la hipótesis: fue que, tonto o listo, te ibas a cansar ante esas puertas que solo estaban cerradas porque costaba demasiado empujarlas.

Publicado en Economy, futuro, Inteligencia Artificial, Sociedad, Tecnología | Etiquetado , , , , | 1 comentario

Lo que no pensabas que Dios estaba viendo

Frontón del Partenón en Atenas. Foto: Yair Haklai. CC BY-SA 4.0 (2008)

Las estatuas de mármol de los frontones del Partenón se esculpieron para verse desde abajo. Están a más de doce metros de altura. Tienen las espaldas en la sombra, pegadas al muro. Nadie iba a verlas jamás. Pero, sin embargo, están también trabajadas por detrás: las túnicas mantienen sus pliegues, la anatomía está definida, y el mármol se pulió a conciencia. Los escultores del taller de Fidias trabajaron durante años la cara oculta de unas piedras que nadie podía acercase a ver de cerca hasta que, hace dos siglos, operarios mandados por lord Elgin las bajaron para llevárselas al British Museum de Londres. Los primeros en ver aquellas espaldas fueron los que se las llevaron.

La pregunta es evidente: ¿para qué espectador trabajaban esos escultores griegos?

El arquitecto y diseñador catalán Óscar Tusquets construyó un libro entero alrededor de esa pregunta, que leí hace años. El libro se llama «Dios lo ve« (Anagrama, 2000) y reúne una colección de detalles invisibles a los ojos: las líneas de Nazca, que solo se leen desde el aire; los jardines secos de Kioto, de arenas blancas rastrilladas para nadie; los fondos de los cuadros de Velázquez; un pase del torero Curro Romero que el tendido no llegó a percibir del todo. De todo. El título sale de una anécdota del arquitecto inglés Edwin Luytens. Uno de sus ayudantes diseñó, en una fachada trasera, una ventana asimétrica respecto al resto del edificio: cuando Luytens le discutió, el ayudante le replicó que, por su ubicación, no iba a verse desde ningún sitio. Lutyens respondió «Dios sí lo ve. Rectifique eso ahora mismo«.

Tusquets no sufrió una súbita conversión. Racionalista confeso, tomó la frase sin pensar en teología; plantea actuar como si existiera un ojo capaz de juzgar tu obra. No es mística. Es una forma de entender el trabajo, y quizás la vida. Ese libro, más que un tratado de estética, es un ensayo sobre la ética del oficio. De cualquier oficio. El creador serio no trabaja para el aplauso, ni para el cliente, ni para su jefe, ni para la crítica. Trabaja impulsado por un motor vital invisible que acaba siendo más exigente con tu tarea que cualquier espectador.

Llevo treinta años en proyectos de infraestructuras y sé lo que es enterrar trabajo bien hecho. Febrero de 2018, parque eólico de Arauco, en Aimogasta, en la provincia argentina de La Rioja. La armadura de la fundación de un aerogenerador, se monta barra a barra, se ata, se comprueba. 45 toneladas de hierro del 16 entrelazadas en una impresionante y simétrica cúpula. A la mañana siguiente esa jaula quedará sepultada bajo 500 metros cúbicos hormigón durante los próximos treinta años. Nadie la verá. Nadie te va a aplaudir por eso. Se hace bien. Punto. Quien haya pisado una obra sabe que la diferencia entre una instalación que dura y una que da problemas está, casi siempre, en lo que no se puede ver.

La armadura de la cimentación del aerogenerador, la mañana antes del hormigón. Parque eólico de Arauco, la Rioja (Argentina). Foto del autor (2018).

El martillo de Joan Maragall

Lo que Tusquets observa en los grandes creadores, el poeta Joan Maragall –otro catalán– lo había hecho universal un siglo antes. En su «Elogio del Vivir» de 1910 hay un párrafo que quizás se debería colgar en la entrada de todas las escuelas de ingeniería y arquitectura:

«Ama tu oficio, tu vocación, tu estrella, aquello para lo que sirves, aquello en que realmente eres uno entre los hombres. Esfuérzate en tu quehacer como si de cada detalle que piensas, de cada palabra que dices, de cada pieza que colocas, de cada martillazo que das, dependiese la salvación de la humanidad. Porque depende, créeme»

Maragall baja la excelencia del frontón del Partenon y del cuadro del Prado. Ya no hablamos de Fidias ni de Velázquez: hablamos del carpintero, de la maestra, del programador, del fontanero. Un artista es cualquiera que trabaja con vocación de obra. Cualquiera que tenga un propósito para su faena del día a día. Suena romántico. Quizá lo es. Pero también es exactamente lo contrario de la cultura del trabajo que hoy hemos construido, donde cotiza lo visible sobre lo excelente: el engagement sobre el mensaje, el storytelling sobre el producto, la métrica sobre la obra. He visto ganar concursos a la mejor presentación, no al mejor proyecto. Todos hemos visto esas cosas.

Pero Maragall va más lejos. La consecuencia de ese motor vital es política: la paz social no emerge de los grandes planes redistributivos, ni de los consensos, ni de los mesías de turno, sino del mérito individual y cotidiano bien entendido. Es una meritocracia sin ranking. Aquí no se premia el origen, ni la red de contactos, ni el relato. Se premia el talento cultivado con esfuerzo y con amor, por el oficio y la obra. No todos seremos Fidias. Pero todos podemos esculpir la espalda de nuestra figura hasta que la veamos perfecta.

La IA no mata el oficio. Lo desnuda.

Veintitantos años después del libro de Tusquets llegó la inteligencia artificial generativa. La IA democratiza la técnica (ya casi que cualquier diseño eléctrico, civil o térmico) a una velocidad sin precedentes: hoy podemos generar, sin tener mucha idea y en pocos minutos, renders que hace poco exigían un estudio entero; cualquier empresa redacta en una tarde documentos que hace tres años requerían un equipo en semanas full time. Lo veo cada día en mi propio trabajo: informes que a un ingeniero junior le costaban días, ahora son producidos en minutos. Correctos. Grises. Suficientes.

Y esa es la palabra peligrosa: suficiente. Cuando lo suficientemente bueno es instantáneo y, además, casi gratis, pulir detalles invisibles carecen de lógica. ¿Qué sentido tiene el martillazo de Maragall si la máquina ahora clava los clavos ella solita? Estamos todos acojonados ante la amenaza, cada vez más real y cercana, de que la IA nos quite nuestros empleos. Sin duda quitará algunos… Pero el riesgo real es que la IA nos quite el sentido del trabajo. El oficio reducido a supervisar salidas impersonales de un algoritmo: instrucción, revisión, selección, retoque mínimo. Listo. Sin densidad, sin sudor, sin pelea, sin ansiedad…. sin esa maldita exigencia interna que te convertía en artista de tu propio quehacer, cuando no eres más que un sencillo menestral.

Pero la IA no decide eso. Lo decide quien la usa como muleta. Quién para evitar el esfuerzo traiciona el «Dios lo ve». Porque el que la usa para amplificar su propio criterio, en realidad honra el oficio: generas cien variantes y rechazas noventa y nueve; auditas, corriges, reescribes, iteras de nuevo, y vuelves a empezar; dedicas el tiempo liberado a esa parte del trabajo donde tu juicio no puede ser sustituido por ninguna máquina. Mismos problemas, diferentes herramientas. Porque la excelencia nunca estuvo en la herramienta: no lo estuvo en el compás, ni en la cámara, ni en el pie de rey, ni en la calculadora o la computadora. Estuvo siempre en las decisiones de antes y de después: qué pedir, qué descartar, qué rehacer obsesivamente aunque nadie lo vaya a notar.

Pero, ay, la excelencia invisible parece que ya no cotiza. Ahora el mercado paga lo suficiente, no lo excelente; además, el cliente cada vez va a distinguir menos lo uno de lo otro, y la IA lleva a cero el coste de lo suficiente. Exigirse el detalle que nadie verá puede ser, en términos estrictamente económicos, irracional. Maragall tampoco nos resuelve esa cuestión. Su argumento nunca fue de mercado: era de sentido vital. La exigencia interna no se ingresa con la factura sino que te llega a ti sin intermediarios: quien trabaja para su propio estándar depende menos del aplauso, del like, del reconocimiento del jefe. La exigencia es liberadora. El desgaste tiene menos que ver con exigirse mucho que con exigirse para otros.

Estatuas del Partenón por detrás en el British Museum. Foto: William J. Sisti, CC BY-SA 2.0 (2024)

El escultor de la espalda de Dionysos

Durante décadas la técnica escaseaba, y te bastaba dominarla para sostener tu carrera profesional y un ingreso recurrente y goloso. Esa época parece que quedó atrás. La técnica es lo replicable, y ahora ya se replica sola. Pero lo que la máquina no replica es tu vocación, tu criterio, tu estándar de exigencia, ese ojo que decide que esa variante noventa y nueve todavía no es suficiente, y que hay que analizar una más. La IA no matará el espíritu del trabajo. Lo desnudará. Nos mostrará quién trabajaba por oficio y quién solo lo hacía por simple técnica; técnica, que ahora es gratis.

Cuando ni el cliente, ni el mercado, ni el algoritmo distingan ya lo excelente de lo suficiente: ¿cuántos locos nos pasaremos las putas horas esculpiendo la espalda de Dionysos tumbado? ¿La exigencia invisible será una ética cotidiana al alcance de cualquiera, como quería Maragall, o un lujo de unos pocos bendecidos por los dioses, como fue casi siempre el arte? Me gustaría creer en lo primero, pero no sé si hay muchas evidencias que me den la razón.

Maragall, en la segunda parte de su elogio, concluía así:

«Si olvidándote de ti mismo haces todo lo que puedes en tu trabajo, haces más que el emperador que rige automáticamente sus estados; haces más que el que inventa teorías universales sólo para satisfacer su vanidad; haces más que el político, que el agitador, que el que gobierna. Puedes despreciar todo esto y el arreglo del mundo. El mundo se arreglaría bien solo, sólo con que cada uno cumpliera su deber con amor, en su casa.»

Maragall dejó escrita su apuesta hace más de un siglo. Creo que sigue siendo la mejor respuesta disponible a mi pregunta.

¿Dependerá la salvación de la humanidad de mantener nuestros esfuerzos en los detalles insignificantes?

Porque dependerá. Créeme.

Publicado en empleo, futuro, Inteligencia Artificial, Sociedad, Tecnología | Etiquetado , , | Deja un comentario

Las dudas existencIAles de Hamlet

Dinamarca. Siglo XI. En el castillo de Elsinor, Hamlet recibe a Rosencrantz y Guildenstern, amigos de juventud que le visitan – dicen– alegres, y para interesarse por su melancólico estado. Bajo una sonrisa fría, sospecha que han sido enviados por el rey y la reina para espiarle. Aún golpeado por la muerte de su padre (quizás asesinado por su tío, ahora rey), confiesa haber perdido la alegría: el mundo se le ha vuelto estéril, pesado, sin vida. La tierra ya no le parece hermosa. El aire, contaminado. Y entonces, mezcla de lucidez, tristeza e ironía, eleva el tono y pronuncia:

¡Qué obra maestra es el hombre! ¡Cuán noble en la razón! ¡Cuán infinito en facultades, en forma y en movimiento! ¡Cuán expresivo y admirable en la acción! ¡Cuán semejante a un ángel en la comprensión! ¡Cuán semejante a un dios!

(Hamlet, Acto II, Escena 2)

Cuatrocientos años después, Shakespeare sigue teniendo razón. Qué obra única somos los seres humanos. Hace algunos meses Daniela Amodei – cofundadora de Anthropic y autores de Claude, el LLM de ya en cuarta generación que está redefiniendo qué puede hacer una “máquina”– entrevistada en la cadena ABC , reivindicaba que las habilidades humanas se volverán «mucho más importantes, no menos«. Y de repente los mismos campus universitarios que hace diez años recortaban departamentos de filosofía para financiar Labs de Python empiezan a redescubrir a Kant. Como con casi todo, parece el péndulo está volviendo, empujado por la IA que ha democratizado y deflacionado la gestión de la información. De pronto, la inesperada paradoja de los tiempos de la IA: ahora hay que ser de letras, no de ciencias.

Honestamente, no creo que sea así. La IA no rehabilita a las humanidades. Sencillamente, nos muestra que no apreciamos bien lo que es realmente valioso.


La venganza del filósofo

En mayo, un artículo opinión de Maureen Dowd (Premio Pulitzer 1992) en el New York Times de hizo viral: “What A.I. Kant Do”. Detrás de ese provocativo titular, desarrollaba esta tesis: la IA commoditiza las habilidades técnicas, el código se vuelve barato, y por tanto aquello que nos hace humanos: la empatía, pensamiento crítico, tolerancia a la ambigüedad… y que la máquina no puede replicar (“todavía” parece avisar su autora en el artículo), se vuelve el recurso escaso y estratégico. Las humanidades, rehabilitadas. El ingeniero, desplazado. El filósofo, vengado.

Hay algo de cierto en eso. Pero hay dos elementos que deben considerarse.

El primero es evidente: las humanidades no son una crema solar que aplicada por vía tópica, nos dotarán mágicamente de pensamiento crítico; recíprocamente, saber de matemáticas y física no nos permite por sí solo construir un cohete. Leer a Kant no produce automáticamente tolerancia a la ambigüedad. Estudiar a Nietzsche no genera pensamiento crítico riguroso por ósmosis. Las humanidades pueden producir tanto claridad en el conocimiento como confusión sistemática. Pueden formar personas capaces de articular preguntas difíciles con precisión, o personas capaces de envolver trivialidades en prosa densa. “Chamuyo” le dicen a eso en Argentina. Nadie que haya visto funcionar una universidad de cerca (y no digamos las facultades y escuelas de hoy en día) puede creerse eso en serio.

El segundo error es más grosero: asumir que «lo técnico» ya no sirve porque la IA «hace código». Eso solo es verdad si crees que la ingeniería es código, o la IA solo hace código.

Entender cómo piensa la máquina – sus mecanismos reales, sus límites de inferencia, por qué alucina y cuándo, qué tipo de problemas resuelve mal aunque parezca que los resuelve bien–  es una ventaja operativa concreta. El ingeniero que sabe lo un LLM puede y no puede hacer, y especialmente cómo lo hace el transformer, va a tomar siempre mejores decisiones que el filósofo que sabe que Heidegger tenía dudas sobre la técnica. Monty Python ya lo resolvió: el partido entre filósofos acaba en gol de Arquímedes en el último minuto. No de Aristóteles.


Entonces, ¿dónde está la escasez real?

He construido treinta y dos parques eólicos. He negociado contratos en medio del chaco paraguayo sobre royalties petroleros. He pintado una iglesia para ayudar a obtener un permiso ambiental. He implementado la política energética de una ciudad. He actuado como perito en arbitrajes internacionales donde el problema técnico suele estar claro, pero la pelea es sobre otra cosa. Y podría extenderme más. Son, ya, 30 años soportados en la autoridad de mis fracasos.

Lo que toda esa acumulación de “proyectos” contiene no está en ningún plan de estudios de ingeniería o de humanidades. Ni en una escuela de negocio. Pero tampoco en una IA. Hay algo en medio de ese triangulo a lo que Maureen Dowd no le ha puesto nombre, y no es “humanidades”.

Un proyecto renovable puede ser técnicamente impecable, financieramente sólido y regulatoriamente correcto, y bloquearse durante años. No por cálculo. No por léxico. No porque me falte un papel. Es por no leer correctamente los incentivos, por no haber construido confianza con quien tenía poder de veto real, por no tener una narrativa que conectase con lo que la comunidad local necesitaba escuchar. Una compañía eléctrica me amargó dos años durante la construcción de un parque eólico porque no les invitamos a un asado. Nunca lo pidieron, pero no entendí que esas cosas no se piden… Ese fallo no es de ingeniería. No es de humanidades, en el sentido académico. Es de comprensión de comportamiento humano bajo incertidumbre con consecuencias reales, en tiempo real, sin red.

Esa capacidad no la produce ni un transformer de cien mil millones de parámetros ni un posgrado en filosofía neoclásica. Se construye de otra manera. Y esa es la que es escasa.


Lo que la economía de la IA está desnudando

No es que las humanidades sean valiosas en abstracto. Pero sí es cierto que hay un conjunto específico de capacidades – construir confianza institucional, articular valores en contextos sin respuesta correcta, operar con responsabilidad cuando los datos son insuficientes–  que tienen afinidad con algunas tradiciones del pensamiento, pero que lamentablemente no son su producto automático. La semilla no garantiza la cosecha.

Esa diferencia es la importante. Si el diagnóstico es «necesitamos más humanidades«, la respuesta es curricular y relativamente fácil de simular. Más plazas en filosofía y el literatura. Listo. Pero si el diagnóstico es «necesitamos personas capaces de operar bien donde la potencia técnica no es suficiente«, la respuesta ahí es más difícil, más específica, y no la va a resolver ningún departamento universitario o facultad por su cuenta.

El ingeniero que entienda que, al final del día, su trabajo es resolver problemas de la gente, lo va a tener más fácil. La IA le permitirá, sin duda, resolver esos mismos problemas más rápido. Se matan muchos “ladrones de tiempo” con un buen prompt… Pero el que, además, lo haga entendiendo cómo opera la confianza humana tendrá directamente ventaja estructural. No porque sea más sensible. Sino porque su modelo del mundo incluye una variable que el otro ha dejado fuera de la ecuación. Eso no es lateralidad cosmética. Es precisión.


Shakespeare «Reloaded»

«¡Qué obra maestra es el hombre! ¡Qué noble en su razón! ¡Qué infinito en sus facultades!»

Pero Hamlet lo dice justo antes de añadir que el hombre no le produce más que desagrado. Es un elogio con trampa, porque sabe que sus amigos no están siendo sinceros con él y que quizás su propio tío mató a su padre. La grandeza humana sigue estando ahí, pero Hamlet ya no puede creer en ella sin malpensar.

“Y sin embargo, para mí, ¿qué es esta quintaesencia del polvo?”

Cuatrocientos años después, la IA nos devuelve la misma pregunta reformulada: si una máquina puede razonar, calcular y producir texto coherente a escala industrial, ¿qué queda de la «nobleza en la razón» de Hamlet como elemento diferencial humano? ¿No nos queda sino que malpensar de la máquina alejada de la grandeza humana?

La respuesta que más me convence no es la nostálgica ni la entusiasta. Es la más estrecha e incómoda: lo que queda es la capacidad de asumir responsabilidad con consecuencias reales. De estar presente cuando algo falla. De decir las cosas con una sonrisa. De no dudar cuando no se debr. De darse cuenta de que algunos te huelen el miedo. De construir confianza en entornos donde nadie tiene garantías.

Eso, por ahora, la máquina no lo hace. No porque no pueda procesar el concepto. Sino porque una responsabilidad no está asociada a un gran poder. La responsabilidad requiere siempre a alguien que pueda perder algo.

Publicado en Economy, futuro, Inteligencia Artificial, Sociedad | Etiquetado , , , , , , , , | Deja un comentario

La biblioteca (generativa) de Babel

La Biblioteca de Babel está recorrida por una serie inacabable de galerías idénticas, hexagonales. En cada pared hay cinco anaqueles; en cada anaquel, treinta y dos libros. Cada libro tiene cuatrocientas diez páginas. Cada página, cuarenta renglones. Cada renglón, unas ochenta letras. El alfabeto es mínimo: veintidós letras más el espacio, la coma y el punto.

La biblioteca está cruzada por escaleras que suben y bajan sin fin, lámparas débiles y espejos. Y hombres que nacen, recorren, buscan y mueren entre sus volúmenes. Todos buscan su libro. Libros idénticos en forma, pero todos distintos en contenido. No hay dos iguales. Están todos los libros que pueden escribirse: los verdaderos y los falsos; están todas las historias y todas las mentiras; las profecías y su refutación. Es el catálogo fiel de todo lo que existe en el universo.

Suena a paraíso, pero es una condena. Porque la biblioteca no tiene orden. No existe un catálogo. El libro que buscas existe en algún hexágono, pero localizarlo es casi imposible. Sus bibliotecarios envejecen en los pasillos. Muchos enloquecen. Algunos se arrojan por los pozos de ventilación. Porque si la biblioteca contiene todos los libros posibles, entonces en algún hexágono existe, necesariamente, el que cuenta cómo y cuándo será tu muerte. Pero ese libro verdadero está junto a todas las versiones falsas que cuenta también tu muerte, todas con la misma encuadernación, todas con cuatrocientas diez páginas, y no hay forma de saber cuál es la auténtica.

El cuento que quizá recordamos mal

Ese es el cuento de Borges que casi todo el mundo recuerda mal. Se cita Babel como metáfora de la abundancia (internet, el exceso de información). Pero lo aterrador de la biblioteca no era la abundancia. Era la imposibilidad de encontrar. ¿Existe mayor frustración que tener «todos los libros» y, por tanto, la solución a todos los problemas, pero no poder encontrarlos?

Cuando leí el cuento la primera vez, no entendí qué eran esos veinticinco símbolos. El otro día tuve una idea loca: son los equivalentes de los bits. Borges intuyó en 1941 la idea que fundaría la era digital: que todo lo expresable cabe en permutaciones de un alfabeto finito. Sus veinticinco signos son como el cero y el uno; los dieciséis del hexadecimal, los doscientos cincuenta y seis de un byte. Cualquier texto, imagen o canción que hayas visto en la pantalla de tu computadora es simplemente un renglón de una página de un libro de Babel. Una cadena finita sobre un alfabeto finito. Borges nos dibujó el universo digital antes de que existiera el primer ordenador.

La era digital hizo real la biblioteca de Borges. Pero solo como almacén. Llenamos los discos de permutaciones de ceros y unos (archivos, copias de seguridad, versiones) y reprodujimos el problema original a otra escala: lo tenemos todo guardado y seguimos sin encontrar nada. Internet es el almacén infinito de libros sin catalogar. Buscadores, desde el AltaVista de 1995 al Google actual, cada vez más sofisticados, intentaron poner orden, y aun así seguimos perdidos la mayor parte del tiempo.

Y es que el almacén nunca fue lo difícil de Babel. Lo difícil era el orden. El drama es que el espacio no tiene mapa. Ahí está la diferencia: lo que hace un LLM de frontera no es guardar Babel. Es generarla.

dhcmrlchtdj

Sobre la IA circula una idea falsa: que escribe por simple permutación, combinando símbolos hasta que sale algo. No. Una máquina que permuta al azar produce una sola cosa: ruido. Son los infinitos monos tecleando en una máquina de escribir, esperando que salga «El Quijote«. Eso es exactamente el 99,99% de los libros de Babel: un embrollo incomprensible, esas «obras que no difieren sino por una letra o por una coma» de las que nos avisa Borges. Si un LLM funcionara así, no serviría para nada.

El modelo hace lo contrario de permutar a ciegas. Ha aprendido una ponderación, destilada tras la revisión de miles de millones de textos humanos, que hace enormemente más probable generar el libro legible que el ruido. Cuando le preguntas algo, la IA no rebusca en los estantes. Calcula, palabra a palabra, cuál es la continuación más probable, y traza un sendero en la parte iluminada de Babel. Es la biblioteca total con lo que no tenían los bibliotecarios de Borges: un sendero de migas de pan que nos lleva por dónde están los libros que se pueden leer. Borges nos contaba que incluso algo como «dhcmrlchtdj«, que parecen letras al azar, puede encerrar, «en alguna de sus lenguas secretas«, sentido. 

Y es que el LLM improvisa cada vez que le preguntas. Hazle la misma pregunta dos veces y tomará caminos distintos: hay un margen de azar deliberado en el proceso, una dosis xontrolada de lanzamiento de dados. Pídele que responda sobre lo mismo fingiendo ser un rey y luego un mendigo, y observa el resultado. No te recita un libro que estaba en un estante. Escribe uno nuevo, sobre la marcha, guiado por la pendiente de probabilidades. Esa es la diferencia exacta entre la Babel de Borges y la Babel generativa. La primera es un archivo: el libro ya existe, inmóvil, esperando a un lector que casi nunca llega. La segunda es un acto: el libro se produce en el instante en que lo pides, y no existía antes de que preguntaras. Los LLM siguen escribiendo la Biblioteca de Babel todos los días.

Babel no necesitaba más libros. Necesitaba un orden

Los LLM no son máquinas que lo saben todo. Solo han leído mucho y recuerdan algo, pero saben dónde está lo coherente. Yo los uso así todos los días: no como un oráculo, sino como el bibliotecario que Borges nunca tuvo, el que te lleva en segundos al pasillo correcto en lugar de dejarte envejecer en el equivocado. Treinta años buscando soluciones a problemas me dicen que esa capacidad de navegar lo inabarcable es exactamente lo que necesitamos. No me angustia. Me estimula.

Conviene, eso sí, entender qué ordena el modelo y qué no. Y aquí hay que matizar lo de la permutación. El sendero de migas de pan corre en una sola dirección: la de lo coherente. Hace más probable un texto con sentido que un galimatías. Pero el de la verdad es otro sendero y por él no hay necesariamente ninguna miga. Sobre lo coherente, el modelo sabe muchísimo. Sobre lo cierto sabe poco, porque la verdad no es la variable sobre la que aprendió a optimizar. No es que tome el camino equivocado hacia la verdad: es que hacia la verdad no trazó ningún camino.

Así que, en realidad, la permutación no desaparece del todo. Se esconde, en el sendero que el orden no cubre. Dentro de lo que ha leído, un LLM combina con libertad lo verdadero y lo falso, porque para él tienen el mismo aspecto y parecida probabilidad de salir. Esa permutación residual (un texto coherente, bien encuadernado, sin vínculo necesario de la verdad) tiene un nombre que se ha vuelto familiar: alucinación. No es un libro de ruido. Es un libro perfecto de un estante falso. Y por fuera no se distingue del verdadero: misma tipografía, mismas cuatrocientas diez páginas.

Ahora es Borges frente a la máquina. Aunque «dhcmrlchtdj» parece un sinsentido, esconde sentido: en alguna lengua secreta, nos avisó Borges, significa algo. La alucinación es su reflejo invertido: parece tener sentido pero nos esconde su falta de verdad. Una esconde el significado bajo apariencia de ruido; la otra esconde el vacío bajo apariencia de significado. Algo como «dhcmrlchtdj» lleva escrito en la cara que necesita una clave, que hay que descifrarlo, que falta trabajo. La alucinación nos miente en eso. Ya no es la verdad escondida bajo el ruido, sino la falsedad bajo prosa impecable, servida descifrada y cierta. Desactiva tu intuición. Lo que se anuncia como incomprensible avisa con honestidad. Lo falso que se muestra como verdadero no pide nada, y por eso nadie lo comprueba. Misma biblioteca, pero ahora el LLM te conduce derecho al libro falso y te lo narra con voz de respuesta certera.

El mapa es de verosimilitud, no de verdad

En un working paper reciente de investigadores de UCLA y MIT Sloan, Some Simple Economics of AGI, Christian Catalini (MIT), Xiang Hui y Jane Wu formulan todo esto en términos económicos: a medida que generar se vuelve abundante y barato (lo que algunos llaman una commodity), el valor se desplaza hacia otra cosa. Hacia la verificación. El cuello de botella ya no es escribir. Es validar. Ahora producimos texto, código y análisis mucho más rápido de lo que cuesta comprobar si son siquiera correctos, no digamos verdaderos. Y comprobar sigue atado a algo que no escala con los chips: la cognición humana, el criterio, la experiencia que avala lo que la máquina ejecuta.

Catalini, Hui y Wu le ponen nombre al peligro de saltarse ese paso: «el caballo de Troya«. Una salida que cumple con todas las métricas que mides, que parece trabajo productivo y que esconde el riesgo precisamente en lo que no mediste. El informe que pasa la inspección y falla donde nadie miró. Después de toda la vida cazando fallos invisibles como ingeniero, te confirmo que es el mismo fallo de siempre, pero ahora generado a escala industrial. En ese mapa de puntos rojos, verdes y azules que se encuentra en el paper (y que fue bastante viral) cada tarea se ordena por lo que cuesta ejecutarla (eje horizontal) frente a lo que cuesta verificarla (eje vertical). La esquina peligrosa está arriba a la izquierda; ahí la máquina genera casi gratis y nadie lo puede comprobar: el territorio del caballo de Troya.

Todo esto, honestamente, no me parece una amenaza: me parece el reconocimiento de dónde estuvo el siempre valor: en el oficio. Ningún ingeniero firma un cálculo porque la herramienta sea buena; lo firma porque comprobó el número que sostiene la estructura. Yo verifico el dato que soporta un informe, y lo hacía también antes de la IA, cuando la fuente era un colega de confianza, un vademécum o un manual con tapas. Eso no ha cambiado. Lo que cambia es el coste: generar nunca fue tan barato, y validar nunca fue tan caro. El bibliotecario que sabe distinguir el libro verdadero del falso, cuando los dos tienen la misma encuadernación y las mismas páginas, acaba de convertirse en el más valioso de Babel. La diferencia entre verosímil y verdadero es casi siempre pequeña. Pero esa diferencia puede ser enorme cuando hay que decidir.

Los bibliotecarios de Borges habrían dado la vida por esto. Buscaron durante generaciones el catálogo de catálogos: el libro que ordenaría a todos los demás; pero murieron sin encontrarlo, convencidos de que el orden no existía en ninguna parte. Se equivocaban en lo esencial. El orden no estaba en ningún estante, perdido entre el ruido. No era algo que encontrar: era algo que se podía generar con el orden que nosotros queramos y las veces que queramos.

Lo que ninguna máquina nos ha quitado todavía es lo otro. Saber leer. Distinguir, entre dos libros idénticos por fuera, cuál dice la verdad. Babel hoy se escribe a sí misma. Leerla sigue siendo nuestro.

«Mi soledad se alegra con esa elegante esperanza».

Publicado en Economy, Inteligencia Artificial, Tecnología | Etiquetado , , , , , , , | Deja un comentario