Hay una escena profundamente absurda en la carrera contemporánea por la inteligencia artificial: algunos de los seres humanos que mejor comprenden el peligro potencial están sentados dentro de los laboratorios que aceleran hacia él.
No hablamos de profetas tecnológicos escribiendo desde una cabaña ni de aficionados aterrados por ChatGPT. Hablamos de investigadores de frontera, personas que entrenan los modelos, estudian su comportamiento, intentan resolver su alineamiento y conocen desde dentro las capacidades que aparecen a medida que aumenta la escala. Y algunos de ellos están diciendo algo extraordinario: podríamos estar construyendo sistemas cuyo control no sabemos garantizar.
Jacob Coxon acaba de abandonar Anthropic después de haber trabajado también en OpenAI. Su acusación merece ser leída sin la pirotecnia apocalíptica de ciertos titulares: sostiene que ambas compañías avanzan hacia una superinteligencia capaz de automejorarse y que están “gambling with our lives” (“apostando con nuestras vidas”).
Lo verdaderamente incómodo ocurrió después.
Evan Hubinger, investigador que permanece en Anthropic, respaldó públicamente una parte esencial de la advertencia. Según declaró, personalmente atribuye más de un 10% de probabilidad a que la IA pueda provocar la extinción humana durante la próxima década. Y reconoce algo todavía más importante: no existe actualmente un plan demostrado que resuelva el problema del alineamiento de una futura superinteligencia.
Detengámonos ahí.
Más de diez por ciento.
Si un ingeniero aeronáutico dijera que el avión tiene más de un diez por ciento de probabilidades de matar a todos sus pasajeros, nadie discutiría si el porcentaje correcto es diez, nueve o doce. El avión no despegaría.
Pero si el objeto experimental es una tecnología potencialmente planetaria, parece que hemos inventado una ética nueva: primero despegamos y después intentamos construir las alas.
La obscenidad moral no reside en investigar inteligencia artificial. Tampoco en asumir automáticamente como verdadera la hipótesis de la extinción, que sigue siendo precisamente eso: una hipótesis extrema y discutida, no un desenlace científicamente demostrado.
La obscenidad comienza en otro lugar.
Comienza cuando alguien cree seriamente que existe una probabilidad material de provocar una catástrofe irreversible y, aun así, considera aceptable continuar aumentando la capacidad del sistema mientras espera que otro departamento consiga resolver el problema del control.
Aquí aparece una pregunta que incomoda mucho más que cualquier fantasía sobre robots asesinos:
¿qué responsabilidad tienen los investigadores?
Porque “yo solamente investigo” es una frase que la historia de la ciencia ya ha escuchado demasiadas veces.
La responsabilidad moral no desaparece porque una organización haya dividido el trabajo en equipos, benchmarks (pruebas estandarizadas), departamentos de seguridad, capas de autorización y contratos de confidencialidad. La fragmentación burocrática puede distribuir una tarea. No distribuye mágicamente sus consecuencias.
Si quienes poseen conocimiento técnico privilegiado creen realmente que estamos aproximándonos a un umbral potencialmente incontrolable, callar deja de ser neutralidad.
Se convierte en una decisión.
Y continuar trabajando también.
Naturalmente existen investigadores dentro de estas compañías precisamente porque quieren impedir el desastre. Es una distinción imprescindible. Anthropic nació, en buena medida, alrededor del problema de seguridad de la IA y mantiene equipos dedicados a alineamiento, interpretabilidad y evaluación de riesgos. No sería intelectualmente serio meter en un mismo saco al investigador que intenta construir salvaguardas y al ejecutivo que quiere ganar una carrera comercial.
Pero tampoco podemos aceptar indefinidamente la paradoja perfecta:
“Debemos seguir construyendo una máquina cada vez más poderosa porque necesitamos una máquina cada vez más poderosa para investigar cómo impedir que la máquina cada vez más poderosa se vuelva peligrosa”.
En algún momento el razonamiento empieza a comerse la cola.
Y entonces aparece la otra pregunta. La más desagradable.
¿Quién ha autorizado esta apuesta?
Yo no.
Usted probablemente tampoco.
Ninguna asamblea mundial votó qué porcentaje de riesgo de extinción considera aceptable. No hubo referéndum planetario. No existe un parlamento de la humanidad que haya decidido que 1%, 5% o 10% constituye un precio razonable por alcanzar la inteligencia artificial general.
Sin embargo, unas cuantas corporaciones privadas poseen los chips, los centros de datos, los modelos, buena parte del talento científico y miles de millones de dólares necesarios para empujar la frontera.
La humanidad pone el planeta.
Ellos ponen la apuesta.
Y llegamos entonces a una sospecha políticamente legítima, pero que debemos formular precisamente como sospecha y no disfrazar de hecho comprobado.
Las élites económicas y tecnológicas tienen planes B.
Sabemos que algunos multimillonarios han comprado propiedades aisladas, construido refugios extraordinariamente sofisticados o hablado abiertamente sobre estrategias privadas de supervivencia frente a catástrofes. Ese fenómeno está documentado desde mucho antes de la actual explosión de la IA.
Lo que no sabemos —y no deberíamos afirmar sin pruebas— es que los dirigentes de las grandes compañías de inteligencia artificial posean un plan coordinado para sobrevivir a una catástrofe provocada por sus propios sistemas.
Pero la mera existencia de una desigualdad radical de supervivencia plantea un problema político formidable.
Porque incluso sin conspiración alguna, los riesgos no se distribuyen democráticamente.
Quien posee cientos o miles de millones puede adquirir tierra, energía independiente, agua, seguridad privada, comunicaciones satelitales, instalaciones subterráneas, movilidad internacional y redundancias logísticas.
La mayoría de la humanidad posee una puerta con cerradura.
Por eso la pregunta no necesita conspiraciones.
Es peor sin ellas.
¿Qué ocurre cuando quienes toman decisiones capaces de producir riesgos planetarios tienen una capacidad incomparablemente mayor para protegerse de las consecuencias de esas mismas decisiones?
Ahí aparece un problema clásico de moral hazard (riesgo moral): quien decide cuánto riesgo asumir no soporta necesariamente la misma exposición que aquellos sobre quienes recaerá el daño.
El trabajador de Daca, la profesora de Valparaíso, el campesino de Senegal o una familia de Gaza no poseen acciones de Anthropic, OpenAI o Google DeepMind. No participaron en sus consejos de administración. No eligieron la velocidad de entrenamiento de sus modelos. No conocen sus evaluaciones internas de seguridad.
Pero compartirían las consecuencias si alguna vez el peor escenario resultara cierto.
Y hay algo todavía más perverso.
La competencia entre compañías puede transformar incluso a personas razonables en agentes de una dinámica irracional.
OpenAI no puede detenerse porque Anthropic podría adelantarse.
Anthropic no puede detenerse porque Google DeepMind podría adelantarse.
Google no puede detenerse porque China podría adelantarse.
Estados Unidos no puede detenerse porque China podría adelantarse.
China no puede detenerse porque Estados Unidos podría adelantarse.
Y así llegamos al mecanismo perfecto de irresponsabilidad colectiva:
todos saben que sería conveniente frenar, pero nadie puede frenar porque nadie confía en que los demás también lo harán.
No necesitamos una inteligencia artificial rebelde para comprender ese fenómeno.
Los seres humanos lo inventamos hace mucho tiempo.
Se llama carrera armamentística.
La diferencia es inquietante: durante la carrera nuclear, los gobiernos comprendían aproximadamente qué era una bomba, qué destruía y cómo funcionaba la disuasión.
Aquí los propios especialistas discuten qué capacidades emergerán, cuándo aparecerán y si podremos controlarlas después.
Estamos corriendo hacia algo cuya forma definitiva desconocemos, mientras quienes sostienen el volante reconocen que todavía están diseñando los frenos.
Y precisamente por eso la renuncia de Coxon importa.
No porque haya demostrado que todos moriremos en 2030.
No lo ha demostrado.
Importa porque rompe una comodidad moral.
Obliga a quienes permanecen dentro a responder una pregunta que ya no puede resolverse mediante papers (artículos científicos), declaraciones corporativas ni nuevos departamentos de “safety” (seguridad):
Si ustedes creen de verdad que existe una posibilidad significativa de que aquello que están construyendo pueda escapar al control humano, ¿qué nivel de peligro tendría que alcanzarse para que se negaran a seguir construyéndolo?
¿Veinte por ciento?
¿Cincuenta?
¿Noventa?
¿Dónde está la línea?
Porque si no existe una línea, entonces tampoco existe realmente un principio de precaución.
Existe solamente una carrera.
Una carrera desbocada hacia la superinteligencia que todavía no lleva riendas, conducida por compañías que compiten por llegar primero y observada por investigadores que, cada cierto tiempo, salen del edificio para advertirnos que el vehículo puede no tener frenos.
El problema es que nosotros también vamos dentro.
Solo que nadie nos preguntó si queríamos subir.
