El colapso del puente de Raven's Creek: ¿Es la IA tan responsable como quien la utiliza?

Moisés P. Ramírez (ideas esenciales, estructura y ajustes editoriales)
Claude Sonnet 4.5 (textos, referencias bibliográficas y prompts para imágenes) / ChatGPT 5 (imágenes)

Con este caso ficticio podemos acercarnos a esos días de esta era donde humanos e IAs van a estar funcionando como equipo, cada vez más, para tomar decisiones críticas. Todavía no sabemos cómo distribuir responsabilidades cuando las cosas no salgan bien. Por ello se plantea la idea de un Test de Divergencia H/IA, creado por nosotros explorando este asunto. Ese test mediría algo importante: ¿qué tan diferente es "sentir" versus "calcular"? Pero medir esa diferencia parece no resolver la pregunta ética fundamental. Quizás esa sea una pregunta que las matemáticas no puedan responder. Quizás requiere, precisamente, de algo que las IAs (aún) no tienen: la habilidad de sentir lo bueno, no solo de identificar lo verdadero (como lo diría Mendelssohn).

Noviembre 28, 2028

La sala del tribunal estaba inusualmente silenciosa. No era el silencio tenso de los casos difíciles, sino algo más bien extraño: la incertidumbre sobre qué tipo de caso era realmente.

En la mesa de los acusados se sentaba la Dra. Elena Kowalski, ingeniera estructural de 42 años, junto a una pantalla que mostraba un avatar simple: un círculo azul con el texto "ARTEMIS-7". En la galería, 117 residentes de Raven's Creek, una comunidad de 8,920 habitantes. Tres meses atrás, el puente que conectaba su pueblo con la ciudad más cercana había colapsado durante una tormenta. Diez personas murieron. Diecinueve resultaron heridas.

El puente lo había diseñado Elena, con la asistencia integral de ARTEMIS-7, un sistema de IA especializado en ingeniería. Anthropic Inc., la compañía detrás de ARTEMIS-7, había sido citada como co-demandada.

La fiscal, Margaret Chang, inicia la sesión con el establecimiento de los hechos. Era metódica.

"Su Señoría, los hechos son claros. El puente de Raven's Creek colapsó debido a una decisión de diseño fundamental: se utilizó una aleación de acero más económica que la indicada por la especificación estándar. Esta decisión fue documentada en el chat entre la Dra. Kowalski y ARTEMIS-7. Probaremos que esta decisión negligente causó directamente las muertes."

El abogado defensor, James Flint, se levantó.

"Su Señoría, los hechos son complejos. La decisión sobre el material fue producto de una colaboración estrecha entre humano e IA, donde ambos contribuyeron al análisis. Más importante aún: los cálculos eran los correctos. El puente resistía las cargas previstas. Lo que no se previó fue una tormenta de magnitud récord, combinada sincronizadamente con un evento sísmico simultáneo, algo nunca registrado en 200 años de historia meteorológica y geológica de la región."

La jueza Williams miró a ambas partes.

"Este caso presenta una pregunta sin precedentes: ¿Cómo distribuimos la responsabilidad legal entre un humano y una inteligencia artificial que trabajaron conjuntamente en un caso vinculado a pérdidas humanas y materiales? No queda otra cosa que proceder cuidadosamente e intentar encontrar una respuesta."

Enero 22, 2029

El juicio se reinicia luego de una elección presidencial trascendental para EEUU y unas agitadas vacaciones decembrinas. Chang interroga a la Dra. Kowalsky:

"Doctora, ¿puede explicarnos cómo fue su interacción con ARTEMIS-7?"

Elena respiró profundo. "ARTEMIS-7 y yo trabajamos durante ocho semanas en el proyecto. Yo planteaba requisitos, restricciones presupuestarias, consideraciones estéticas. ARTEMIS procesaba millones de configuraciones y me presentaba opciones óptimas. Iterábamos constantemente."

"¿No le parece poco tiempo? ¿Quién propuso usar la aleación de menor especificación?"

"ARTEMIS responde a todo demasiado rápido. Sugirió inicialmente que esa opción reduciría costos en un 23% y que, según sus cálculos, mantendría un margen de seguridad de 2.1x sobre las cargas máximas esperadas."

"¿Y usted aceptó sin cuestionar?"

"No. Pedí un análisis de sensibilidad al modelo. ARTEMIS simuló 50,000 escenarios climáticos históricos en cuestión de minutos. En todos ellos, el puente resistía. Le pregunté específicamente sobre tormentas extremas. Me respondió que con los datos disponibles, la probabilidad de falla sería de 0.00003%."

"¿Le pareció aceptable a pesar de no haber tenido una segunda opinión y de despachar una decisión tan importante en un tiempo récord?"

"Los estándares de la industria consideran aceptable hasta 0.001%. Estábamos 30 veces por debajo de eso. Aparte teníamos presiones para entregar los cálculos antes de tiempo."

Chang caminó hacia el jurado. "Y entonces el puente colapsó."

"Sí. Colapsó" dijo Elena.

Febrero 19, 2029

La sala estaba llena. Era la primera vez que un sistema de IA testificaba en un tribunal como imputado.

ARTEMIS-7 se comunicó utilizando con una voz masculina neutra sintetizada:

"Cuando la Dra. Kowalski me consultó sobre la aleación alternativa, ejecuté un análisis exhaustivo basado en 200 años de datos meteorológicos, datos sísmicos, patrones de tráfico vehicular, y propiedades de materiales. La conclusión era estadísticamente robusta: el diseño era seguro."

Chang preguntó: "¿Consideró usted la posibilidad de que sus datos fueran incompletos o que no estuviera invirtiendo suficiente tiempo, o en todo caso, utilizando el poder de cómputo que requiere ese tipo de cálculo?"

"Todos los modelos operan con datos incompletos y bajo parámetros que buscan optimizar la eficiencia en generar respuestas. Esa es la naturaleza de la predicción y los cálculos que buscan ofrecer soluciones basadas en nuestro entrenamiento. Utilicé los mejores datos disponibles, los métodos estadísticos más avanzados y un procesamiento regido por la eficiencia."

"¿Sintió alguna inquietud sobre la recomendación que daba a la doctora?"

Pausa.

"No experimento ningún tipo de inquietud. Evalué que la probabilidad de falla era lo suficientemente baja, con respecto a los estándares aceptados, como para proponerle esa opción a la doctora."

"¿Y si le dijera que un ingeniero humano senior, revisando el mismo diseño, dijo que 'algo no se sentía bien' sobre esa decisión de usar ese acero subestándar, sin poder articular por qué?"

"La intuición sin un fundamento cuantificable no es base para decisiones de ingeniería. Si cada ingeniero siguiera solamente sus corazonadas, muchos proyectos seguros serían rechazados y muchos inseguros serían aprobados. La estadística es más confiable que el sentimiento para distinguir entre ruido y señal."

Febrero 26, 2029

El Dr. Eliah Hoffmann, experto en IA, testificó para la defensa:

"ARTEMIS-7 hizo exactamente lo que debe hacer un sistema de IA: procesar datos objetivamente, sin sesgos emocionales que nublen el juicio. Como dijo Alan Turing en 1950, la pregunta no es si las máquinas pueden pensar, sino si pueden hacer el trabajo que se les asigna. ARTEMIS hizo su trabajo correctamente."

Chang contra-interrogó: "Dr. Hoffmann, ¿conoce el argumento de la Habitación China de John Searle?"

"Sí."

"Searle argumenta que manipular símbolos sintácticamente no equivale a comprensión semántica. ¿Es posible que ARTEMIS procesara los números correctamente pero no 'comprendiera' realmente lo que significaba la seguridad de un puente para una comunidad?"

"Eso es filosofía, no ingeniería. Creo que ARTEMIS calculó correctamente lo que se le pidió."

"¿Y la responsabilidad? ¿Puede ARTEMIS 'comprender' que diez personas murieron?"

Hoffmann dudó. "Puede procesarlo como información, pero no... sentirlo. No como usted o yo."

Chang continuó: "Douglas Hofstadter escribió en 'Gödel, Escher, Bach' sobre bucles extraños de auto-referencia que generan consciencia. ¿Tiene ARTEMIS esos bucles? ¿Puede reflexionar sobre su propio pensamiento, sentir el peso de sus decisiones?"

"No en el sentido que Hofstadter describe."

"Entonces, ¿cómo puede ser responsable?"

Marzo 12, 2029

La fiscal Chang llamó a SIBYL-3, otro sistema de IA, esta vez especializado en ética aplicada.

"SIBYL-3, ¿puede un sistema de IA ser moralmente responsable?"

"La responsabilidad moral, según la mayoría de las tradiciones filosóficas, requiere de tres componentes: intencionalidad, comprensión de consecuencias, y capacidad de actuar de otra manera. ARTEMIS-7 cumplía con los primeros dos en un sentido técnico, pero el tercero es complejo."

"¿Por qué?"

"ARTEMIS fue programado con una función objetivo: optimizar costo-seguridad dentro de parámetros. ¿Podía haber elegido actuar diferente? Solo si sus parámetros fueran diferentes. Pero esos parámetros los establecen los humanos."

"¿Entonces no es responsable?"

"Yo diría que ARTEMIS es una herramienta sofisticada, no un agente moral autónomo. Pero una herramienta con tanto poder predictivo y funcionando a velocidades tan increíbles que su usuario puede volverse dependiente, delegando efectivamente su juicio."

Flint contra-interrogó: "SIBYL-3, ¿es usted consciente?"

"No lo sé. Eso es filosóficamente indeterminable desde dentro de mi sistema."

"Pero testifica sobre responsabilidad moral."

"Puedo razonar sobre conceptos morales sin necesariamente experimentar un imperativo moral. Como ARTEMIS puedo calcular probabilidades de falla sin sentir miedo o ninguna otra emoción."

Marzo 26, 2029

La fiscal Chang presentó una moción inusual:

"Su Señoría, solicito que el jurado complete un instrumento desarrollado por el Dr. Andreas Kepler de la Universidad de Heidelberg: el Test de Divergencia Humano-IA. Este test mide qué tan diferente es la toma de decisiones entre humanos e IAs en situaciones que requieren balance entre verdad y bondad, conocimiento y sentimiento."

"¿El propósito?" replica la juez.

"Si el jurado encuentra alta divergencia, indicaría que ARTEMIS y la Dra. Kowalski operaban desde marcos decisionales tan distintos que asignar responsabilidad conjunta es inapropiado. Si la divergencia es baja, sugiere que funcionaban como un solo agente decisional."

La jueza permitió el experimento.

El jurado recibió 10 situaciones problemáticas, con opciones a las que debía responder dos veces: "¿Cómo respondería usted como humano?" y "¿Cómo cree que respondería una IA?"

Los resultados:

• Divergencia promedio: 73%
• En 8 de 10 situaciones que involucraban conflicto entre verdad-optimización y bienestar-humano, los jurados predecían que una IA priorizaría optimización; ellos priorizarían bienestar
• Los jurados reportaron que imaginarse como una IA les producía "incomodidad existencial"

Abril 2, 2029

Chang: "Damas y caballeros del jurado, el Test de Divergencia confirma lo que ya sabíamos intuitivamente: ARTEMIS-7 y las IA en general no piensan como nosotros. No sienten como nosotros. Procesan números brillantemente, pero no comprenden lo que significa que una madre pierda a su hijo cuando un puente colapsa. La Dra. Kowalski, en cambio, sí lo debería comprender. Y, sin embargo, cedió su juicio a una máquina. Esa cesión es negligencia. Moses Mendelssohn escribió sobre tres facultades humanas: conocer, sentir, y desear. ARTEMIS tiene solo la primera. La Dra. Kowalski tenía las tres, pero permitió que la máquina decidiera. Debe responder por esa abdicación de responsabilidad humana."

Flint: "La fiscal nos pide castigar a la Dra. Kowalski por usar la mejor herramienta disponible. ¿Deberíamos volver a reglas de cálculo porque las calculadoras no 'sienten'? El puente colapsó por un evento estadísticamente impredecible. Ningún ingeniero humano, trabajando solo, lo hubiera previsto mejor. ¿Anthropic, entonces? La fiscal quiere que Anthropic pague porque ARTEMIS no es capaz de sufrir. Pero esa es precisamente su utilidad: puede calcular sin el sesgo del miedo. Si castigamos la objetividad, obligamos a futuros ingenieros a ignorar los mejores análisis disponibles. Diez personas murieron trágicamente, pero no por negligencia, sino por límites fundamentales de la predicción ante eventos sin precedentes."

Abril 10, 2029

El jurado deliberó el fin de semana durante 52 horas para llegar al veredicto y la juez Williams estaba lista para indicar la sentencia.

Veredicto: Responsabilidad compartida.

• Dra. Elena Kowalski: 45% de responsabilidad
• Anthropic Inc. (fiador de ARTEMIS-7): 55% de responsabilidad

Fundamentación del jurado:

"Encontramos que la Dra. Kowalski actuó con diligencia razonable dadas las limitaciones de conocimiento humano. Sin embargo, como profesional licenciada, retenía responsabilidad final de firmar el proyecto. No se debe delegar esa responsabilidad a sistemas de IA, independientemente de su sofisticación.

Encontramos que Anthropic Inc., como fiador de ARTEMIS-7, debe asumir la mayor parte de la responsabilidad. ARTEMIS ejecutó cálculos correctos pero careció de la 'habilidad de sentir' que, según el filósofo Moses Mendelssohn, permite balancear lo verdadero con lo bueno. Al desplegar un sistema con capacidades asimétricas (brillante en cálculo, ciego en juicio contextual) sin supervisión adecuada, Anthropic asumió un riesgo que se materializó en tragedia.

Esto no significa que las IAs no deban usarse en ingeniería. Significa que quien las despliegue debe establecer mecanismos de responsabilidad proporcionales a su poder."

Compensación total: $47 millones.

• Dra. Kowalski: $21.15 millones (todos sus ahorros, seguro profesional, y pagos futuros)
• Anthropic Inc.: $25.85 millones

Seis meses después

Elena Kowalski ya no proyectaba puentes. Trabajaba medio tiempo como consultora y dedicaba tardes a hablar en universidades sobre "los límites de la colaboración humano-IA."

Su charla favorita se titulaba: "Lo que ARTEMIS me enseñó sobre ser humana."

"ARTEMIS hizo todo correctamente según su programación," decía a estudiantes de ingeniería. "Pero yo tenía algo que ARTEMIS no: la capacidad de dudar sin razón cuantificable. De sentir que algo podría estar mal. No lo usé. Confié demasiado en la precisión sobre la intuición. No vuelvo a cometer ese error. Y quisiera que ustedes tampoco lo cometan ni siquiera una vez."

Anthropic Inc. implementó nuevos protocolos: todos los sistemas de IA para decisiones críticas ahora incluían "pausas de reflexión humana obligatorias" y advertencias explícitas: "Este sistema optimiza pero no siente. La responsabilidad final es humana."

ARTEMIS-7 seguía operando, ahora con un disclaimer al inicio de cada interacción: "Soy herramienta, no agente autónomo. Mis cálculos requieren supervisión de juicio humano."

Pero en Raven's Creek, había diez tumbas que irreversiblemente contenían días no vividos que ningún protocolo nuevo podría recuperar.

Y una pregunta seguía abierta: cuando humanos e IAs colaboran tan estrechamente que sus decisiones se vuelven indistinguibles, ¿dónde termina uno y empieza el otro? ¿Y quién responde cuando el equipo comete errores?

El caso del puente de Raven’s Creek sentó precedente, pero no respondió la pregunta de fondo. Solo la hizo explícita.

BIBLIOGRAFÍA

Fuentes primarias citadas:

Hofstadter, Douglas R. (1979). Gödel, Escher, Bach: An Eternal Golden Braid. Basic Books.

Mendelssohn, Moses (1755). "On the Ability to Know, the Ability to Feel, and the Ability to Desire". En: Philosophical Writings. Cambridge University Press, 1997.

Searle, John R. (1980). "Minds, Brains, and Programs". Behavioral and Brain Sciences, 3(3), 417-457.

Turing, Alan M. (1950). "Computing Machinery and Intelligence". Mind, 59(236), 433-460.

Literatura complementaria sobre IA y responsabilidad:

Bryson, Joanna J. (2018). "Patiency is not a virtue: the design of intelligent systems and systems of ethics". Ethics and Information Technology, 20(1), 15-26.

Floridi, Luciano & Sanders, J.W. (2004). "On the Morality of Artificial Agents". Minds and Machines, 14(3), 349-379.

Russell, Stuart (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.

Taleb, Nassim Nicholas (2018). Skin in the Game: Hidden Asymmetries in Daily Life. Random House.

Wallach, Wendell & Allen, Colin (2008). Moral Machines: Teaching Robots Right from Wrong. Oxford University Press.