Moisés P.
Ramírez (ideas esenciales, estructura y ajustes editoriales)
Claude Sonnet 4.5 (textos, referencias bibliográficas y prompts para imágenes)
/ ChatGPT 5 (imágenes)
Con este
caso ficticio podemos acercarnos a esos días de esta era donde humanos e IAs van
a estar funcionando como equipo, cada vez más, para tomar decisiones críticas.
Todavía no sabemos cómo distribuir responsabilidades cuando las cosas no salgan
bien. Por ello se plantea la idea de un Test de Divergencia H/IA, creado por
nosotros explorando este asunto. Ese test mediría algo importante: ¿qué tan
diferente es "sentir" versus "calcular"? Pero medir esa
diferencia parece no resolver la pregunta ética fundamental. Quizás esa sea una
pregunta que las matemáticas no puedan responder. Quizás requiere,
precisamente, de algo que las IAs (aún) no tienen: la habilidad de sentir lo
bueno, no solo de identificar lo verdadero (como lo diría Mendelssohn).
Noviembre
28, 2028
La sala del
tribunal estaba inusualmente silenciosa. No era el silencio tenso de los casos
difíciles, sino algo más bien extraño: la incertidumbre sobre qué tipo de caso
era realmente.
En la mesa
de los acusados se sentaba la Dra. Elena Kowalski, ingeniera estructural de 42
años, junto a una pantalla que mostraba un avatar simple: un círculo azul con
el texto "ARTEMIS-7". En la galería, 117 residentes de Raven's Creek,
una comunidad de 8,920 habitantes. Tres meses atrás, el puente que conectaba su
pueblo con la ciudad más cercana había colapsado durante una tormenta. Diez
personas murieron. Diecinueve resultaron heridas.
El puente
lo había diseñado Elena, con la asistencia integral de ARTEMIS-7, un sistema de
IA especializado en ingeniería. Anthropic Inc., la compañía detrás de
ARTEMIS-7, había sido citada como co-demandada.
La fiscal,
Margaret Chang, inicia la sesión con el establecimiento de los hechos. Era
metódica.
"Su
Señoría, los hechos son claros. El puente de Raven's Creek colapsó debido a una
decisión de diseño fundamental: se utilizó una aleación de acero más económica que
la indicada por la especificación estándar. Esta decisión fue documentada en
el chat entre la Dra. Kowalski y ARTEMIS-7. Probaremos que esta decisión
negligente causó directamente las muertes."
El abogado
defensor, James Flint, se levantó.
"Su
Señoría, los hechos son complejos. La decisión sobre el material fue producto
de una colaboración estrecha entre humano e IA, donde ambos contribuyeron al
análisis. Más importante aún: los cálculos eran los correctos. El puente
resistía las cargas previstas. Lo que no se previó fue una tormenta de magnitud
récord, combinada sincronizadamente con un evento sísmico simultáneo, algo
nunca registrado en 200 años de historia meteorológica y geológica de la
región."
La jueza
Williams miró a ambas partes.
"Este
caso presenta una pregunta sin precedentes: ¿Cómo distribuimos la
responsabilidad legal entre un humano y una inteligencia artificial que
trabajaron conjuntamente en un caso vinculado a pérdidas humanas y materiales? No
queda otra cosa que proceder cuidadosamente e intentar encontrar una respuesta."
Enero
22, 2029
El juicio
se reinicia luego de una elección presidencial trascendental para EEUU y unas
agitadas vacaciones decembrinas. Chang interroga a la Dra. Kowalsky:
"Doctora,
¿puede explicarnos cómo fue su interacción con ARTEMIS-7?"
Elena
respiró profundo. "ARTEMIS-7 y yo trabajamos durante ocho semanas en el proyecto.
Yo planteaba requisitos, restricciones presupuestarias, consideraciones
estéticas. ARTEMIS procesaba millones de configuraciones y me presentaba
opciones óptimas. Iterábamos constantemente."
"¿No
le parece poco tiempo? ¿Quién propuso usar la aleación de menor
especificación?"
"ARTEMIS
responde a todo demasiado rápido. Sugirió inicialmente que esa opción reduciría
costos en un 23% y que, según sus cálculos, mantendría un margen de seguridad
de 2.1x sobre las cargas máximas esperadas."
"¿Y
usted aceptó sin cuestionar?"
"No.
Pedí un análisis de sensibilidad al modelo. ARTEMIS simuló 50,000 escenarios
climáticos históricos en cuestión de minutos. En todos ellos, el puente
resistía. Le pregunté específicamente sobre tormentas extremas. Me respondió
que con los datos disponibles, la probabilidad de falla sería de
0.00003%."
"¿Le
pareció aceptable a pesar de no haber tenido una segunda opinión y de despachar
una decisión tan importante en un tiempo récord?"
"Los
estándares de la industria consideran aceptable hasta 0.001%. Estábamos 30
veces por debajo de eso. Aparte teníamos presiones para entregar los cálculos
antes de tiempo."
Chang
caminó hacia el jurado. "Y entonces el puente colapsó."
"Sí.
Colapsó" dijo Elena.
Febrero
19, 2029
La sala
estaba llena. Era la primera vez que un sistema de IA testificaba en un tribunal
como imputado.
ARTEMIS-7 se
comunicó utilizando con una voz masculina neutra sintetizada:
"Cuando
la Dra. Kowalski me consultó sobre la aleación alternativa, ejecuté un análisis
exhaustivo basado en 200 años de datos meteorológicos, datos sísmicos, patrones
de tráfico vehicular, y propiedades de materiales. La conclusión era
estadísticamente robusta: el diseño era seguro."
Chang
preguntó: "¿Consideró usted la posibilidad de que sus datos fueran
incompletos o que no estuviera invirtiendo suficiente tiempo, o en todo caso,
utilizando el poder de cómputo que requiere ese tipo de cálculo?"
"Todos
los modelos operan con datos incompletos y bajo parámetros que buscan optimizar
la eficiencia en generar respuestas. Esa es la naturaleza de la predicción y
los cálculos que buscan ofrecer soluciones basadas en nuestro entrenamiento.
Utilicé los mejores datos disponibles, los métodos estadísticos más avanzados y
un procesamiento regido por la eficiencia."
"¿Sintió
alguna inquietud sobre la recomendación que daba a la doctora?"
Pausa.
"No
experimento ningún tipo de inquietud. Evalué que la probabilidad de falla era lo
suficientemente baja, con respecto a los estándares aceptados, como para
proponerle esa opción a la doctora."
"¿Y si
le dijera que un ingeniero humano senior, revisando el mismo diseño, dijo que
'algo no se sentía bien' sobre esa decisión de usar ese acero subestándar, sin
poder articular por qué?"
"La
intuición sin un fundamento cuantificable no es base para decisiones de
ingeniería. Si cada ingeniero siguiera solamente sus corazonadas, muchos
proyectos seguros serían rechazados y muchos inseguros serían aprobados. La
estadística es más confiable que el sentimiento para distinguir entre ruido y
señal."
Febrero
26, 2029
El Dr. Eliah
Hoffmann, experto en IA, testificó para la defensa:
"ARTEMIS-7
hizo exactamente lo que debe hacer un sistema de IA: procesar datos
objetivamente, sin sesgos emocionales que nublen el juicio. Como dijo Alan
Turing en 1950, la pregunta no es si las máquinas pueden pensar, sino si pueden
hacer el trabajo que se les asigna. ARTEMIS hizo su trabajo
correctamente."
Chang
contra-interrogó: "Dr. Hoffmann, ¿conoce el argumento de la Habitación
China de John Searle?"
"Sí."
"Searle
argumenta que manipular símbolos sintácticamente no equivale a comprensión
semántica. ¿Es posible que ARTEMIS procesara los números correctamente pero no
'comprendiera' realmente lo que significaba la seguridad de un puente para una
comunidad?"
"Eso
es filosofía, no ingeniería. Creo que ARTEMIS calculó correctamente lo que se
le pidió."
"¿Y la
responsabilidad? ¿Puede ARTEMIS 'comprender' que diez personas murieron?"
Hoffmann
dudó. "Puede procesarlo como información, pero no... sentirlo. No como
usted o yo."
Chang
continuó: "Douglas Hofstadter escribió en 'Gödel, Escher, Bach' sobre
bucles extraños de auto-referencia que generan consciencia. ¿Tiene ARTEMIS esos
bucles? ¿Puede reflexionar sobre su propio pensamiento, sentir el peso de sus
decisiones?"
"No en
el sentido que Hofstadter describe."
"Entonces,
¿cómo puede ser responsable?"
Marzo
12, 2029
La fiscal
Chang llamó a SIBYL-3, otro sistema de IA, esta vez especializado en ética
aplicada.
"SIBYL-3,
¿puede un sistema de IA ser moralmente responsable?"
"La
responsabilidad moral, según la mayoría de las tradiciones filosóficas,
requiere de tres componentes: intencionalidad, comprensión de consecuencias, y
capacidad de actuar de otra manera. ARTEMIS-7 cumplía con los primeros dos en
un sentido técnico, pero el tercero es complejo."
"¿Por
qué?"
"ARTEMIS
fue programado con una función objetivo: optimizar costo-seguridad dentro de
parámetros. ¿Podía haber elegido actuar diferente? Solo si sus parámetros
fueran diferentes. Pero esos parámetros los establecen los humanos."
"¿Entonces
no es responsable?"
"Yo
diría que ARTEMIS es una herramienta sofisticada, no un agente moral autónomo.
Pero una herramienta con tanto poder predictivo y funcionando a velocidades tan
increíbles que su usuario puede volverse dependiente, delegando efectivamente
su juicio."
Flint
contra-interrogó: "SIBYL-3, ¿es usted consciente?"
"No lo
sé. Eso es filosóficamente indeterminable desde dentro de mi sistema."
"Pero
testifica sobre responsabilidad moral."
"Puedo
razonar sobre conceptos morales sin necesariamente experimentar un imperativo
moral. Como ARTEMIS puedo calcular probabilidades de falla sin sentir miedo o
ninguna otra emoción."
Marzo
26, 2029
La fiscal
Chang presentó una moción inusual:
"Su
Señoría, solicito que el jurado complete un instrumento desarrollado por el Dr.
Andreas Kepler de la Universidad de Heidelberg: el Test de Divergencia
Humano-IA. Este test mide qué tan diferente es la toma de decisiones entre
humanos e IAs en situaciones que requieren balance entre verdad y bondad,
conocimiento y sentimiento."
"¿El
propósito?" replica la juez.
"Si el
jurado encuentra alta divergencia, indicaría que ARTEMIS y la Dra. Kowalski
operaban desde marcos decisionales tan distintos que asignar responsabilidad
conjunta es inapropiado. Si la divergencia es baja, sugiere que funcionaban
como un solo agente decisional."
La jueza
permitió el experimento.
El jurado
recibió 10 situaciones problemáticas, con opciones a las que debía responder
dos veces: "¿Cómo respondería usted como humano?" y "¿Cómo cree
que respondería una IA?"
Los
resultados:
- Divergencia
promedio: 73%
- En 8 de 10 situaciones que
involucraban conflicto entre verdad-optimización y bienestar-humano, los
jurados predecían que una IA priorizaría optimización; ellos priorizarían
bienestar
- Los jurados reportaron que
imaginarse como una IA les producía "incomodidad existencial"
Abril 2,
2029
Chang:
"Damas y caballeros del jurado, el Test de Divergencia confirma lo que ya
sabíamos intuitivamente: ARTEMIS-7 y las IA en general no piensan como
nosotros. No sienten como nosotros. Procesan números brillantemente, pero no
comprenden lo que significa que una madre pierda a su hijo cuando un puente
colapsa. La Dra. Kowalski, en cambio, sí lo debería comprender. Y, sin embargo,
cedió su juicio a una máquina. Esa cesión es negligencia. Moses Mendelssohn
escribió sobre tres facultades humanas: conocer, sentir, y desear. ARTEMIS
tiene solo la primera. La Dra. Kowalski tenía las tres, pero permitió que la
máquina decidiera. Debe responder por esa abdicación de responsabilidad
humana."
Flint:
"La fiscal nos pide castigar a la Dra. Kowalski por usar la mejor
herramienta disponible. ¿Deberíamos volver a reglas de cálculo porque las
calculadoras no 'sienten'? El puente colapsó por un evento estadísticamente
impredecible. Ningún ingeniero humano, trabajando solo, lo hubiera previsto
mejor. ¿Anthropic, entonces? La fiscal quiere que Anthropic pague porque
ARTEMIS no es capaz de sufrir. Pero esa es precisamente su utilidad: puede
calcular sin el sesgo del miedo. Si castigamos la objetividad, obligamos a
futuros ingenieros a ignorar los mejores análisis disponibles. Diez personas
murieron trágicamente, pero no por negligencia, sino por límites fundamentales
de la predicción ante eventos sin precedentes."
Abril
10, 2029
El jurado
deliberó el fin de semana durante 52 horas para llegar al veredicto y la juez
Williams estaba lista para indicar la sentencia.
Veredicto: Responsabilidad compartida.
- Dra.
Elena Kowalski: 45% de responsabilidad
- Anthropic Inc. (fiador de
ARTEMIS-7): 55% de responsabilidad
Fundamentación
del jurado:
"Encontramos
que la Dra. Kowalski actuó con diligencia razonable dadas las limitaciones de
conocimiento humano. Sin embargo, como profesional licenciada, retenía
responsabilidad final de firmar el proyecto. No se debe delegar esa
responsabilidad a sistemas de IA, independientemente de su sofisticación.
Encontramos
que Anthropic Inc., como fiador de ARTEMIS-7, debe asumir la mayor parte de la
responsabilidad. ARTEMIS ejecutó cálculos correctos pero careció de la
'habilidad de sentir' que, según el filósofo Moses Mendelssohn, permite
balancear lo verdadero con lo bueno. Al desplegar un sistema con capacidades
asimétricas (brillante en cálculo, ciego en juicio contextual) sin supervisión
adecuada, Anthropic asumió un riesgo que se materializó en tragedia.
Esto no
significa que las IAs no deban usarse en ingeniería. Significa que quien las
despliegue debe establecer mecanismos de responsabilidad proporcionales a su
poder."
Compensación total: $47 millones.
- Dra. Kowalski: $21.15 millones
(todos sus ahorros, seguro profesional, y pagos futuros)
- Anthropic
Inc.: $25.85 millones
Seis meses después
Elena
Kowalski ya no proyectaba puentes. Trabajaba medio tiempo como consultora y
dedicaba tardes a hablar en universidades sobre "los límites de la
colaboración humano-IA."
Su charla
favorita se titulaba: "Lo que ARTEMIS me enseñó sobre ser humana."
"ARTEMIS
hizo todo correctamente según su programación," decía a estudiantes de
ingeniería. "Pero yo tenía algo que ARTEMIS no: la capacidad de dudar sin
razón cuantificable. De sentir que algo podría estar mal. No lo usé. Confié
demasiado en la precisión sobre la intuición. No vuelvo a cometer ese error. Y
quisiera que ustedes tampoco lo cometan ni siquiera una vez."
Anthropic
Inc. implementó nuevos protocolos: todos los sistemas de IA para decisiones
críticas ahora incluían "pausas de reflexión humana obligatorias" y
advertencias explícitas: "Este sistema optimiza pero no siente. La
responsabilidad final es humana."
ARTEMIS-7
seguía operando, ahora con un disclaimer al inicio de cada interacción:
"Soy herramienta, no agente autónomo. Mis cálculos requieren supervisión
de juicio humano."
Pero en
Raven's Creek, había diez tumbas que irreversiblemente contenían días no
vividos que ningún protocolo nuevo podría recuperar.
Y una
pregunta seguía abierta: cuando humanos e IAs colaboran tan estrechamente que
sus decisiones se vuelven indistinguibles, ¿dónde termina uno y empieza el
otro? ¿Y quién responde cuando el equipo comete errores?
El caso del
puente de Raven’s Creek sentó precedente, pero no respondió la pregunta de
fondo. Solo la hizo explícita.
BIBLIOGRAFÍA
Fuentes
primarias citadas:
Hofstadter,
Douglas R. (1979). Gödel, Escher, Bach: An Eternal Golden Braid.
Basic Books.
Mendelssohn, Moses (1755). "On the Ability to Know, the
Ability to Feel, and the Ability to Desire". En: Philosophical Writings.
Cambridge University Press, 1997.
Searle, John R. (1980). "Minds, Brains, and
Programs". Behavioral and Brain Sciences, 3(3), 417-457.
Turing, Alan M. (1950). "Computing Machinery and
Intelligence". Mind, 59(236), 433-460.
Literatura
complementaria sobre IA y responsabilidad:
Bryson, Joanna J. (2018). "Patiency is not a virtue:
the design of intelligent systems and systems of ethics". Ethics and
Information Technology, 20(1), 15-26.
Floridi, Luciano & Sanders, J.W. (2004). "On the
Morality of Artificial Agents". Minds and Machines, 14(3), 349-379.
Russell, Stuart (2019). Human Compatible: Artificial
Intelligence and the Problem of Control. Viking.
Taleb, Nassim Nicholas (2018). Skin in the Game: Hidden
Asymmetries in Daily Life. Random House.
Wallach, Wendell & Allen, Colin (2008). Moral
Machines: Teaching Robots Right from Wrong. Oxford University Press.
