IA, agencia y responsabilidad jurídica: la laguna que nadie quiere cerrar

Sobre la agencia de la inteligencia artificial, el peso jurídico de los actos que produce y la parte que nos toca a los humanos en esa ecuación…

Una pregunta jurídica formulada en 1546

En las charlas de sobremesa de Martín Lutero, recogidas por sus discípulos, hay una anotación de 1546. Se cuenta un pleito.

El asno de un molinero se escapa del patio y baja hasta la orilla del río. Para beber, pone la pata sobre una barca de pesca que nadie había amarrado. La corriente arrastra la barca, y con ella al asno.

El molinero ha perdido su asno. El pescador, su barca.

El molinero dice: el pescador descuidó el amarre. El pescador dice: el molinero descuidó al animal.

En mitad del texto aparece una pregunta en latín: Nunc sequitur quid sit juris? ¿Y qué dice entonces el derecho?

¿Se llevó el asno a la barca, o la barca al asno?

La sentencia de Lutero cabe en dos palabras: ambo peccaverunt. Ambos tuvieron culpa.

Ese párrafo se escribió hace quinientos años y sigue instalado en el corazón exacto del problema jurídico más difícil que tenemos hoy. El movimiento que produjo el daño empezó solo, en el punto donde se encontraron dos descuidos. No hay nadie con mala intención. Tampoco hay nadie que haya iniciado la acción en sentido estricto. Hay una cosa sin amarrar y otra cosa que quedó suelta.

Todo el derecho de la inteligencia artificial parece caber en ese cuadro.

Existe un concepto llamado laguna de responsabilidad

En 2004, un pensador llamado Andreas Matthias escribió un artículo que entonces no interesó a casi nadie, y le puso nombre a una idea: la laguna de responsabilidad.

Su argumento es sencillo e incómodo. En los sistemas que aprenden, ni el fabricante ni el usuario pueden prever, en principio, cómo se comportará la máquina mañana. Y no es justo hacer a alguien moralmente responsable de lo que no podía prever. Conclusión: hay un daño, pero no hay nadie a quien se pueda imputar con justicia.

Veinte años después, esa frase dejó de ser un ejercicio académico. Hoy la inteligencia artificial deniega créditos, contrata personal, propone diagnósticos y tratamientos, gira el volante del coche en el que vamos y cierra el contrato de la compra que acabamos de hacer.

Y en cada episodio de daño se repiten las mismas tres frases, siempre en el mismo orden.

El fabricante: nosotros hicimos el modelo, pero ustedes eligieron cómo usarlo. Quien lo usa: nosotros solo confiamos en el sistema. El sistema: el sistema no dice nada, porque el sistema no habla; se habla de él.

Es el momento de hacer la pregunta de fondo. ¿Esa laguna es un vacío metafísico real, o una ambigüedad que resulta muy rentable?

La respuesta de este texto es la segunda. Y la prueba está en la propia historia del derecho.

La solución del derecho romano: actuar sin ser sujeto

El derecho no conoció el problema de los seres que “no son personas pero actúan por su cuenta” con la llegada de la inteligencia artificial. Vivía dentro de ese problema hace dos mil años.

En el derecho romano el esclavo no era una persona. Jurídicamente era una cosa. Se compraba, se vendía, compraba en nombre de su dueño, vendía, cerraba contratos, generaba deudas, gestionaba negocios. Es decir: un ser sin personalidad jurídica realizaba actos con consecuencias jurídicas.

Supongo que antes de empezar a leer este texto tampoco a usted le parecía fácil fundir en el mismo crisol la inteligencia artificial y la esclavitud.

Roma no resolvió esa contradicción con metafísica. La resolvió con un mecanismo.

Lo que llamaban peculium era un patrimonio separado que el esclavo administraba de hecho. Trabajaba dentro de esa bolsa. Cuando surgía un daño, la responsabilidad del dueño quedaba limitada, por regla general, al tamaño de esa bolsa. La responsabilidad no se descargaba entera sobre el amo ni se dejaba flotando en el aire. Se ataba a un fondo.

Esa técnica no se quedó en Roma. Las Siete Partidas recogieron su lógica, y de ahí pasó a los códigos civiles que todavía rigen en España y en buena parte de América Latina. La responsabilidad del empresario por los actos de sus dependientes, la vieja culpa in vigilando, es la misma idea con otro nombre: el daño no se cuelga de la voluntad de quien lo causó, sino del bolsillo de quien lo puso en circulación.

Los juristas están volviendo sobre todo esto. Un trabajo publicado en la revista jurídica de Cambridge propone mirar directamente al derecho romano para la laguna de rendición de cuentas de la inteligencia artificial. La propuesta de “peculio digital” de Ugo Pagallo viene de la misma vena: si lanzas al mercado un sistema autónomo, tienes que señalar también un patrimonio afectado en garantía por él.

La lección que sale de aquí es elegante e incómoda a la vez.

Lo elegante: la agencia no se descubre, se asigna. El derecho romano no preguntó “¿tiene voluntad el esclavo?”, porque no le hacía falta. Lo que el derecho necesitaba no era una voluntad, sino un interlocutor.

Lo incómodo: esa solución se desarrolló dentro de una de las instituciones más repugnantes de la historia humana.

Comparar una herramienta con un esclavo tiene un precio moral; la comparación no eleva a la herramienta, normaliza lo que se hizo con seres humanos. Lo que hay que tomar de ahí no es la institución, sino la técnica: el derecho puede atar el daño causado por un agente sin personalidad sin necesidad de declararlo persona.

Esa misma técnica tiene hoy otros nombres. La personalidad jurídica de las sociedades. La responsabilidad del empresario por el hecho de su empleado. La responsabilidad objetiva en actividades peligrosas. Todas son figuras construidas alrededor del mismo objetivo. Si hay un daño, hay que atarlo a un bolsillo sin detenerse a medir la voluntad de nadie.

Qué hacen los tribunales: tres casos, un mismo patrón

La inteligencia artificial es muy reciente en nuestras vidas. Por eso puede enseñar más dejar la teoría y mirar las decisiones de los últimos dos años. Porque los tribunales hace tiempo que dejaron de hacer la pregunta que los filósofos siguen discutiendo.

En febrero de 2024, en Canadá, un hombre llamado Jake Moffatt quiere comprar un billete en la web de Air Canada porque acaba de morir su abuela. Le pregunta al chatbot del sitio si puede acogerse a la tarifa de duelo. El asistente le responde que ese descuento puede reclamarse también después. Es falso; la política real de la compañía no dice eso.

En el juicio, la empresa presenta una defensa curiosa: el bot es una entidad separada y responde por sus propias declaraciones.

El tribunal rechaza esa defensa. El bot forma parte de la propia web de la compañía; la compañía responde de toda la información que hay en su sitio, venga de una página estática o de una ventana de chat. La indemnización es pequeña y simbólica, unos seiscientos cincuenta dólares canadienses. Pero el principio es grande: de lo que sale por la boca de tu propia estructura respondes tú.

Es, en el fondo, la vieja doctrina de la apariencia jurídica llevada a una ventana de chat: quien crea una apariencia de confianza queda vinculado por ella.

En agosto de 2025, en Florida, un Tesla con el piloto automático activado no se detiene en un cruce; choca contra un vehículo estacionado, muere una persona y otra queda gravemente herida. El conductor admite que en ese instante estaba distraído porque se le había caído el teléfono.

Esta vez el tribunal reparte la culpa: sesenta y siete por ciento para el conductor, treinta y tres para el fabricante. La indemnización total supera los doscientos cuarenta millones de dólares, en su mayor parte daños punitivos. La empresa recurre; el proceso sigue abierto y todavía no ha terminado.

Fíjese bien: el tribunal no preguntó si el piloto automático era un agente. Dividió la culpa en porcentajes. Justo ahí, quinientos años después, el ambo peccaverunt de Lutero volvió a nuestra vida en versión digital.

El tercer ejemplo no es un juicio, sino un contrato. Mercedes anunció que asume la responsabilidad jurídica por los incidentes que ocurran dentro del sobre operativo definido de su sistema Drive Pilot: determinadas autopistas, determinada velocidad, determinadas condiciones meteorológicas.

Lo que pasa ahí es nítido: la responsabilidad no se instaló como un hallazgo, sino como un compromiso. El fabricante asumió la agencia dentro de un sobre delimitado.

Tres episodios, un mismo patrón. El derecho no pregunta si esa cosa —la inteligencia artificial— tiene voluntad. Pregunta otra cosa: ¿quién estaba en posición de impedirlo, y quién salió ganando o perdiendo con ello?

La laguna no se cierra porque no se quiere cerrar

Aquí empieza la parte política del asunto, y el panorama no es bonito.

La Unión Europea tenía desde hacía años una propuesta sobre la mesa: la Directiva de Responsabilidad en materia de Inteligencia Artificial. Traía dos cosas.

La primera, una presunción de causalidad en determinadas condiciones. La persona dañada no tendría que probar qué ocurrió exactamente dentro de la caja; la carga de probar lo contrario podía trasladarse al fabricante.

La segunda, un deber de exhibición de pruebas en los sistemas de alto riesgo. El tribunal podría exigir los registros a la empresa.

Esos dos artículos apuntaban al centro exacto de la laguna de responsabilidad. Porque el nombre real de la laguna es, casi siempre, “imposibilidad de probar”. Quien sufre el daño no tiene el modelo, ni los datos de entrenamiento, ni los registros, ni un perito; y por eso tampoco tiene manera de probar nada.

La Comisión anunció en febrero de 2025 su decisión de retirar la propuesta; la retirada se formalizó a lo largo del año. Como motivos se alegaron la falta de consenso entre las partes interesadas y la demanda de simplificación en el ámbito digital.

Ahora lea estas dos frases seguidas.

Matthias, 2004: en los sistemas que aprenden, atribuir responsabilidad de forma justa es estructuralmente difícil. Bruselas, 2025: las reglas de prueba que aliviarían esa dificultad se retiran por la demanda de simplificación en el ámbito digital.

La primera es una constatación filosófica. La segunda es una decisión política. Y cuando se mezclan, sale algo muy útil: una exención que parece una ley de la naturaleza.

La laguna de responsabilidad no es un descubrimiento. Es una puerta que se ha dejado abierta. Y como toda puerta abierta, alguien puede entrar por ella y sacar provecho.

La parte humana, primer caso: la nueva versión de “cumplía órdenes”

Llego ahora al lado humano de la ecuación, porque el asunto de verdad está ahí.

Volvamos al primer juicio por crímenes de guerra de la historia. Durante la Guerra Civil estadounidense, en un campo abierto en los últimos catorce meses del conflicto, se mantuvo prisioneros a unos 45.000 soldados de la Unión, y cerca de 13.000 murieron por desnutrición, enfermedad y malas condiciones.

En 1865, en el juicio de la prisión de Andersonville, la defensa fue así. Terminada la guerra, el comandante del campo, el capitán confederado de origen suizo Henry Wirz, fue detenido, y su argumento se resumía en tres palabras:

—Cumplía órdenes.

La doctrina que estableció aquel proceso sigue en pie. El ser humano formula un juicio interno sobre la orden que obedece; por tanto, si la orden ofende su humanidad de manera suficientemente profunda, puede desobedecer. Y la frase que se le dirigió al acusado fue esta: el superior militar no es un superior moral.

La versión actual, en clave de inteligencia artificial, habla así: lo recomendó el sistema. La puntuación era baja. El modelo lo marcó.

La solución que se propone frente a eso ya está lista: pongamos a una persona en el bucle. Que la máquina proponga la decisión y que el humano la apruebe.

Suena bien. Mirando los datos suena bastante menos bien.

En el sistema de desempleo de Michigan se comprobó después que la gran mayoría de las solicitudes marcadas por el algoritmo estaban mal señaladas. Pero en ese mismo periodo, la tasa de error de los decisores humanos que hacían idéntico trabajo tampoco era baja. Es decir: la “supervisión humana” no constituye por sí sola una solución de seguridad.

La razón es psicológica y nos resulta familiar. Si un sistema te muestra una puntuación de confianza del ochenta y nueve por ciento, llevarle la contraria no cuesta solo tiempo: cuesta valor. Aprobar sale gratis; objetar sale bastante caro. El funcionario que confirma al sistema asciende; el que lo detiene tiene que dar explicaciones.

La persona que está en el bucle no puede ocupar el lugar de un elemento de seguridad si no tiene autoridad real ni tiempo real. Es solo un amortiguador. Cuando el daño ocurre, la culpa se detiene ahí y no sube más arriba.

Conviene decirlo con todas las letras: para una organización que no quiere asumir responsabilidad, la solución ideal es que la decisión esté en el sistema y la culpa en la persona.

La parte humana, segundo caso: la laguna no está vacía

Cuando se dice laguna de responsabilidad, uno piensa casi en el vacío del espacio. Un lugar donde no hay nadie.

Allí hay personas; lo que pasa es que en ese enorme vacío no se las ve.

Los sistemas supuestamente autónomos se apoyan en una capa global de trabajo que etiqueta datos, modera contenidos y limpia resultados. Son tareas mal pagadas, sin visibilidad y con protección jurídica débil.

El detalle más elocuente lo cuenta un repartidor. El sistema de vigilancia comprueba el cinturón de seguridad, y la cuota penaliza cada parada. Los conductores se abrochan el cinturón por detrás de la espalda. El sistema registra que el cinturón está puesto; la persona conduce sin cinturón.

Esa pequeña escena resume un edificio entero. Arriba hay medición, la medición parece correcta, el registro está limpio. Abajo hay riesgo, y el riesgo no se transfiere a nadie: simplemente cae hacia abajo.

El caso de las ayudas por hijo en los Países Bajos importa precisamente porque es la excepción. Un sistema automático de control acusó injustamente de fraude a miles de familias, y el asunto llegó hasta la dimisión en bloque del gobierno en 2021. Es uno de los raros ejemplos en que un daño algorítmico logró pedir cuentas hasta la cúspide.

Que sea raro es justamente lo que muestra cuál es la regla. Dicho de otro modo: en la laguna de responsabilidad no es cierto que no haya nadie en la boca del cañón. Se acepta como culpable al que menos poder tiene.

La respuesta de Oriente: la acción nunca fue de una sola persona

El derecho occidental está construido sobre la idea de singularizar la responsabilidad. Busca un agente, mide su voluntad, determina su culpa.

La inteligencia artificial fuerza ese mecanismo, porque no hay un único agente.

En el pensamiento chino clásico esto nunca fue un problema, porque allí la acción fue compartida desde el principio.

Piense en montar a caballo. No es la acción del jinete ni la del caballo. El terreno, el adiestramiento, los arreos, el forraje, el clima: todo participa en la acción. En los textos clásicos chinos la acción se describe así: no como una voluntad única que choca contra el mundo, sino como una consistencia en la que se encuentran muchas cosas.

La ética de los roles confuciana continúa desde el mismo punto. La persona se forma en el cruce de las relaciones; y la responsabilidad no se pega a la voluntad individual, sino al rol. La responsabilidad de un médico viene de ser médico, no de su intención en ese momento.

Traducido a hoy, sale esto. En lugar de la pregunta “¿es el modelo un agente?”, la pregunta “¿quién asumió este rol?”. Quién hizo la recomendación, quién la distribuyó, quién la vendió, quién la usó, quién tenía el encargo de supervisar. Si hay rol, hay responsabilidad; y no hace falta medir voluntades.

Esto produce, de manera inesperada, una pregunta práctica para el daño causado por máquinas. Cuando un sistema causa un daño, ¿cuál es el final del proceso? ¿Castigo, reparación, corrección, cierre?

Perdonar a un modelo no existe. Absolver a una empresa sí existe, y la mayoría de las veces se tapa con la frase “hemos actualizado el modelo defectuoso”.

---

La cuestión de la escala: el “crimen fecundo” de Hobbes

Hay que añadir algo más, porque es lo que separa el daño de la inteligencia artificial del daño corriente.

El filósofo Thomas Hobbes, al medir la gravedad de los delitos en su Leviatán, establece una distinción. El acto que solo lesiona el presente y el acto que, por vía de ejemplo, lesiona también el futuro no pesan lo mismo. Al primero lo llama estéril; al segundo, fecundo. El delito fecundo se multiplica y daña a mucha gente.

Hobbes dice además que la posición del autor cambia el peso del acto. El mismo acto cometido por alguien con autoridad pesa más que cometido por cualquiera.

Esos dos criterios pueden aplicarse hoy al derecho de la inteligencia artificial.

El prejuicio de una persona se queda en una habitación. El prejuicio de un modelo se repite en millones de decisiones, y en cada repetición empuja en la misma dirección. El modelo es, por definición, una máquina fecunda de orientación. Tanto para bien como para mal.

El célebre historiador inglés Edward Gibbon, en su juicio sobre Justiniano dentro de su obra maestra Historia de la decadencia y caída del Imperio romano, señala algo así: los romanos fueron oprimidos al mismo tiempo por la multitud de sus leyes y por la voluntad arbitraria de sus señores.

Es decir, la inflación normativa y la arbitrariedad no son antídotos la una de la otra. Conviven sin dificultad. Los documentos de cumplimiento, los principios éticos y los informes de transparencia de hoy son enormes en número de páginas; la posibilidad efectiva que tiene en la mano quien sufre el daño sigue siendo pequeña.

Entonces, qué hacer

La tesis de este texto cabe en una frase: la agencia no es algo que se descubra, sino algo que se asigna. Y cuando no se asigna, cae por su propio peso sobre el eslabón más débil.

Se pueden levantar cuatro soluciones.

1. La pregunta “¿es esta cosa un agente?” lleva dos mil años sin respuesta y tampoco se responderá en la próxima década. La pregunta que sí se puede responder es esta: quién estaba en posición de impedirlo, quién ganó, quién cargó con ello. Todas las soluciones logradas del derecho se construyeron con esa pregunta: desde el peculium del esclavo hasta la responsabilidad del empresario, desde la personalidad jurídica hasta el reparto del sesenta y siete por treinta y tres que decidió el jurado en el caso Tesla.

2. Señala la garantía de aquello que dejas autónomo o suelto, que también puede ser un flujo de trabajo agéntico. La bolsa de Roma puede adoptar hoy otros nombres: seguro obligatorio, fondo separado, garantía con techo definido, o cualquier otro. El principio debe seguir siendo el mismo: si echas al agua una barca sin amarrar, tiene que estar decidido de antemano quién paga cuando se la lleve la corriente. Eso no frena la innovación; pone precio a la incertidumbre. Puede incluso que las aseguradoras y reaseguradoras construyan ahí una economía propia.

3. La persona del bucle no puede ser responsable si no tiene autoridad. Un empleado al que objetar puede costarle el ascenso no puede ser supervisor ni decisor final. La supervisión real exige tres cosas: potestad para anular el sistema, tiempo para hacerlo y protección cuando lo hace. Sin eso, la persona no está en el bucle: está de parachoques.

4. No debemos tratar la laguna como una ley de la naturaleza. Si consentimos que se supriman —a propósito o por descuido— las reglas de prueba, el deber de conservar registros y la exhibición de pruebas, la laguna de responsabilidad se ensancha.

En el pleito del asno y la barca de Martín Lutero las dos partes tenían razón y las dos tenían culpa al mismo tiempo. El fallo dictado hace quinientos años sobre una mesa decía que, en un suceso donde nadie es del todo culpable, nadie es tampoco del todo inocente.

El peligro de hoy es justamente el contrario. Está en que resulta mucho más fácil concluir que nadie tuvo culpa que repartir la culpa.

Si ni el asno ni la barca están amarrados, el río hace su trabajo. Y no deberíamos decir que enfadarse con el río carece de sentido.