Ansvarsgapet i kunstig intelligens: hvem svarer når maskinen gjør skade

Om kunstig intelligens som handlende, om det rettslige svaret på handlingene som oppstår, og om menneskets andel i regnestykket…

Et rettsspørsmål stilt i 1546

Fra 1546 finnes det en notis i Martin Luthers bordsamtaler. Den forteller om en tvist.

En møllers esel stikker av fra gårdsplassen og går ned til elvebredden. For å drikke setter det foten i en fiskebåt som ikke er fortøyd. Båten tas av strømmen og driver av gårde med eselet om bord.

Mølleren har mistet eselet sitt. Fiskeren har mistet båten sin.

Mølleren sier: fiskeren forsømte å fortøye båten. Fiskeren sier: mølleren forsømte å holde eselet hjemme.

Midt i teksten står et latinsk spørsmål: Nunc sequitur quid sit juris? Hva sier så retten?

Var det eselet som tok båten, eller båten som tok eselet?

Luthers dom er på to ord: ambo peccaverunt. Begge har skyld.

Dette avsnittet ble skrevet for fem hundre år siden, og det står fortsatt midt i det vanskeligste rettsspørsmålet vi har i dag. Bevegelsen som skapte skaden, begynte av seg selv, der to forsømmelser møttes. Ingen handlet i ond tro. Ingen satte egentlig handlingen i gang heller. Det finnes bare noe som ikke var bundet, og noe annet som kom løs.

Hele retten rundt kunstig intelligens ser ut til å få plass i dette bildet.

Det finnes et begrep som heter ansvarsgap

I 2004 skrev en tenker ved navn Andreas Matthias en artikkel som nesten ingen brydde seg om den gangen, og satte navn på et begrep: ansvarsgapet.

Argumentet er enkelt og ubehagelig. I lærende systemer er det prinsipielt umulig for produsenten eller brukeren å forutse maskinens framtidige atferd. Og det er ikke rimelig å holdes moralsk ansvarlig for noe man ikke kunne forutse. Da står vi igjen med en skade, men uten noen som med rimelighet kan holdes ansvarlig.

Tjue år senere er denne setningen ikke lenger en akademisk øvelse. Kunstig intelligens avslår i dag lån, ansetter folk, stiller diagnoser og foreslår behandling, svinger rattet i bilen vi sitter i, og inngår avtaler i kjøpene vi gjør.

Og ved hver eneste skade kommer de samme tre setningene, i samme rekkefølge.

Produsenten: vi laget modellen, men dere valgte hvordan den skulle brukes. Brukeren: vi stolte bare på systemet. Systemet: systemet sier ingenting, for systemet snakker ikke, det blir snakket om.

Nå er tiden inne for det egentlige spørsmålet. Er dette gapet et virkelig metafysisk tomrom, eller er det en svært nyttig uklarhet?

Svaret i denne teksten er det siste. Og beviset ligger i rettens egen historie.

Romerrettens løsning: den som handler uten å være person

Retten møtte ikke problemet med «vesener som ikke er personer, men som likevel handler på egen hånd» for første gang med kunstig intelligens. For to tusen år siden levde den midt oppi det.

I romerretten var slaven ikke en person. Rettslig sett var slaven en gjenstand. Slaven ble kjøpt og solgt, kjøpte og solgte på vegne av herren sin, inngikk avtaler, stiftet gjeld og drev virksomhet. Altså: et vesen uten rettslig personlighet utførte handlinger med rettslige følger.

Før du begynte å lese dette, virket det nok ikke særlig nærliggende for deg heller å smelte sammen kunstig intelligens og slaveri i samme digel.

Roma løste ikke motsetningen med metafysikk. Roma løste den med en mekanisme.

Det de kalte peculium, var en egen formue som slaven faktisk rådde over. Slaven drev sin virksomhet inne i den pungen. Oppsto det en skade, var herrens ansvar som hovedregel begrenset til størrelsen på pungen. Ansvaret ble altså verken veltet helt over på herren eller latt henge i løse luften. Det ble knyttet til et fond.

Dette diskuterer jurister igjen i dag. En studie i et juridisk tidsskrift ved Cambridge foreslår å se direkte til romerretten når det gjelder ansvarsgapet i kunstig intelligens. Ugo Pagallos forslag om et «digitalt peculium» kommer fra samme åre: slipper du et selvstendig system ut på markedet, må du også vise fram en egen formue som er stilt som sikkerhet på systemets vegne.

Lærdommen herfra er elegant og ubehagelig på én gang.

Det elegante er dette: handleevne oppdages ikke, den tildeles. Romerretten spurte ikke om slaven hadde en egen vilje, for den trengte ikke å spørre. Det retten trengte, var ikke en vilje, men en motpart.

Det ubehagelige er dette: løsningen ble utviklet inne i en av de mest motbydelige institusjonene i menneskets historie.

Å sammenligne et redskap med en slave har en moralsk pris. Sammenligningen løfter ikke redskapet, den normaliserer det som ble gjort mot mennesker. Det som skal hentes herfra, er ikke institusjonen, men teknikken: retten kan knytte skaden fra en handlende uten personlighet til noen, uten å erklære den handlende for en person.

Samme teknikk har andre navn i dag. Ansvaret et selskap bærer som juridisk person. Arbeidsgiverens ansvar for det den ansatte gjør. Det objektive ansvaret for farlig virksomhet, som i stor grad er bygget stein for stein av domstolene selv, sak for sak. Alt sammen er rettslige begreper formet rundt det samme formålet. Er det oppstått en skade, må skaden knyttes til en lomme, uten å gå veien om noens vilje.

Hva gjør domstolene: tre saker, ett mønster

Kunstig intelligens er svært nytt i livene våre. Derfor kan det være lærerikt å legge teorien til side og se på avgjørelsene fra de siste to årene. For domstolene har for lengst sluttet å stille spørsmålet filosofene fortsatt krangler om.

I februar 2024 ville en mann ved navn Jake Moffatt i Canada kjøpe billett på nettsidene til Air Canada, fordi bestemoren hans var død. Han spurte chatboten på siden om han kunne få rabatt ved dødsfall i nær familie. Chatassistenten svarte Moffatt at rabatten også kunne kreves i ettertid. Det var feil. Selskapets faktiske regler var ikke slik.

I retten kom selskapet med et interessant forsvar: boten er en egen enhet og svarer selv for det den sier.

Retten forkastet forsvaret. Boten er en del av selskapets egne nettsider, og selskapet svarer for all informasjon på sidene sine, enten den kommer fra en statisk side eller fra et chattevindu. Erstatningen var liten og symbolsk, rundt seks hundre og femti kanadiske dollar. Men prinsippet er stort: du svarer også for det som kommer ut av munnen på din egen organisasjon.

I august 2025 stanset ikke en Tesla med autopiloten på i et kryss i Florida. Den kjørte inn i en parkert bil, ett menneske døde og ett ble hardt skadet. Sjåføren erkjente at han var uoppmerksom i det øyeblikket fordi han mistet telefonen.

Denne gangen delte retten skylden: sjåføren 67 prosent, produsenten 33. Den samlede erstatningen oversteg to hundre og førti millioner dollar, og størstedelen var straffeerstatning. Selskapet har anket. Saken er ikke endelig avgjort.

Legg merke til at retten ikke spurte om autopiloten var en handlende. Den delte skylden i prosenter. Nettopp her kom Luthers ambo peccaverunt tilbake i livene våre fem hundre år etter, i digital form.

Det tredje eksemplet er ingen dom, men en avtale. Mercedes har erklært at selskapet påtar seg det rettslige ansvaret for hendelser som skjer innenfor det klart avgrensede bruksområdet til systemet Drive Pilot: bestemte motorveier, bestemt fart, bestemte værforhold.

Det som skjer her, er tydelig. Ansvaret ble plassert som et løfte, ikke som en oppdagelse. Produsenten påtok seg rollen som handlende innenfor et avgrenset område.

Tre hendelser, ett mønster. Retten spør ikke om denne tingen, altså den kunstige intelligensen, har en vilje. Den spør: hvem var i posisjon til å hindre det, og hvem tjente eller tapte på det?

Gapet lukkes ikke, fordi ingen vil lukke det

Her begynner politikken, og bildet er ikke pent.

EU hadde i årevis et forslag liggende: direktivet om ansvar for kunstig intelligens. Det brakte med seg to ting.

For det første en presumsjon om årsakssammenheng under bestemte vilkår. Den skadelidte skulle altså slippe å bevise nøyaktig hva som foregikk inne i boksen, og byrden med å bevise det motsatte kunne gå over på produsenten.

For det andre en plikt til å legge fram bevis i høyrisikosystemer. Retten kunne kreve loggene utlevert fra selskapet.

Disse to punktene siktet rett mot hjertet av ansvarsgapet. For gapets virkelige navn er som oftest «umulig å bevise». Den skadelidte har ikke modellen, ikke treningsdataene, ikke loggene, ikke eksperten, og kan derfor heller ikke bevise noe.

Kommisjonen kunngjorde i februar 2025 at forslaget ble trukket, og tilbaketrekkingen ble formalisert i løpet av året. Begrunnelsen var manglende enighet mellom partene og et ønske om forenkling på det digitale området.

Les nå disse to setningene etter hverandre.

Matthias 2004: i lærende systemer er det strukturelt vanskelig å plassere ansvaret på en rimelig måte. Brussel 2025: bevisreglene som skulle lette denne vanskeligheten, ble trukket på grunn av et ønske om forenkling på det digitale området.

Den første er en filosofisk konstatering. Den andre er et politisk valg. Og når de to blandes sammen, oppstår noe svært anvendelig: et fritak som ser ut som en naturlov.

Ansvarsgapet er ingen oppdagelse. Det er en dør som er latt stå åpen. Og som med alle åpne dører kan noen gå inn og skaffe seg en fordel.

Menneskets andel, første tilfelle: den nye utgaven av «jeg fulgte ordre»

Nå kommer jeg til den menneskelige siden av regnestykket, for det er der saken egentlig ligger.

La oss gå til historiens første krigsforbrytersak. Under den amerikanske borgerkrigen ble omtrent 45 000 unionssoldater holdt fanget i en leir som var i drift de siste fjorten månedene av krigen, og rundt 13 000 av dem mistet livet av underernæring, sykdom og elendige forhold. Rett etter at krigen var slutt, ble leirens kommandant, den sveitsiskfødte konfødererte kapteinen Henry Wirz, arrestert. I Andersonville-saken i 1865 var forsvaret hans kort sagt dette:

— Jeg fulgte ordre.

Doktrinen rettssaken bygget opp, står fortsatt. Mennesket feller en indre dom over ordren det adlyder, og krenker ordren menneskeligheten dypt nok, kan mennesket derfor nekte å adlyde. Setningen som ble rettet mot den tiltalte, var denne: en militær overordnet er ikke en moralsk overordnet.

Dagens utgave snakker slik: systemet foreslo det. Poengsummen var lav. Modellen flagget saken.

Og løsningen ligger klar: la oss sette et menneske i sløyfen. Maskinen foreslår avgjørelsen, mennesket godkjenner den.

Det høres bra ut. Det høres mindre bra ut når man ser på tallene.

I dagpengesystemet i Michigan viste det seg i ettertid at det store flertallet av sakene algoritmen flagget, var feil. Men i samme periode var heller ikke feilraten lav hos de menneskelige saksbehandlerne som gjorde den samme jobben. «Menneskelig kontroll» er altså ikke i seg selv en sikkerhetsløsning.

Grunnen er psykologisk og velkjent. Viser et system deg at det er åttini prosent sikkert, krever det ikke bare tid å motsi det. Det krever mot. Å godkjenne er gratis, å protestere er dyrt. Saksbehandleren som bekrefter systemet, blir forfremmet. Saksbehandleren som stanser det, må forklare seg.

Mennesket i sløyfen kan ikke stå der som et sikkerhetstiltak uten reell myndighet og reell tid. Da er det bare en støtdemper. Når skaden skjer, stopper skylden der og går ikke lenger opp.

Ibsen skrev denne mekanismen inn i Samfundets støtter lenge før noen hadde en algoritme å skylde på. Konsul Bernick lar et skip han vet ikke er sjødyktig, gå ut, og gjør det samtidig klart at ansvaret ligger hos skipsbyggeren Aune, mannen nederst i kjeden. Skipet seiler, papirene er i orden, og skylden er plassert på forhånd, hos den som hadde minst å si.

Dette må sies rett ut: for en organisasjon som ikke vil bære ansvaret, er den ideelle løsningen at avgjørelsen ligger i systemet og skylden hos mennesket.

Menneskets andel, andre tilfelle: gapet er ikke tomt

Ordet ansvarsgap får en til å tenke på det tomme verdensrommet. Et sted der ingen er.

Der er det mennesker. De er bare ikke synlige i det store tomrommet.

De såkalt selvstendige systemene hviler på et globalt lag av arbeid: folk som merker data, modererer innhold og rydder opp i det systemet produserer. Dette arbeidet er dårlig betalt, usynlig og svakt beskyttet rettslig.

Den mest slående detaljen kommer fra en sjåfør som kjører ut pakker. Overvåkingssystemet kontrollerer at setebeltet er festet, mens kvoten straffer enhver pause. Sjåførene fester beltet bak ryggen. Systemet registrerer at beltet er på, og mennesket kjører uten belte.

Denne lille scenen er hele bygningen i miniatyr. Øverst finnes målingen, målingen ser riktig ut, loggen er ren. Nederst finnes risikoen, og risikoen overføres ikke til noen. Den renner bare nedover.

Barnetrygdsaken i Nederland er viktig nettopp fordi den er unntaket. Et automatisert kontrollsystem anklaget tusenvis av familier for svindel på feil grunnlag, og saken endte med at hele regjeringen gikk av i 2021. Dette er et av de sjeldne tilfellene der en algoritmisk skade ble gjort opp helt på toppen.

At det er sjeldent, viser hva regelen er. Det er altså ikke slik at ingen står i skuddlinjen i ansvarsgapet. Den som får skylden, er den som har minst makt.

Østens svar: handlingen har aldri vært én manns verk

Vestlig rett er bygget på å gjøre ansvaret entydig. Den finner én handlende, måler viljen og fastslår skylden.

Kunstig intelligens setter mekanismen under press, for det finnes ingen enkelt handlende.

I klassisk kinesisk tenkning var dette aldri et problem, for der var handlingen felles fra første stund.

Tenk på det å ri. Dette er verken rytterens handling eller hestens. Terrenget, treningen, seletøyet, fôret, været. Alt sammen deltar i handlingen. I klassiske kinesiske tekster beskrives handling nettopp slik: ikke én vilje som treffer verden, men en tilstand der mange ting møtes.

Konfusiansk rolleetikk fortsetter fra samme sted. Mennesket blir til i skjæringspunktet mellom relasjoner, og ansvaret klistrer seg ikke til den individuelle viljen, men til rollen. En leges ansvar følger av å være lege, ikke av hensikten legen har der og da.

Oversatt til i dag blir det slik. I stedet for spørsmålet «er modellen en handlende» kommer spørsmålet «hvem påtok seg denne rollen». Hvem la fram anbefalingen, hvem distribuerte den, hvem solgte den, hvem brukte den, hvem hadde tilsynet som oppgave. Finnes rollen, finnes ansvaret, og da trenger man ikke måle noen vilje.

Dette gir et uventet praktisk spørsmål når maskiner gjør skade. Når et system har voldt skade, hva er enden på prosessen? Straff, oppreisning, retting eller nedstengning?

Å tilgi en modell finnes ikke. Men å renvaske et selskap finnes, og som oftest legges lokket på med setningen «vi har oppdatert den feilaktige modellen».

---

Spørsmålet om skala: Hobbes’ «fruktbare forbrytelse»

Vi må legge til én ting til, for det er dette som skiller skade fra kunstig intelligens fra vanlig skade.

Filosofen Thomas Hobbes gjorde et skille i Leviathan da han målte tyngden i forbrytelser. En handling som bare skader nåtiden, veier ikke like tungt som en handling som gjennom sitt eksempel også skader framtiden. Den første kaller han ufruktbar, den andre fruktbar. Den fruktbare forbrytelsen formerer seg og skader mange.

Hobbes sier også at posisjonen til den som handler, endrer tyngden i handlingen. Den samme handlingen veier tyngre når den utføres av en person med myndighet enn når den utføres av en hvilken som helst annen.

Disse to målestokkene kan brukes på retten rundt kunstig intelligens i dag.

Et menneskes fordom blir værende i ett rom. En modells fordom gjentas i millioner av avgjørelser, og hver gjentakelse dytter i samme retning. Modellen er per definisjon en fruktbar maskin for å styre folk én vei. Både i det gode og i det onde.

Den berømte engelske historikeren Edward Gibbon sier følgende i dommen over Justinian i hovedverket sitt The History of the Decline and Fall of the Roman Empire: romerne ble på samme tid knust av mengden av lover og av herrenes vilkårlige vilje.

Altså: inflasjon av regler og vilkårlighet er ikke motgift mot hverandre. De to lever fint side om side. Dagens dokumenter om regeletterlevelse, etiske prinsipper og åpenhetsrapporter er enorme i sidetall, mens den faktiske muligheten den skadelidte sitter med, fortsatt er liten.

Så hva bør gjøres

Tesen i denne teksten får plass i én setning: handleevne er ikke noe som skal oppdages, den er noe som skal tildeles. Og når den ikke tildeles, faller den av seg selv på det svakeste leddet.

Fire løsninger kan bygges.

1. Spørsmålet «er denne tingen en handlende» har vært ubesvart i to tusen år, og det blir ikke besvart det neste tiåret heller. Spørsmålet som kan besvares, er dette: hvem var i posisjon til å hindre det, hvem tjente, hvem bar byrden. Alle rettens vellykkede løsninger er bygget på det spørsmålet, fra slavens peculium til arbeidsgiverens ansvar, fra den juridiske personen til fordelingen på 67 og 33 prosent i juryens avgjørelse i Tesla-saken.

2. Vis fram sikkerheten for det du slipper løs eller lar gå av seg selv, og det kan også være en agentisk arbeidsflyt. Romas pung kan ha andre navn i dag: obligatorisk forsikring, et avsatt fond, en garanti med et bestemt tak, eller noe helt annet. Prinsippet må være det samme. Setter du en ubundet båt på vannet, må det være avklart på forhånd hvem som betaler når den driver av gårde. Dette stopper ikke innovasjon, det setter en pris på usikkerheten. Kanskje kan forsikrings- og reassuranseselskaper til og med bygge en egen økonomi på dette.

3. Er mennesket i sløyfen uten myndighet, kan det heller ikke være ansvarlig. En saksbehandler som kan tape forfremmelsen sin på å protestere, kan verken være kontrollør eller den som tar den siste avgjørelsen. Reell kontroll krever tre ting: myndighet til å sette systemet til side, tid til å gjøre det, og vern etterpå. Uten dette er mennesket ikke i sløyfen, bare en støtpute.

4. Vi bør ikke regne gapet som en naturlov. Ser vi gjennom fingrene med at bevisregler, loggplikt og plikten til å legge fram bevis fjernes, enten det skjer med vilje eller i uvitenhet, vil ansvarsgapet vokse.

I Martin Luthers sak om eselet og båten hadde begge parter rett, og begge hadde skyld på samme tid. Dommen som ble avsagt ved et bord for fem hundre år siden, sa at når ingen er helt skyldig, er ingen helt uskyldig heller.

Faren i dag er den stikk motsatte. Den ligger i at det er langt lettere å komme fram til at ingen har skyld, enn å fastslå hvem som har den.

Er verken eselet eller båten bundet, gjør elven jobben. Og vi bør ikke si at det er meningsløst å bli sint på elven.