Субъектность ИИ, юридическая ответственность и доля человека

О субъектности искусственного интеллекта, о юридической цене его действий и о том, какая доля в этом уравнении принадлежит человеку…

Юридический вопрос, заданный в 1546 году

В застольных беседах Мартина Лютера сохранилась запись 1546 года. В ней пересказано судебное дело.

Осёл мельника убегает со двора и спускается к реке. Чтобы напиться, он ступает в непривязанную рыбацкую лодку. Лодку подхватывает течение и уносит вместе с ослом.

Мельник потерял осла. Рыбак — лодку.

Мельник говорит: рыбак не позаботился привязать лодку. Рыбак говорит: мельник не позаботился удержать осла во дворе.

Посреди текста стоит вопрос на латыни: Nunc sequitur quid sit juris? Что же на это скажет право?

Осёл увёл лодку или лодка увела осла?

Приговор Лютера умещается в два слова: ambo peccaverunt. Виноваты оба.

Этот абзац написан пятьсот лет назад — и по-прежнему стоит в самом сердце труднейшей юридической задачи наших дней. Движение, породившее ущерб, началось само собой, в точке встречи двух небрежностей. Злого умысла нет ни у кого. Того, кто в полном смысле слова начал действие, тоже нет. Есть только непривязанная вещь и другая вещь, оказавшаяся на свободе.

Всё право искусственного интеллекта, похоже, помещается в эту картину.

Существует понятие «пробел ответственности»

В 2004 году мыслитель по имени Андреас Маттиас написал статью, которой тогда мало кто заинтересовался, и дал имя одному явлению: пробел ответственности.

Его аргумент прост и неудобен. В обучающихся системах производитель или пользователь в принципе не способен предсказать будущее поведение машины. А нести моральную ответственность за то, чего ты не мог предвидеть, несправедливо. Значит, ущерб есть, а того, кого можно было бы справедливо призвать к ответу, нет.

Двадцать лет спустя эта фраза перестала быть академическим упражнением. Сегодня искусственный интеллект отказывает в кредите, нанимает на работу, ставит диагноз и предлагает лечение, поворачивает руль машины, в которой мы едем, заключает договор в момент нашей покупки.

И при каждом случае ущерба по очереди звучат одни и те же три фразы.

Производитель: модель сделали мы, но как её применять — выбрали вы. Пользователь: мы просто доверились системе. Система: система не говорит ничего, потому что система не говорит — о ней говорят.

Пора задать главный вопрос. Этот пробел — настоящая метафизическая пустота или очень удобная неопределённость?

Ответ этого текста — второе. И доказательство этого ответа лежит в собственной истории права.

Решение римского права: тот, кто не субъект, но действует

Право столкнулось с существом, «которое не есть лицо, но действует само», вовсе не благодаря искусственному интеллекту. Оно жило внутри этой проблемы две тысячи лет назад.

В римском праве раб не был лицом. Юридически он был вещью. Его покупали и продавали, а он сам покупал и продавал от имени господина, заключал договоры, порождал долги, управлял предприятием. То есть существо без правосубъектности совершало действия с юридическими последствиями.

Свести искусственный интеллект и рабство в одну плавильню поначалу кажется невозможным, и сопротивление этому вполне понятно.

Рим разрешил противоречие не метафизикой. Он разрешил его механизмом.

Peculium — так называлось отдельное имущество, которым раб фактически распоряжался. Раб вёл дела внутри этого кошелька. Когда возникал ущерб, ответственность господина по общему правилу ограничивалась размером кошелька. Ответственность не свалили целиком на господина и не оставили висеть в воздухе. Её привязали к фонду.

Сегодня юристы вернулись к этому разговору. Работа, вышедшая в кембриджском юридическом журнале, предлагает искать решение для пробела подотчётности ИИ прямо в римском праве. Предложение Уго Пагалло о «цифровом peculium» идёт из той же жилы: выпускаешь на рынок автономную систему — покажи и отдельное имущество, обеспечивающее её действия.

Урок отсюда изящный и одновременно неприятный.

Изящное состоит в следующем. Субъектность не открывают, её распределяют. Римское право не спрашивало, есть ли у раба воля, — ему незачем было спрашивать. Праву нужна была не воля, а адресат.

Неприятное состоит в другом: это решение выросло внутри одного из самых омерзительных институтов человеческой истории.

У сравнения инструмента с рабом есть моральная цена; сравнение не возвышает инструмент, оно нормализует сделанное с человеком. Брать отсюда следует не сам институт, а технику: право способно привязать ущерб, причинённый неличностным деятелем, не объявляя этого деятеля лицом.

У той же техники сегодня другие имена. Правосубъектность организации. Ответственность работодателя за действия работника. Безвиновная ответственность при опасной деятельности. Всё это юридические конструкции, устроенные вокруг одной цели. Если ущерб есть, его нужно привязать к чьему-то карману, не заглядывая ни в чью волю.

В континентальной традиции у этой техники есть особенно ясная форма — ответственность владельца источника повышенной опасности. Автомобиль, станок, энергетическая установка причиняют вред без злого умысла и часто без предвидимой ошибки. Право не выясняет, что происходило в голове владельца; оно исходит из того, что выгоду от опасной вещи получает он, и потому счёт выставляется ему. Обучающаяся модель, выпущенная в оборот, укладывается в эту рамку на удивление спокойно — при условии, что кто-то согласится назвать её тем, чем она является.

Что делают суды: три дела, один узор

Искусственный интеллект в нашей жизни очень нов. Поэтому полезно оставить теорию и посмотреть на решения последних двух лет. Суды давно перестали задавать вопрос, который философы всё ещё обсуждают.

Февраль 2024 года, Канада. Человек по имени Джейк Моффатт хочет купить билет на сайте Air Canada — у него умерла бабушка. Он спрашивает у чат-бота на сайте, положена ли ему скидка по случаю утраты. Чат-ассистент Air Canada сообщает, что такую скидку можно запросить и задним числом. Это неправда; реальная политика компании устроена иначе.

В суде компания выстраивает любопытную защиту: бот — отдельная сущность и сам отвечает за свои заявления.

Суд эту защиту отклоняет. Бот — часть собственного сайта компании; компания отвечает за всю информацию на своём сайте, пришла ли она со статичной страницы или из окна чата. Компенсация маленькая и символическая, около шестисот пятидесяти канадских долларов. Но принцип велик: за сказанное устами твоей собственной корпоративной конструкции отвечаешь ты.

Август 2025 года, Флорида. Tesla с включённым автопилотом не останавливается на перекрёстке и врезается в припаркованную машину. Один человек погибает, один получает тяжёлые травмы. Водитель признаёт, что отвлёкся, потому что уронил телефон.

На этот раз суд делит вину: водитель — шестьдесят семь процентов, производитель — тридцать три. Общая сумма компенсации превышает двести сорок миллионов долларов, и большая её часть носит штрафной характер. Компания подала апелляцию; процесс продолжается и пока не завершён.

Стоит заметить: суд не спрашивал, был ли автопилот субъектом. Он разложил вину по процентам. Именно здесь лютеровское ambo peccaverunt вернулось в нашу жизнь спустя пятьсот лет — в цифровом виде.

Третий пример — не суд, а договор. Mercedes заявил, что берёт на себя юридическую ответственность за происшествия внутри описанного рабочего конверта системы Drive Pilot: определённые автомагистрали, определённая скорость, определённые погодные условия.

Здесь всё предельно ясно: ответственность помещена в текст не как открытие, а как обязательство. Производитель принял субъектность внутри очерченного конверта.

Три случая, один узор. Право не спрашивает, есть ли у этой вещи воля. Оно спрашивает другое: кто был в положении, позволявшем предотвратить, и кто выиграл или проиграл от происходящего?

Пробел не закрывается, потому что закрывать его не хотят

Здесь начинается политическая сторона дела, и картина непривлекательна.

У Европейского союза годами лежал проект: Директива об ответственности за искусственный интеллект. Она вводила две вещи.

Первое — презумпция причинной связи при определённых условиях. Пострадавшему не пришлось бы доказывать, что именно происходило внутри коробки; бремя обратного доказывания могло перейти к производителю.

Второе — обязанность раскрытия доказательств для систем высокого риска. Суд мог бы затребовать у компании внутренние записи.

Эти два пункта целились ровно в сердце пробела ответственности. Потому что настоящее имя пробела чаще всего — «невозможность доказать». У пострадавшего нет модели, нет обучающих данных, нет журналов, нет эксперта, — а значит, доказать он и не может.

В феврале 2025 года Комиссия объявила о решении отозвать проект; отзыв был оформлен в течение года. В обоснование указали отсутствие согласия между заинтересованными сторонами и запрос на упрощение регулирования в цифровой сфере.

Две фразы, поставленные рядом.

Маттиас, 2004: в обучающихся системах справедливое вменение ответственности структурно затруднено. Брюссель, 2025: правила доказывания, которые смягчили бы это затруднение, отозваны по причине запроса на упрощение в цифровой сфере.

Первое — философская констатация. Второе — политический выбор. А когда одно смешивают с другим, получается очень полезная вещь: освобождение от ответственности, выглядящее как закон природы.

Пробел ответственности — не открытие. Это оставленная открытой дверь. И, как в любую открытую дверь, кто-то в неё войдёт ради собственной выгоды.

Доля человека, случай первый: новая версия «я выполнял приказ»

Теперь о человеческой стороне уравнения — потому что суть именно там.

Обратимся к первому в истории процессу о военных преступлениях. В лагере, открытом в последние четырнадцать месяцев Гражданской войны в США, содержалось около сорока пяти тысяч пленных солдат Союза; примерно тринадцать тысяч из них погибли от недоедания, болезней и скверных условий.

Сразу после войны комендант лагеря, швейцарец по происхождению, капитан Конфедерации Генри Вирц, был арестован. На процессе 1865 года по делу тюрьмы Андерсонвилль его защита сводилась к одной строке:

— Я выполнял приказ.

Доктрина, установленная тем процессом, жива до сих пор. Человек выносит внутреннее суждение о приказе, которому подчиняется; следовательно, если приказ достаточно глубоко оскорбляет его человечность, он может не подчиниться. Обвиняемому была адресована фраза: старший по званию не есть старший по морали.

Сегодняшняя версия того же говорит иначе: так предложила система. Скоринг был низкий. Модель пометила заявку.

Готово и решение: поставим в контур человека. Пусть машина предлагает, а человек утверждает.

Звучит хорошо. После взгляда на данные звучит уже менее хорошо.

В системе пособий по безработице в Мичигане позже выяснилось, что подавляющее большинство заявок, помеченных алгоритмом, были помечены ошибочно. Но в тот же период доля ошибок у людей, делавших ту же работу, тоже не была низкой. То есть «человеческий контроль» сам по себе не образует средства защиты.

Причина психологическая и знакомая. Если система показывает восемьдесят девять процентов уверенности, возразить ей стоит не только времени, но и смелости. Согласиться бесплатно, возразить довольно дорого. Служащий, подтвердивший систему, идёт на повышение; служащий, остановивший её, пишет объяснительную.

Человек в контуре не занимает позицию средства защиты, если у него нет реальных полномочий и реального времени. Он всего лишь поглотитель. Когда ущерб случается, вина останавливается на нём и выше не поднимается.

Это стоит сказать прямо: для организации, не желающей брать ответственность, идеальная конструкция — та, где решение находится в системе, а вина в человеке.

Доля человека, случай второй: пробел не пуст

Когда говорят «пробел ответственности», воображение рисует космическую пустоту. Место, где никого нет.

Люди там есть. Просто в этой огромной пустоте их, к сожалению, не видно.

Так называемые автономные системы стоят на глобальном слое труда: люди размечают данные, модерируют контент, вычищают выдачу. Эта работа низко оплачивается, не видна и слабо защищена юридически.

Самую выразительную деталь рассказывает водитель службы доставки. Система наблюдения проверяет пристёгнутый ремень, а норма выработки штрафует за остановки. Водители застёгивают ремень за спиной. Система фиксирует, что ремень пристёгнут, человек едет непристёгнутым.

Эта маленькая сцена — краткое изложение целой конструкции. Наверху измерение, измерение выглядит верным, журналы чистые. Внизу риск, и риск никому не передаётся, он просто стекает вниз.

Голландское дело о детских пособиях важно тем, что оно исключение из этой картины. Автоматическая система контроля без всяких оснований обвинила тысячи семей в мошенничестве, и дело дошло до коллективной отставки правительства в 2021 году. Это один из редких случаев, когда за алгоритмический ущерб спросили на самом верху.

Редкость случая показывает, каково правило. В пробеле ответственности у жерла пушки стоит не пустота. Виновным оказывается тот, у кого меньше всего силы.

Ответ Востока: действие никогда и не было делом одного

Западное право построено на том, чтобы свести ответственность к одному. Оно находит субъекта, измеряет его волю, устанавливает его вину.

Искусственный интеллект ломает этот механизм, потому что единственного субъекта здесь нет.

В классической китайской мысли это никогда не было проблемой, потому что там действие с самого начала было совместным.

Представьте верховую езду. Это не действие всадника и не действие лошади. Местность, выучка, сбруя, корм, погода — всё участвует в действии. В классических китайских текстах действие описывается именно так: не удар одной воли о мир, а состояние, в котором сходятся многие вещи.

Конфуцианская этика ролей продолжает с того же места. Человек складывается на пересечении отношений; ответственность прилипает не к индивидуальной воле, а к роли. Ответственность врача происходит из того, что он врач, а не из его намерения в данную минуту.

В переводе на сегодняшний день получается вот что. Вместо вопроса «субъект ли модель» — вопрос «кто взял на себя эту роль». Кто предложил, кто распространил, кто продал, кто применил, кто был обязан проверять. Есть роль — есть ответственность; измерять волю не требуется.

Для машинного ущерба отсюда неожиданно вырастает практический вопрос. Когда система причинила вред, чем заканчивается процесс? Наказанием, возмещением, исправлением, отключением?

Простить модель невозможно. А вот обелить компанию вполне возможно, и чаще всего это делается фразой «мы обновили ошибочную модель».

---

Вопрос масштаба: «плодовитое преступление» Гоббса

Нужно добавить ещё одно, потому что именно это отличает ущерб от искусственного интеллекта от ущерба обыкновенного.

Философ Томас Гоббс в «Левиафане», взвешивая тяжесть преступлений, проводит различие. Деяние, вредящее только сегодняшнему дню, и деяние, которое своим примером вредит и будущему, весят по-разному. Первое он называет бесплодным, второе — плодовитым. Плодовитое преступление размножается и вредит многим.

Гоббс говорит и другое: положение действующего меняет вес деяния. То же самое действие, совершённое облечённым властью, тяжелее действия обычного человека.

Оба критерия применимы сегодня к праву искусственного интеллекта.

Предубеждение одного человека остаётся в одной комнате. Предубеждение модели повторяется в миллионах решений и в каждом повторении толкает в одну и ту же сторону. Модель по определению есть машина плодовитого влияния. И в добре, и во зле.

Английский историк Эдвард Гиббон в «Истории упадка и разрушения Римской империи», вынося суждение о Юстиниане, замечает: римлян одновременно давили и множество их законов, и произвольная воля их властителей.

То есть инфляция правил и произвол не служат друг другу противоядием. Они прекрасно уживаются вместе. Сегодняшние документы о соответствии, этические принципы и отчёты о прозрачности огромны по числу страниц; реальная же возможность в руках пострадавшего по-прежнему мала.

Так что же делать

Тезис этого текста умещается в одну фразу: субъектность — не то, что открывают, а то, что распределяют. А когда её не распределяют, она сама собой падает на самое слабое звено.

Можно выстроить четыре решения.

1. Вопрос «субъект ли эта вещь» остаётся без ответа две тысячи лет и не получит ответа в ближайшее десятилетие. Вопрос, на который ответить можно, звучит так: кто был в положении, позволявшем предотвратить, кто выиграл, кто понёс. Все удачные решения права строились именно на этом вопросе — от peculium раба до ответственности работодателя, от правосубъектности организации до вердикта присяжных по делу Tesla с его шестьюдесятью семью и тридцатью тремя процентами.

2. Покажи обеспечение того, что ты отпускаешь на свободу, — будь то автономная система или агентный рабочий процесс. Римский кошелёк сегодня может носить другие имена: обязательное страхование, обособленный фонд, гарантия с известным потолком или что-то ещё. Принцип остаётся тем же: спускаешь на воду непривязанную лодку — заранее должно быть известно, кто заплатит, когда её унесёт. Это не останавливает новшества; это ставит цену на неопределённость. Не исключено, что страховые и перестраховочные компании построят на этом отдельную экономику.

3. Человек в контуре не может быть ответственным, если он не полномочен. Служащий, которому возражение может стоить повышения, не может быть ни контролёром, ни последней инстанцией решения. Настоящий контроль требует трёх вещей: права отменить решение системы, времени, чтобы это сделать, и защиты после того, как ты это сделал. Без них человек находится не в контуре, а в положении амортизатора.

4. Не следует считать пробел законом природы. Если мы закроем глаза на то, как — намеренно или по неведению — устраняются правила доказывания, обязанность вести журналы и раскрытие доказательств, пробел ответственности станет только шире.

В деле об осле и лодке из застольных бесед Мартина Лютера обе стороны были правы и обе одновременно виноваты. Приговор, вынесенный пятьсот лет назад за столом, говорил: там, где никто не виноват полностью, никто не невиновен полностью.

У русской литературы есть своя формулировка того же узла. У Достоевского в «Братьях Карамазовых» старец Зосима произносит: «всякий из нас пред всеми во всём виноват». Разница между литературой и правом здесь принципиальна. Литература может растворить вину во всех и на этом успокоиться; праву приходится привязать её к кому-то, иначе не будет ни возмещения, ни исправления.

Сегодняшняя опасность прямо противоположна лютеровскому приговору. Она в том, что прийти к выводу «виноватых нет» гораздо легче, чем распределить вину.

Если и осёл не привязан, и лодка не привязана, дело сделает река. И не стоит говорить, будто злиться на реку бессмысленно.