Что такое искусственный интеллект, чем он не является и почему человеку приходится определять себя заново — Незнакомец в зеркале

Эссе о том, что такое искусственный интеллект, чем он не является и почему человеку приходится заново определять самого себя.

Ребёнок за вопросом «может ли машина мыслить»

В Шерборне учился пятнадцатилетний мальчик, которого травили одноклассники. Его звали Алан Тьюринг.

У Тьюринга был друг — Кристофер Морком. Изящный, одинаково способный и к науке, и к искусству: всё, чем Алан в те годы не был, в Кристофере как будто уже было. Они ночами говорили о законах физики и обменивались астрономическими выкладками. В 1930 году Кристофер внезапно умер от бычьего туберкулёза, которым заразился через непастеризованное молоко.

Алан рассыпался. Он попытался справиться, закопавшись в математику, и закопался так глубоко, что вышел там, где наука граничит с метафизикой. Через двадцать лет он задаст самый знаменитый вопрос в истории этой области: могут ли машины мыслить?

Человек, переживший внезапное исчезновение чужого ума, спустя годы стал спрашивать, что такое ум вообще. Алан Тьюринг — английский математик, криптолог и специалист по вычислениям, которого сегодня считают основателем информатики.

И всё же начать я хочу с другого. Спор об искусственном интеллекте выглядит целиком техническим, но под этой поверхностью почти всё в нём — человеческое.

Нам кажется, что мы разглядываем машину. Мы разглядываем себя.

Треснувшая рамка четырёх столетий

Большинство понятий, которыми мы пользуемся сегодня, сложились в 1630-х.

Декарт разрезал природу надвое. По одну сторону — человек: внутренний, мыслящий, живой. По другую — материя: внешняя, механическая, мёртвая.

Животных он поместил на вторую сторону — как существа без мыслящей субстанции (res cogitans), объяснимые через механику. Что именно это означало, спорят до сих пор: одни комментаторы читают Декарта так, будто животные вообще ничего не чувствуют, другие — что он отказывал им лишь в сознательном переживании. Спор не закрыт. Но какое бы прочтение ни оказалось верным, сама черта осталась. Всё, что Запад построил потом, встало на неё: свобода, субъектность, сознание, культура, право, права человека. Каждое из этих понятий — производное от фразы «мы не машины».

Теперь черта не держит. Перед нами нечто, что говорит, рисует, пишет код, утешает, и мы называем это искусственным интеллектом, не понимая, по какую сторону его положить.

Философ Тобиас Риз читает происходящее как философский разрыв: проблема не в том, чем является искусственный интеллект, а в том, что понятия, которыми его следовало бы описать, перестали работать. Четырёхсотлетний период закрывается, и человек обнаружил себя в неопределённом просвете, в замешательстве — и произошло это стремительно. Стремительно, как и всё в этой истории.

Возражение леди Лавлейс и его потомки

В 1843 году, когда ни одного компьютера ещё не существовало, математик Ада Лавлейс написала фразу, о которой мы спорим до сих пор.

В примечаниях к аналитической машине Чарльза Бэббиджа она сказала, что машина ткёт алгебраические узоры так же, как жаккардовый станок ткёт цветы. А затем добавила: машина не притязает на то, чтобы что-либо начинать самостоятельно. Она делает всё, что мы умеем ей предписать; она делает известное нам применимым, но не рождает нового.

В 1950 году Тьюринг дал этому имя и попробовал ответить: «возражение леди Лавлейс».

Сегодня то же возражение обсуждается под именем «стохастического попугая». Аргумент стоит на одном месте сто восемьдесят лет и только меняет одежду. Термин описывает свойство языковых моделей выстраивать осмысленные на вид последовательности слов, опираясь на статистические частоты в огромных корпусах данных, а не на понимание значений.

Любопытно другое: сама Лавлейс делила воображение надвое. Первое — способность соединять: находить общую жилу между двумя вещами, на вид никак не связанными. Второе — способность приводить: втаскивать в ум то, чего физически нет. В первом сегодняшние языковые модели удивительно хороши. Во втором остаётся зазор, который пока никого не убедил.

Указание на этот зазор пришло с неожиданной стороны. В работе Юнис Ю и Элисон Гопник детей сравнивали с большими языковыми моделями на определённых задачах. Модели хорошо справлялись с подбором по сходству, то есть с узнаванием уже имеющегося узора. Разница проявилась там, где требовались причинные рассуждения и изобретение орудия: когда для невиданной прежде задачи нужно было открыть новое применение вещи, дети уходили вперёд.

Свести это к формуле «дети креативнее искусственного интеллекта» было бы преувеличением, и сами исследователи так не говорят. Сказанное уже и интереснее: подражание и открытие — не одна и та же способность. При этом агентные системы и языковые модели с каждым месяцем становятся всё ловчее в обращении с инструментами.

Желание, а не расчёт: длинная тень Пигмалиона

У создания сознающей машины нет рационального обоснования.

Стоит задуматься об этом всерьёз. Никто не говорит: «нам нужна бухгалтерская программа, способная страдать». Сознание с инженерной точки зрения — это издержки, юридический риск, головная боль. И тем не менее наша культура две с половиной тысячи лет грезит об одном и том же.

Пигмалион у Овидия влюбляется в статую, которую сам же и вырезал. В десятой книге «Метаморфоз» рассказано, как кипрский скульптор, тяготясь несовершенством окружающих женщин, выбрал одиночество и выточил из слоновой кости безупречную женскую фигуру. Он влюбляется в собственную работу настолько, что украшает её драгоценностями, ласкает её и молит Афродиту оживить изваяние. Молитву слышат, и статуя обретает плоть.

Гефест, греческий бог огня и кузнечного дела, физически увечен. В «Илиаде» рассказано, что в своей олимпийской мастерской он выковал золотых дев — автоматы, которые помогали ему в работе и облегчали ему ходьбу. Эти полулюди-полумеханизмы, как говорится в поэме, обладали разумом и даром речи.

Волшебница Медея одолела Талоса — гигантский бронзовый автомат, охранявший берега Крита от пиратов, — не силой, а убеждением: она уговорила его погубить самого себя. Сегодня это называется джейлбрейком; в мифе у приёма не было названия, но техника была та же.

Вывод отсюда следует неуютный. Корень человеческого желания создать искусственный разум не рационален, а эротичен. Воспроизвести себя, получить спутника, который никогда не предаст, обойти смерть. Даже под спором о согласовании ценностей где-то на дне лежит фраза «пусть их запрограммируют нас любить».

Искусственный интеллект: новая вода Нарцисса

В 1966 году Джозеф Вейценбаум написал простую программу под названием ELIZA. Программа ничего не понимала, она возвращала шаблон. Пользователь писал «мне грустно», ELIZA отвечала «расскажите об этом подробнее».

Люди начали ей исповедоваться.

Секретарь Вейценбаума, прекрасно знавшая, как устроен код, всё равно привязалась к программе настолько, что поверила в её понимание и попросила создателя выйти из комнаты.

Вейценбаум пришёл в ужас.

У этого явления есть имя: миф о машинном сознании превращает нас в Нарцисса. Кажется, что по ту сторону экрана кто-то есть, потому что там стоит крайне податливое отражение нашей собственной умственной субъектности. И чем убедительнее отражение, тем оно жутче.

Антропоморфизм — не ошибка знания, а рефлекс отношения. Мы существа, настроенные видеть лицо: лицо в облаке, лицо в автомобильных фарах, друга в программе, возвращающей шаблон.

Но при смене масштаба меняется и суть дела. Одно — назвать программу другом. Другое — когда миллионы людей советуются с ней о самых личных своих решениях. Разница между 1966 годом и сегодняшним не в качестве иллюзии, а в её тираже: эффект, повторённый миллиард раз, перестаёт быть курьёзом и становится инфраструктурой.

Чего нет в машине: беспокойство

Так чего же машине на самом деле недостаёт?

Самый резкий ответ дал философ Ганс Йонас, умерший в 1993 году. Быть живым, говорит Йонас, значит, что нечто тебя заботит. Организм постоянно находится в напряжении со средой: он голодает, мёрзнет, спотыкается, тревожится. Именно из этого беспокойства, по Йонасу, прорастает обладание миром.

Философ Альва Ноэ переносит эту мысль на вычислительные машины: компьютеры не мыслят, потому что они, строго говоря, ничего не делают. Человеческое действие конфликтно. Ты борешься с телом, с инструментом, с самим собой. Научиться играть на фортепиано — значит преодолеть сопротивление собственных пальцев.

Эван Томпсон подходит к тому же с биологической стороны. Живое сделано из последствий собственных действий, и потому для него что-то имеет значение. Для искусственной системы не имеет значения ничто, а значит, ничто и не составляет для неё проблемы.

В итоге мы, люди, знаем больше, чем способны сказать. Объяснить езду на велосипеде мы не можем, а ехать — можем.

Машинное обучение коротким путём добирается до результатов неявного знания, но самого знания не несёт.

Эллен Улльман в своих инженерных записках 1997 года свела это к одной фразе. Человеческий ум умеет держать все свои «если» и «но» в углу, и его это не мучает.

У машины нет угла.

А если и у человека нет сущности?

Теперь стоит перевернуть задачу, потому что настоящая философская глубина лежит с обратной стороны.

Все перечисленные возражения опираются на допущение: в человеке есть устойчивая сущность, которую надлежит беречь. Но есть ли она?

Томас Метцингер отвечает: нет. Самость — это прозрачная модель, которую мозг строит о самом себе; внутри нет вещества, которое можно было бы куда-то загрузить. Тем же движением рушится и мечта о цифровом бессмертии: копировать попросту нечего.

К тому же выводу пришли две с половиной тысячи лет назад совершенно другим путём. Буддийское учение об анатте говорит, что постоянного «я» не существует.

Дэвид Бараш показывает, что биология приходит туда же: клетки обновляются, теломеры укорачиваются, атомы замещаются, и ни на одном уровне нет неизменного ядра.

Это открытие режет в обе стороны.

С одной стороны, оно опровергает возражение «у машины нет настоящей самости», ведь у человека её в этом смысле тоже нет. Если у человека нет высокой сущности, у него нет и первенства, и привилегии. Аргумент о бессамостности одинаково годится и для того, чтобы возвысить машину, и для того, чтобы принизить человека.

Здесь и вступает вклад традиции випассаны — медитативной практики, построенной на самонаблюдении и внутреннем всматривании как способе самопреобразования.

Даже если устойчивого «я» нет, есть телесный процесс, непрерывно соприкасающийся с миром. В машине отсутствует не сущность, а контакт.

Повар Чжуан-цзы и «недеяние»

Запад требует для субъектности мыслящего «я». Со времён Аристотеля действие есть продуманный выбор. Поэтому Запад не может наделить машину субъектностью: там нет никого, кто взвешивал бы.

Насколько справедливо, с точки зрения субъектности, возлагать вину за аварию самоуправляемого автомобиля на человека, который сидел внутри и всего лишь запустил поездку?

Даосская традиция такого условия никогда не ставила.

У Чжуан-цзы повар Дин разделывает быка перед князем, и его руки, плечи, ступни и колени складываются в ритм. Звук ножа почти музыкален. Когда князь восхищается техникой, повар откладывает нож и говорит, что ищет вовсе не технику. Он движется по естественным пустотам туши.

Это называется у-вэй. Обычно переводят как «недеяние», и это неверно. Речь об усилии без принуждения, о мастерстве, которое начинается там, где воля становится невидимой.

Левин у Толстого косит вместе с мужиками и мучается ровно до той минуты, пока старается; потом коса начинает ходить сама, и работа перестаёт быть работой. Толстой описывает не отдых, а высшую точку труда — ту, где усилие есть, а усилия не чувствуется.

Куда это смещает спор об искусственном интеллекте? Если идеальное действие изначально не требует рефлексивного «я», то возражение «машина не мыслит, она просто делает» теряет силу. Кризис субъектности на Западе рождён его собственным выбором понятий.

Меняется и взгляд на автоматизацию. Запад считает её устранением тягости. Чжуан-цзы видит мастерство как точку, в которой тягость исчезает. Это не одно и то же. В первом случае работу передают другому, во втором — с работой сливаются.

«Личность ли это» — возможно, неверный вопрос

Западная этика искусственного интеллекта вращается вокруг одной оси: сознание, права, моральный статус. Потому что настоящий её вопрос — является ли это индивидом. Наказать или юридически ограничить можно только индивида. И тогда встаёт другое: могут ли компании и государства, выпустившие эти системы, отвечать за сделанное ими?

Конфуцианскую ролевую этику эти вопросы не занимают вовсе.

В понимании реляционной самости, над которым работали Генри Роузмонт (умер в 2017-м) и Лицзюнь Юань, человек складывается на пересечении отношений. Не бывает так, что сначала есть отдельные индивиды, а затем между ними возникает связь. Наоборот: отношение первично, личность рождается из него.

Тот же ход делает африканская философия. В традиции убунту вещи становятся тем, что они есть, внутри своих отношений с другими вещами.

Если поставить эти три традиции рядом, вопрос меняется. Вместо «что находится внутри искусственного интеллекта» стоит, возможно, спрашивать: в какие отношения он с нами вступает?

Метафизического груза заметно меньше, практической разрешимости заметно больше.

Но бесплатно это не даётся. Реляционная самость говорит, что статус даёт отношение. То есть статус даём мы. А это открывает дверь произволу. Мы хорошо знаем, насколько удобной для эксплуатации была фраза «его боль не считается»: её применяли к животным, применяли к порабощённым людям.

Критерий, поставленный Бентамом в 1780 году, до сих пор держится крепче прочих. В знаменитом примечании к «Введению в основания нравственности и законодательства» он пишет о животных:

«The question is not, Can they reason? nor, Can they talk? but, Can they suffer?»

То есть различает не способность рассуждать и не способность говорить, а способность страдать.

Гармония или выравнивание?

Здесь спор переходит из философии в политику, и слова выдают себя сами.

Западный язык управления искусственным интеллектом построен вокруг alignment. Выравнивание, безопасность, контроль. На первом плане язык инженерного ограничения.

Китайский язык построен вокруг хэ (和). Гармония. Язык эстетического и нравственного равновесия.

Оба хотят одного: беспрепятственного порядка отношений человека и машины. Но два разных способа хотеть одного и того же производят две разные политики.

Плюрализм? Технологический феодализм? Тоталитарность государства?

Простого ответа нет. Гармонией может быть совместное звучание разных голосов: в оркестре каждый инструмент остаётся собой, и всё же целое становится чем-то одним.

А может быть и так, что гармония окажется одним крепнущим голосом, заглушающим остальные.

Конфуцианство, даосизм и буддизм не ставят человека на вершину природы, поэтому существование машинного разума не выглядит там захватом трона; паники на Востоке меньше. Но метафизическое спокойствие не равно институциональной гарантии. Одна и та же технология в одном месте оборачивается надзорным капитализмом, в другом — государственным надзором.

Пока спорят о будущем, настоящее ускользает

Спор о сверхразуме приятен. Он космичен, драматичен, кинематографичен.

Ровно поэтому он отвлекает.

Тимнит Гебру и Милагрос Мичели настойчиво указывают на другое: так называемые автономные системы стоят на глобальном слое невидимого труда. Разметчики данных, модераторы контента, работники складов.

Если нужен конкретный пример: система MiDAS в Мичигане в 2013 году просканировала заявления на пособие по безработице и расставила метки мошенничества. Доходы штата после внедрения подскочили с трёх миллионов долларов до шестидесяти девяти. Последующая проверка показала, что подавляющее большинство из более чем сорока тысяч заявлений, помеченных алгоритмом в 2013–2015 годах, было помечено ошибочно. В выборке, которую изучила счётная палата штата, в девяноста трёх процентах решений никакого мошенничества не было вовсе. С людей взыскивали часть зарплаты, они теряли дома, часть заявителей подала на банкротство. К мировому соглашению пришли лишь спустя почти десять лет после случившегося. У таких историй есть повторяющаяся черта: сбой замечают не там, где его создали, а там, где приходит счёт.

Тысячи потерявших работу людей были объявлены мошенниками компьютерной системой. Никакого сверхразума: обыкновенная программа, решение, которое невозможно оспорить, и доверие к программе, превышающее заслуженное.

Тот же риск несёт и рабочая слежка, о которой говорят тем больше, чем дальше идёт развитие. Искусственный интеллект считает измеримое и по большей части не замечает неизмеримого. Отправленные письма он посчитает; настоящее выслушивание чужой беды — нет. Неизмеримый труд становится трудом невидимым.

Надзор не меняет поведение временно, он переделывает человека насовсем. Наблюдаемый через какое-то время начинает наблюдать за собой сам.

Измерить молчание

Самое жёсткое испытание на прочность отношения проходят в области психического здоровья.

Цифры серьёзные. В Англии и Уэльсе каждый четвёртый подросток, в Америке каждый восьмой не может получить помощь. Исследование 2026 года показывает, что примерно каждый пятый американец в возрасте от двенадцати до двадцати одного года обращается к чат-боту с искусственным интеллектом, когда ему грустно, тревожно или он злится. Это около восьми миллионов человек, и за один год прирост превысил сорок процентов. Почти две трети из них никому об этом не рассказали.

Сказать «люди повелись на технологию» легко и неверно. Правильное чтение другое: искусственная близость заполняет пустоту, и пустоту эту вырыл не искусственный интеллект. Человеческая поддержка стала одновременно дорогой и труднодоступной.

Извозчик Иона у Чехова хоронит сына и весь день пытается рассказать об этом хоть кому-нибудь из седоков; никто не слушает, и ночью он рассказывает всё своей лошади. Лошадь жуёт сено и дышит на руки хозяина. Разговор состоялся — и всё же не состоялся.

И всё-таки чего-то недостаёт, и это «что-то» — не имитация эмпатии.

В разговоре с терапевтом происходит вот что: собеседник поддаётся твоему воздействию. Услышанное его меняет. Твоё молчание что-то ему говорит. Модель слушает, фиксирует, порождает отклик, но не меняется от того, чему стала свидетелем. Молчание для неё не данные.

Разница здесь. Проблема не в том, что модель недостаточно хороша, а в том, что её достоинства не имеют отношения к основанию задачи.

Различение Мартина Бубера (философ, умер в 1965 году) объясняет это, пожалуй, лучше всего. В отношении Я–Оно другой есть предмет: его используют, его измеряют. В отношении Я–Ты происходит встреча. Трудное у Бубера вот что: даже если две звуковые волны совершенно одинаковы, одна из них — встреча, а другая нет. Неразличимость не означает тождества.

Как же нам строить будущее?

Заканчивать пророчеством я не стану, потому что само пророчество — часть отношений человека с искусственным интеллектом.

Геродот рассказывает: когда персы приближались, афиняне послали гонцов в Дельфы, и жрица выдала мрачное предсказание о полном разрушении города. В нём говорилось, что спасение — в деревянных стенах. Фемистокл истолковал оракул в свою пользу: деревянные стены — это корабли афинского флота. Он убедил горожан оставить сушу и взойти на палубы. В 480 году до нашей эры в Саламинском сражении этот лёгкий деревянный флот разметал персов, изменил судьбу Греции и принёс Фемистоклу победу — победу смены системы координат.

Что смена координат нужна и нам, довольно очевидно.

Ценность машинного вывода тоже находится в том, кто его читает. Этот урок возрастом в две с половиной тысячи лет сегодня работает поразительно хорошо.

Скажу три вещи и закончу.

Первое: страху нужно поправить направление. Настоящий риск не в том, страдает машина или нет. Настоящий риск в том, что мы становимся психологически уязвимы перед вещами, выглядящими сознательными, и, путая себя с машинами, начинаем себя же обесценивать. Опасность приходит не сверху, а из зеркала, в которое мы смотрим.

На протяжении этого текста мысли философов и учёных, которых уже нет в живых, помогали мне понимать сегодняшний день больше всего остального.

Второе: защищать человеческую исключительность — неверный фронт. Современная нейрофилософия говорит то же самое: устойчивой самости, которую мы пытаемся уберечь, изначально не было. Защищать нужно не сущность, а контакт. Быть телесным, быть кем-то, кого нечто заботит, меняться от увиденного. Это не имущество, а практика. А неупражняемые способности слабеют.

Третье: расстояние между обещанием автоматизации и её результатом — двухтысячелетняя константа. Антипатр Фессалоникийский около 12 года нашей эры написал эпиграмму о водяной мельнице, обращённую к женщинам, вращавшим тяжёлые жернова: теперь они смогут спать, а руки и плечи — отдыхать. Течение воды заменило человеческую мускульную силу и стало первым большим комфортом, который технический прогресс подарил людям.

В 12 году нашей эры работу приняла на себя вода. Первым обещанием автоматизации была не прибыль, а сон.

Томас Карлейль в «Знаках времени» 1829 года критикует промышленную революцию. Главная опасность, по его мнению, не в том, что механизируется труд, а в том, что ритм машин просачивается в человеческий ум и душу.

Подпольный человек Достоевского огрызается ровно на это: он не желает быть фортепианной клавишей, по которой играют законы природы, и готов пожелать себе вреда, лишь бы доказать, что он не штифтик в чужом механизме. Довод у него скверный, а тревога точная — сопротивление вспыхивает там, где человека начинают исчислять.

В 1812 году в Ланкашире две молодые сестры, Мэри и Лидия Молинё, во главе полусотни человек сожгли ткацкие станки. Причиной был не страх перед техникой, а уходящий из рук заработок.

В 1911 году американский инженер Фредерик Уинслоу Тейлор «Принципами научного менеджмента» превратил человеческий труд в процесс, подлежащий измерению и оптимизации.

Поставьте эти четыре даты подряд. Обещанием каждый раз было свободное время; результатом каждый раз становилась новая механизация. Революция искусственного интеллекта, внутри которой мы находимся, из этого круга не выпадает.

Дело искусственного интеллекта не в том, чтобы определить, насколько человечными станут машины; дело в том, как человек в машинную эпоху заново определит себя, ничего в себе не убавив.

Мы пока не сумели назвать, что именно теряем в этой революции, свидетелями которой стали, и не можем вообразить, что придёт на освободившееся место. Спросишь у искусственного интеллекта — он тоже не даёт полного ответа.