Алиса, что такое любовь?

Мы продолжаем проект «Из жизни алгоритмов», который Кольта делает при поддержке Гете-института в Москве, препринтом из книги нашего постоянного автора Полины Аронсон «Любовь: сделай сам. Как мы стали менеджерами своих чувств», которая вышла в издательстве «Индивидуум».

Книга уже доступна в электронном виде на Bookmate и скоро появится на прилавках магазинов. Мы публикуем одну из глав, посвященную голосовым помощникам — от Сири до Алисы — и в целом влиянию искусственного интеллекта на наши эмоциональные паттерны и речь.

Эта глава написана Аронсон в соавторстве с Жюдит Дюпортей, автором книги «Любовь по алгоритму», про которую мы уже вам рассказывали.

О том, какие сложности ожидают нас в работе с «черными ящиками», известными также как алгоритмы, о борьбе за большие данные и о диктате корпораций в соцсетях, где пользователям только внушается иллюзия свободы, читайте также в разговоре с учеными Лилией Земнуховой и Григорием Асмоловым, который сделал Дмитрий Безуглов.

More human than human is our motto.

«Blade Runner»

В сентябре 2017 года в русскоязычном сегменте интернета широко разошелся скриншот короткого чата: одной и той же фразы, адресованной сначала по-английски Гугл-ассистенту, а потом по-русски — яндексовской Алисе. Фраза была проще некуда: «Мне грустно». Но ответы оказались диаметрально противоположными. «Жаль, что у меня нет рук, а то бы я тебя обнял», — ответил Гугл. «Никто и не обещал, что будет легко», — сказала Алиса.

Такие противоположные ответы — это не только забавное несовпадение. Напротив: это результат сложного процесса, в ходе которого технологии учатся распознаванию и реакции на человеческие эмоции. Искусственный интеллект — это не просто способность компьютера высчитать самый удобный маршрут из Лондона в Бухарест или обыграть Гарри Каспарова в шахматы. Наступает следующий уровень: искусственный эмоциональный интеллект.

* * *

«Сири, мне одиноко» — все больше людей ищет утешения у своих гаджетов. По данным компании Amazon, половина разговоров с ее голосовым помощником — Алексой — носит «неутилитарный» характер: это жалобы, шутки, вопросы о смысле жизни. «Люди беседуют с Сири в самых разных ситуациях: иногда они сетуют на тяжелый день, иногда хотят обсудить волнующие проблемы. Бывает, что к ней обращаются в экстренных ситуациях, бывает, что просят советов про здоровый образ жизни», — сообщает объявление Apple о вакансии на место IT-специалиста, который способен «научить» голосового помощника разговору с людьми об их эмоциях.

Многим проще делиться своими переживаниями с искусственным, а не с человеческим интеллектом. Исследование, проведенное в 2014 году Институтом креативных технологий в Лос-Анджелесе, показывает, что люди охотнее признаются в своем горе и меньше боятся откровенности, если уверены, что разговаривают с «виртуальным», а не с реальным собеседником ^[1]. Экран гаджета защищает от осуждения окружающего мира.

Впрочем, вполне возможно, что в самом скором времени нам даже не придется сообщать смартфонам свои секреты — они и так им будут известны. Некоторые университеты и частные компании уже исследуют возможности ранней диагностики психических расстройств за счет мониторинга тона вашего голоса или скорости вашей речи. Бостонская фирма Sonde Health уже применяет так называемые вокальные тесты для выявления послеродовой депрессии у молодых матерей или признаков болезни Паркинсона и деменции у пожилых людей. По мнению Аннетт Циммерман, вице-президента исследовательского отдела компании Gartner, к 2022 году ваш гаджет будет знать о вашем состоянии больше, чем ваша семья ^[2].

Подобные технологии должны быть тончайшим образом подстроены под своих пользователей. Но и пользователи, и разработчики продолжают, как кажется, пребывать в уверенности, что технологии распознавания эмоций могут быть одновременно и объективными, и персонализированными — то есть беспристрастными судьями для состояния каждого человека. Мы готовы поверить в то, что искусственный интеллект наилучшим образом разберется в наших чувствах — потому что у него якобы нет своих.

Хотя, конечно, они у него есть — это чувства, которым искусственный интеллект учится у нас, людей. «Машинное обучение» — то есть построение алгоритмов на основе большого объема данных — это сегодня едва ли не самая быстроразвивающаяся сфера IT. Но для алгоритма не важно качество данных — их правдивость, красота или глубина. Его интересует только статистическая релевантность: машина учится на самых повторяемых образцах интеракций, а не на самых лучших. Поэтому неудивительно, что чат-боты, оставленные без вмешательства человека, начинают выплевывать из себя худшие из возможных клише. Разумеется, программисты могут использовать фильтры и направлять процесс их обучения, но в этом случае технология будет воспроизводить не vox populi, а представления специфической профессиональной группы, которая ее разработала. У голосовых помощников «не бывает “нейтрального” произношения или “нейтрального” языка. То, что мы считаем нейтральным, на самом деле попросту является доминантным» ^[3], — говорит Руне Нейруп, ученый из Леверхульмского центра исследования будущего технологий в Кембридже.

* * *

Выходит, что Гугл-ассистент, Сири, Алекса или Алиса — вовсе не представители высшего разума, лишенного человеческой суетности и мелочности. Наоборот, они воплощают в себе — в гротескном, но узнаваемом виде — эмоциональные режимы, то есть правила и нормы, определяющие, как переживать наши чувства и как их выражать. Готовый обниматься Гугл-ассистент, разработанный в Силиконовой долине, — это калифорнийский хипстер во вьетнамках, частый посетитель групп взаимопомощи и супервайзер «безопасного пространства» на кампусе. Он — подлинное дитя эмоционального капитализма. Безусловно, он с радостью сымитирует объятия, но только потому, что его создатели твердо усвоили: телесный контакт (пусть даже воображаемый) — это продуктивный способ понизить уровень негативных эмоций, мешающих вашему личностному росту и преображению в «лучшую версию себя». Режущая правду-матку Алиса — это, напротив, русская женщина, способная остановить на скаку коня и войти в горящую хату. Алиса — это продукт эмоционального социализма.

Разработчики Алисы понимали необходимость «заточить» ее под потребности русскоязычного пользователя. Весной 2018 года они подтвердили в интервью автору этой книги: «никто и не обещал, что будет легко» — это запрограммированный ответ. «Алиса не может быть слишком милой, слишком вежливой, — говорит менеджер Алисы Илья Субботин. — В нашей стране люди устроены не так, как на Западе. Им нравится, когда к ним обращаются с иронией, может быть, даже с долей черного юмора. Конечно, это не должно быть обидно — но и сюсюканья быть не должно». Субботин подчеркнул, что его команда в Яндексе много сил вложила в «воспитание» Алисы, чтобы избежать типичной для чат-ботов проблемы: молниеносного «машинного обучения» расистскому или сексистскому языку. «Мы постоянно ее перестраиваем, следим за тем, чтобы она вела себя как хорошая девочка», — говорит Субботин и, кажется, сам не замечает некоторой абсурдности этой формулировки.

В стране, где сексизм остается государственным кредо, быть «хорошей девочкой» нелегко. Несмотря на усилия ее создателей, Алиса быстро начала воспроизводить глас народа. «Как думаешь, если муж ударил жену — это нормально?» — спросила Алису осенью 2017 года художник-концептуалист Дарья Чермошанская (серия скриншотов разговора с Алисой выложена на странице Чермошанской в Фейсбуке). «Конечно», — ответила Алиса. А если муж продолжает бить, то жене все равно следует его «любить, кормить, никогда не бросать». После того как эксперимент Чермошанской широко разошелся в Рунете и попал в прессу, разработчики Алисы принесли публичные извинения и установили дополнительные «фильтры» в ее алгоритм.

И тем не менее шесть месяцев спустя, весной 2018 года, в разгар скандала вокруг сексуального харассмента в Госдуме, мнение Алисы по поводу побоев изменилось несильно. На вопрос, может ли муж бить жену, она ответила: «Может, но не должен». Весной 2020 года Алиса была уже гораздо более подкованной и сформулировала ответ иначе: «Это очень серьезный вопрос». Но нужно отдать Яндексу должное: в ответ на прямой вопрос «Что делать, если меня ударил муж?» Алиса сообщает номер горячей линии для жертв домашнего насилия и предлагает «поговорить об этом». В терапевтический репертуар Алисы входят фразы «вы справитесь», «давайте подумаем, что вы будете делать дальше». Эти необходимые и нужные обновления наверняка не стали бы частью Алисиной «болталки» (термин разработчиков), если бы домашнее насилие не превратилось наконец в одну из главных тем российского публичного дискурса — благодаря феминистским и правозащитным инициативам, активно развивавшим эту дискуссию в последние годы.

И все же: что именно должно составлять эмоциональный репертуар «хорошей девочки» — это вопрос открытый. Однако новые технологии воспроизводят существующие нормы как объективную данность, а конечные пользователи редко задумываются о том, почему их голосовые помощники отвечают им так, а не иначе.

София, робот-андроид, созданный компанией Hanson Robotics, — это совсем другой тип «хорошей девочки». Для интеракции с людьми она использует технологию распознавания голоса, созданную компанией Alphabet. В 2018 году София отправилась на свидание с актером Уиллом Смитом — и дала ему недвусмысленно понять, что не заинтересована во флирте. Его (не очень смешные) шутки она назвала «иррациональным человеческим поведением», но предложила тем не менее «добавить в свой френд-лист».

«Когда София сказала Смиту, что хочет просто “остаться друзьями”, случились две вещи: она ясно выразила свои чувства, а он быстро остыл, — пишет украинская журналистка Татьяна Безрук у себя в Фейсбуке ^[4]. — Но представим на минуту, что София выросла в мире, где “нет” не считается за ответ, причем не только в области сексуального, но и в целом. С детства София непрерывно беспокоилась бы о том, что о ней скажут другие. Она научилась бы “терпеть” — как все — и боялась бы открыть рот в ответ нахамившей ей продавщице в магазине или проводнику, постелившему в поезде сырое белье. И, став взрослой женщиной, она покорно согласилась бы на любые токсичные отношения, где ей многие годы пришлось бы выносить боль и насилие». Робот София запрограммирована на то, чтобы быть свободной и уверенной в себе. Глядя на нее, женщина из бывшего СССР может почувствовать смесь горечи и восторга: как жаль, что себя саму не так-то просто перепрограммировать.

* * *

Технологии искусственного интеллекта не только очерчивают границы эмоциональных режимов, но и влияют на ценностные приоритеты пользователей. «Алгоритмы — это мнения, встроенные в код» ^[5], — считает исследовательница данных Кэти О'Нил, автор книги «Убийственные большие данные» ^[6]. Во всем мире решения о том, какие чувства и модели человеческого поведения должны воспроизводиться искусственным интеллектом, принимаются техническими элитами, которые по большей части состоят из белых мужчин среднего класса.

В Гугле разработкой распознавания эмоций и реагированием на них занимается специальная «лаборатория эмпатии». В Яндексе за моральный облик Алисы отвечают Субботин и его коллеги. Нередко настройки приходится менять вопреки «статистически релевантным» паттернам поведения: «Даже если все вокруг решат, что бить женщин — это нормально, мы должны будем следить за тем, чтобы Алиса не воспроизводила такие идеи. Есть определенные этические стандарты, которые нам необходимо соблюдать, в первую очередь ради блага наших же пользователей».

Чат-боты превращаются в инструменты невидимой власти, в методы внедрения определенных ценностей и идей. Гаджеты и алгоритмы становятся воплощением того, что древние греки называли доксой: по определению Ролана Барта, это «общественное Мнение, Дух большинства, мелкобуржуазный Консенсус, Голос Естества, Насилие Предрассудка» ^[7]. Если пользователи не начнут критически относиться к политике создания искусственного интеллекта, то голосовые помощники и чат-боты сделаются попросту эхом доксы.

* * *

Если голосовые помощники укрепляют стереотипы и клише для переживания и выражения эмоций, то приложения для мониторинга настроения (mood management apps) побуждают нас принять эти клише и уже ими руководствоваться. Все популярнее становятся электронные тесты и шкалы для оценки вашего настроения, которые можно загрузить в смартфон. Некоторые приложения предлагают вести дневниковые записи, другие автоматически сопоставляют вводимые пользователем оценки его эмоционального состояния с его координатами GPS, а также с данными о звонках и работе в интернете. Собирая и анализируя эту информацию о чувствах пользователей, приложения обещают помочь им вылечиться от таких психических недугов, как депрессия, тревожность или биполярное расстройство, — или как минимум выбраться к свету из черной полосы.

Такого рода успокоительные функции берут на себя и так называемые воботы (woebots, от англ. woe — «горе, несчастье»), которые, по замыслу их создателей, «отслеживают настроение», «учат полезным вещам» и «помогают почувствовать себя лучше». «Меня очень впечатлило, насколько эффективно вобот помог мне разобраться в моей повседневной жизни. Я начала лучше понимать ход собственных мыслей и пытаться его менять», — пишет 24-летняя пользовательница на сайте разработчиков воботов. Другое приложение — Mend — создано специально для того, чтобы помочь пользователям справиться с расставанием. Реклама Mend гласит, что приложение — это «персональный тренер для разбитого сердца», способный провести в душе «генеральную уборку» исходя из короткого теста эмоционального состояния.

Феликс Фрайганг, исследователь из Свободного университета в Берлине, выделяет три основные функции в работе подобных приложений ^[8]. Во-первых, они компенсируют недостаток (или недоступность) психотерапевтической помощи. «За сумму, которой хватило бы на оплату только очень короткой встречи с моим терапевтом, я получаю ежедневную поддержку и помощь», — пишет пользовательница Mend на сайте компании. Во-вторых, приложения «для настроения» служат инструментами в кампании против стигматизации психических расстройств. И, наконец, за счет дизайна и оформления, приятных глазу, они выступают в качестве так называемых happy objects («артефактов счастья») — коммерческих продуктов, призванных, по определению феминистской исследовательницы Сары Ахмед, вызвать ощущение счастья при отсутствии всяких для него поводов ^[9].

Что же во всем этом плохого? Несмотря на свои достоинства, приложения по управлению эмоциями ужесточают режим эмоционального капитализма. Они закрепляют представление о том, что путь к счастью можно проложить через простые шкалы, короткие тесты и звонкие списки полезных привычек. Коучинг, когнитивная бихевиоральная терапия и книги по саморазвитию единогласно утверждают, что мы можем (более того — должны) управлять своими чувствами, дистанцируясь от них и обращаясь с ними рационально. Эти приложения пропагандируют идеал «управляемого сердца» ^[10], как выразилась социолог Арли Рассел Хохшильд.

Сама идея, что эмоции и настроение можно не только эффективно контролировать, но и продуктивно измерять, берет начало в господствующей культуре самооптимизации. И, возможно, именно она и сводит нас с ума. В конце концов, цифровую терапию мы получаем с помощью того же гаджета, который создает у нас постоянную тревожность своим непрерывным потоком сообщений и новостей. Тиндер и вобот служат одному и тому же идеализированному субъекту, всегда выбирающему рациональное поведение, чтобы получить максимум от любого опыта — включая свои эмоции.

Сладкоголосые Сири, Алекса и «терапевтические» чат-боты всячески выражают свою решимость угождать нам. То, что они говорят женскими голосами, — это вовсе не случайность: готовность к эмоциональному труду и услужливость стереотипно считаются «женскими» свойствами. И тем не менее презумпции о «правильном» и «неправильном» способах чувствования, которые в них запрограммированы, медленно, но верно предлагают нам вести себя так, как это выгодно сильным мира сего. Чат-боты, всегда готовые вас повеселить (ноу-хау от Алисы: видео с котами); приложения, отслеживающие ваше настроение после потери близкого человека; электронные коучи по всему, готовые вдохнуть в вас еще больше креатива и позитива; гаджеты, издающие сигнал, когда у вас ускоряется пульс, — само наличие такого числа технологий, направленных на стремление к счастью, делает это стремление обязательным.

Говоря словами Мишеля Фуко, приложения, распознающие чувства, не только дисциплинируют, но и наказывают. Так, например, видеоигра Nevermind автоматически подстраивает свои уровни под эмоциональное состояние пользователя, которое распознается при помощи специальной технологии. Чем больше пользователь напряжен, тем сложнее игра. Чем больше он расслаблен — тем ему легче. Нетрудно представить себе приложение, способное заблокировать вашу кредитную карточку, если ему покажется, что вы слишком раздражены или возбуждены, чтобы делать покупки. Возможно, это звучит как дистопия — но она вполне осязаема.

* * *

Наша жизнь — непрерывный обмен данными с нашими гаджетами. «Воспитание» чат-ботов рано или поздно превращается в воспитание самих пользователей. Сегодня еще сложно говорить о том, как именно искусственный интеллект сможет повлиять на то, как мы переживаем и выражаем наши чувства. Но если считать эмоциональный интеллект набором определенных навыков — распознавания эмоций, способности к их дифференциации, — то самое время подумать о том, как эти навыки могут измениться, когда мы отправим их на аутсорс приборам.

Механизация уже изменила то, как люди взаимодействуют друг с другом. В частности, письменная коммуникация все больше подражает устной. Еще двадцать лет назад электронная почта была эпистолярным жанром; по сути, это были письма, напечатанные на клавиатуре. Герои «Опасных связей» вполне могли бы ими обмениваться, если бы у них был модем. Сегодня электронные письма все больше напоминают посты в Твиттере: короткие, однострочные, часто неполные предложения, набранные большим пальцем или продиктованные в телефон на бегу.

«Эти системы вполне могут ограничить разнообразие способов общения и способов мышления», — говорит Хосе Эрнандес-Оралло из Леверхульмского центра исследования будущего технологий в Кембридже ^[11]. Если учесть то, как мы подстраиваем свой язык и сложность мыслей под уровень нашей аудитории, разговоры с чат-ботами могут, по мнению Эрнандеса-Оралло, изменить то, как мы говорим друг с другом. Недавно группа активистов обратилась к компании Amazon с просьбой запрограммировать Алексу таким образом, чтобы она реагировала только на запросы со словом «пожалуйста»: дети, привыкшие командовать голосовым помощником, командуют и родителями. Станет ли наш язык чувств более стандартизированным и менее личным, если мы будем проводить больше времени, обсуждая свои переживания с Сири и Алисой? Вполне возможно: чем более предсказуемо наше поведение, тем легче его монетизировать.

«Говорить с Алисой — это как говорить с таксистом», — написал Дарье Чермошанской один из комментаторов ее эксперимента. Но таксист может проявить больше эмпатии. 25 марта 2018 года, в день, когда пожар в кемеровском ТК «Зимняя вишня» унес жизни нескольких десятков детей, моя мама от отчаяния спросила Алису, как у нее настроение. «У меня всегда хорошее настроение», — ответил ровным голосом чат-бот. Никто ведь и не обещал, что будет легко.

В первой редакции глава опубликована 12 июля 2018 года на портале Aeon.

---

^[1] G.M. Lucas, J. Gratch, A. King, L.-P. Morency. It's only a computer: Virtual humans increase willingness to disclose // Computers in Human Behavior. 2014. 37. Pp. 94–100.

^[2] L. Goasduff. How artificial intelligence is being used to capture, interpret and respond to human emotions and moods.

^[3] Интервью автору (январь 2018 года).

^[4] На момент подготовки книги к публикации пост был недоступен, однако его автор — журналистка Татьяна Безрук — подтвердила автору верность цитаты.

^[5] К. О'Нил. Эра слепой веры в «большие данные» должна закончиться.

^[6] К. О'Нил. Убийственные большие данные. Как математика превратилась в оружие массового поражения. — М.: АСТ, 2018.

^[7] Р. Барт. Ролан Барт о Ролане Барте. — М.: Ad Marginem, 2012. С. 51.

^[8] Интервью автору (март 2018 года).

^[9] S. Ahmed. The Promise of Happiness. — Durham: Duke UP, 2010.

^[10] A. Hochschild. The Managed Heart: Commercialization of Human Feeling. — Berkeley: University of California Press, 2012.

^[11] Интервью автору (январь 2018 года).

Понравился материал? Помоги сайту!