«Как устроен этот черный ящик? Мы можем только догадываться»

Григорий Асмолов, преподаватель факультета цифровой гуманитаристики Королевского колледжа Лондона, и Лилия Земнухова, научный сотрудник Центра STS Европейского университета в Санкт-Петербурге, автор канала @WrongTech, — социальные исследователи, которых интересуют проблемы дискоммуникации и взаимодействия человека с техникой. Григорий исследует поляризацию в социальных сетях, Лилия — инженеров, обучающих системы ИИ. И Асмолов, и Земнухова изучают при этом и искажения, и освободительный потенциал технологий и медиа. Для рубрики Кольты «Из жизни алгоритмов», которая делается при поддержке Гете-института в Москве, с Григорием и Лилией поговорил Дмитрий Безуглов.

О том, как в алгоритмы зашиваются невидимые для нас и даже для их создателей стереотипы (на примере общения с голосовыми «помощницами»), читайте также в тексте Полины Аронсон «Алиса, что такое любовь?»

— Наш разговор вообще предлагаю посвятить возможностям контроля за алгоритмами и тому, как алгоритмы и системы, маркируемые как ИИ, вовлечены в манипулирование политической повесткой, связаны с распространением дезинформации, которая может привести, а может и не приводить к поляризации интересов различных групп. Насколько я понимаю, Григорий, вас больше интересует не дезинформация как таковая, а поляризация, происходящая внутри условно дружественных групп.

Григорий Асмолов: Мы с коллегами, действительно, пытаемся понять дезинформацию не как способ сформировать недостоверную картину мира, а как попытку вызвать к жизни социальные явления, в которых заинтересованы те или иные политические силы. Дезинформация, манипулирующая картиной мира, рассматривается нами как инструмент, как технология власти, которая способна создавать социальные эффекты.

— А можно спросить про эти отложенные последствия? В чем они выражаются, как маркируются?

Асмолов: Дезинформация влияет на структуру социальной коммуникации. Мы много говорим о том, как технологии позволяют мобилизовать людей. Появилось понятие «коннективные действия», которое показывает, что теперь не организации, а цифровые технологии и медиа становятся главными агентами мобилизации. И в противовес этой динамике появляется другая, связанная с разобщением, разъединением, распадом, которая по-английски называется disconnectivity. Соответственно, у дисконнективных действий тоже есть своя логика и свой спектр социально-политических функций.

И мы видим, что государственные институты, которые желают снизить политические риски, связанные с коннективными действиями, стремятся разрушить горизонтальные связи, разобщить мобилизующихся. Например, мы видим тенденцию к распаду социальных сетей, к волнам удалений из друзей, которые вызваны публикациями и перепостами в кризисных ситуациях, — так пользователи начинают реагировать на появление и распространение дезинформации. Новая тема, введенная в информационное поле, может разъединить людей, принадлежащих к единой социальной группе или связанных по политическому признаку. В нескольких исследованиях я анализирую роль дезинформации, которая направлена на то, чтобы нейтрализовать потенциальные риски, связанные с мобилизацией.

С одной стороны, здесь нет ничего нового. Лозунг «разделяй и властвуй» стар как мир. Новизна связана с тем, что мы видим, как традиционные институты адаптируются к информационной реальности, создавая различные форматы сетевого и цифрового авторитаризма. Кризисы, связанные с ростом политических рисков, способствуют, с одной стороны, развитию новых технологий горизонтальной мобилизации, а с другой — развитию вертикального контроля, в том числе социального разобщения.

— Лилия, насколько я понимаю, твои исследования меньше обращены к разъединению горизонтальных связей и ты больше внимания уделяешь поломкам взаимодействия, обусловленного техникой, но не связанного напрямую с политическим в широком смысле?

Лилия Земнухова: Да, я стараюсь обходить политический аспект, потому что разработчики в наших интервью эксплицитно пытаются его нивелировать. Например, спрашиваешь инженера, знает ли он, какие политические последствия может вызвать использование его алгоритма, и получаешь ответ: «Нет-нет, никакой политики. Я ничего не хочу решать, я просто создаю технологии». Нежелание говорить о политическом, отказ от размышлений о том, что технологии могут иметь политический оттенок, указывают на то, что разработчики пытаются снять с себя ответственность за их внедрение. Словно бы их пользователи пребывают в вакууме. Интересующий меня конфликт кроется в том, как различаются смыслы, которые вкладывают в технологии разработчики и пользователи.

Например, когда мы говорим об ИИ: обучение системы проходит на конкретных базах данных — система может учиться распознавать лица, но будет делать это с разной степенью успешности для разных категорий населения. И появляется вопрос к разработчикам: видят ли они паттерны, на которых обучаются системы? Ведь эти паттерны в ответе за когнитивные ошибки, т.н. байасы (bias). И часто ошибки не просто порождают дезинформацию: они воспроизводят сложившиеся, устоявшиеся стереотипы, существующие на дотехнологическом уровне и попросту закрепляющиеся в технологиях. И разработчики пытаются от этого откреститься, стремятся показать, что к этому они не имеют отношения.

В этом контексте и находится интересный для меня политический вопрос, который связан с регулированием. Это вопрос подотчетности платформ, социальной и корпоративной ответственности, а именно — правил, которые и пользователи, и разработчики, и государства готовы признать как приемлемые. Пока эта сфера в зыбком состоянии, и жесткой регуляции нет. Правовые системы предлагают разные варианты регулирования, но в действительности каждый новый кейс, каждый новый алгоритм, каждая новая база данных требуют дополнительных вмешательств и пересмотров — и этот процесс, мне кажется, всегда будет событийным.

— Верно ли я понимаю, что эту проблему можно сравнить с политикой артефактов, о которой писал Лэнгдон Виннер? Типа «ой, мы построили объект, и он исключает определенную группу пользователей»?

Земнухова: И да, и нет. Ты обращаешься к классическому случаю с мостом, выстроенным архитекторами под руководством Роберта Мозеса. Для тех, кто не знает: когда архитекторы задумывали высоту моста, они рассчитали ее так, чтобы под мостом не мог проехать автобус, на котором обычно передвигаются представители расовых меньшинств и малоимущих слоев населения. И это было осознанным решением.

Мы же говорим об алгоритмах, которые часто воспроизводят bias. Встраивание стереотипов не намеренное, но оно все равно закрепит и будет воспроизводить возможные смещения, знают об этом разработчики или нет. С цифровыми артефактами не так все просто, как с физическими. Проблему моста можно предотвратить, если на каком-то из этапов обратить на нее внимание; в случае с алгоритмами это не так очевидно — они работают как черные ящики. Часто сами разработчики не хотят понять, где именно произошла ошибка воспроизведения. Например, то, что нормально для правоприменителя, будет дискриминацией для уязвимых групп населения. Где проходит эта граница? Как раз проблема в том, что часто невозможно понять, как и где она проходит.

— Полагаю, что попытки Фейсбука обеспечить модерацию новостей и пресечь распространение фейков в равной степени могут быть интересны и тебе, и Григорию. Возможно, вы оба обращались к этому кейсу; если да, интересно узнать, в какой оптике вы его разбирали.

Асмолов: Смотрите: мне кажется, что здесь важен вопрос алгоритмов, который вы поднимаете в контексте Фейсбука. В принципе, обсуждать его стоит в контексте не только дезинформации, но и того, как строится картина мира у пользователя социальных сетей. Кажется, лет семь-восемь назад датчанка Тайна Бухер (Taina Bucher) предложила понятие алгоритмической власти (algorithmic power): оно указывает на значительное влияние, оказываемое алгоритмами на нашу картину мира.

Исследователи коммуникаций уже много десятилетий рассматривают, как формируется наша новостная повестка, как на картину мира влияют многие акторы — недавно в их круг вошли алгоритмы. Они стали одним из наиболее важных механизмов, воздействующих на то, что мы видим в нашей ленте. Если учесть, что потребление новостей переключилось с медийных платформ на соцсети, наша новостная лента формируется все больше тем самым черным ящиком, устройство которого непрозрачно и для исследователей. Мы можем попытаться посмотреть, что в этом ящике находится, но инструментов у нас никогда не будет достаточно. Мы можем только догадываться.

Например, мы знаем, что количество лайков и степень активности вокруг определенного сегмента информации влияют на повышение его видимости. Или, когда Фейсбук заявляет об улучшении алгоритмов, которое позволяет сократить видимый объем дезинформации, это говорит об адаптации алгоритмов на базе машинного обучения: именно она так или иначе определяет структуру классификации того, что считается дезинформацией. Но степень подконтрольности этого обучения человеку неясна.

Поэтому здесь, с одной стороны, возникает новое информационное пространство для политических манипуляций, а с другой — мы все меньше понимаем, как формируется наша информационная картина мира. В какой-то степени изучать алгоритмы труднее, чем исследовать живых людей.

Земнухова: Я добавила бы здесь, что, с одной стороны, существуют прецеденты, когда разработчики рассказывают о своих алгоритмах, о том, как формируется лента и т.д. С другой стороны, в Фейсбуке работают одни алгоритмы, а в TikTok — другие, и они подчинены разным механикам. При этом пользователи имеют слабое представление о том, как эти сервисы работают, и они практически не могут влиять на то, как подстроить их под себя.

В таких случаях говорят о символической пользовательской власти. Символическая она, потому что мы мало что можем настроить в собственных лентах. Это сильно отличается от кастомизации, доступной на заре соцсетей, — тогда пользователи буквально могли конструировать все, что хотелось им видеть. Вопрос о символической власти пользователей перешел от центра к периферии и представляется следующим образом: корпорации дают пользователям создавать контент, но пользователи все равно оказываются в ловушке, когда думают, что понимают, как устроен алгоритм, и что они могут на него влиять. На деле им доступно лишь видимое, доступа и экспертизы у них нет.

— Интересно, что у нас в рамках разговора появились уже два типа власти, которые, правда, не положить на одну ось: «алгоритмическая» и «символическая пользовательская». Хочется перейти теперь к реальной пользовательской власти. Насколько я понимаю, и у Григория был опыт создания краудсорсинговой платформы, и, Лилия, у тебя значительный опыт работы c «Теплицей социальных технологий». Как это — разрабатывать что-то намеренно открытое, предполагающее включение каждого из возможных пользователей?

Земнухова: Гриша, наверное, можно начать с Карты помощи пострадавшим от пожаров как с первой огромной инициативы.

Асмолов: Мне кажется, карта с «Теплицей» связаны, потому что, поработав над картой помощи с Алексеем Сидоренко (руководителем «Теплицы социальных технологий». — Ред.), мы поняли, что нужны организации, поддерживающие и развивающие цифровую грамотность среди сообщества НКО, среди горизонтально выстроенных структур. Появление карты пожаров в 2010 году показало: технологии могут помогать гражданскому обществу решать проблемы. «Теплица» создает среду, в которой можно учиться и разбирать эти технологии, накапливать знания.

Здесь я бы упомянул недавнюю аналитическую работу «Теплицы», посвященную расширению представлений о новых возможностях и рисках, появляющихся вместе с технологиями. Это проект «Сканирование горизонтов», посвященный роли технологий в формировании гражданского общества. Ключевая идея проекта — лишь широта нашего воображения ограничивает возможное применение технологий. Если мы чего-то не можем вообразить, значит, мы и не можем это отрефлексировать и использовать для достижения тех или иных целей. Поэтому важно не только учиться использовать технологии, но и заниматься анализом трендов, связанных с возможным влиянием технологий через пять-десять лет.

Вернемся на секунду к алгоритмам. Их можно представить как нейтральную технологию, потенциально содержащую как позитивные решения, облегчающие выполнение некоторого спектра задач, так и негативные риски. Или, если мы говорим о краудсорсинге, на базе которого работала карта помощи, мы увидим, что этот спектр цифровых практик, связанных с мобилизацией человеческих ресурсов, позволяет оперативно реагировать на кризисы, что может, конечно, так или иначе помочь людям и минимизировать последствия ЧС. Однако непрозрачность алгоритмов ведет к появлению рисков, и потому «Сканирование горизонтов» пытается показать обе стороны. Лилия написала один из текстов для сборника, кстати.

Земнухова: Кажется, в случае гражданской технологии (civic tech) пользователи — простые граждане, желающие разрешить какие-то проблемы, — могут объединяться на разных уровнях: локальных, глобальных, персональных, соседских... Инструменты, помогающие им в этом, становятся дополнительным инфоповодом, чтобы сделать алгоритмы прозрачнее, инструменты доступнее, чтобы граждане больше могли работать с технологиями. Успехом будет расширение участия, возможность работать с технологиями, не располагая большими ресурсами.

Потому для этого сектора важен open source: работа с открытым кодом или доступными бесплатными программами, которые позволяют поддерживать и создавать свои низовые инициативы. В этом же контексте существует и гражданская наука (civic/citizen science), позволяющая накапливать знания за счет участия простых граждан, хотя у нее куда меньше активистского смысла. Это такой общий бульон, в котором и простые люди, и инженеры, и программисты — все работают против авторитарных, непонятных инструментов, навязываемых государством или большой индустрией.

Конечно, я не хочу сейчас предлагать разговор, в котором государство или индустрия только навязывают, а пользователи ничего не понимают. Однако поляризация в той или иной степени всегда касается технологий, особенно гражданских. С одной стороны, мы хотим прозрачности и подотчетности от их создателей; с другой — хочется, чтобы пользователи тоже понимали свои права и возможности, чтобы технологии отличал низкий порог вхождения для разных пользователей.

— Лилия, ты говорила про нежелание инженеров брать на себя ответственность за политическое, и я вспомнил один пример, как раз очутившийся в моей ленте на Фейсбуке: Wheely отказался передать данные пользователей Дептрансу Москвы, и основатель сервиса написал программный текст о том, чем следует и не следует предпринимателям делиться с государством. Меня этот пример очень тронул. Не знаю, видели вы его или нет.

Асмолов: Этот пример ставит интересный вопрос: как в кризисной ситуации меняются правила игры, определяющие, что легитимно, а что нет. В ситуации коронавируса возрос интерес к концепции состояния исключительности (state of exception) Джорджо Агамбена. Эта концепция говорит о том, что в кризисных ситуациях государство способно выходить за рамки традиционных правил игры и диктовать новые. Мы видим, что во многих государствах, не только в России, это состояние исключительности касается в том числе и того, как используются информационные технологии, в частности, режимов сбора и анализа данных. Случай с Wheely и действия Антона Чиркунова показывают: это борьба по выставлению границ, и она указывает на вопрос — какую цену мы должны за нее заплатить? Насколько я понимаю, из-за того что Wheely не был готов предоставить информацию властям, он потерял лицензию на работу, что повлекло серьезные финансовые риски. Но, с другой стороны, важна и репутация, особенно если речь идет о компании, которая работает и вне России.

Этот случай указывает на более общую тему, связанную с регулированием интернета и его суверенизации: к примеру, в какой степени глобальные компании следуют российскому законодательству и подчиняются запросу на размещение данных российских пользователей на территории РФ и какую цену они готовы платить за то, чтобы не выполнять эти требования? Мы видим: многие компании, в том числе и Фейсбук, не очень спешат их выполнять. При этом серьезную цену за это заплатил пока только LinkedIn, заблокированный в России. Wheely — символическая история, указывающая на дилеммы взаимоотношений госструктур с глобальными бизнесами.

Земнухова: Стоит добавить, что эта история связана с российскими реалиями. Попытки захвата баз данных, переписок и другой конфиденциальной информации многие годы формируют наш контекст, и это контекст правовой. Интересно взглянуть, как правовые вопросы пытаются предзадать и предопределить через технические решения. Например, так поступает Телеграм: его технологическое решение позволяет сделать так, чтобы данные пользователей не покидали их телефонов. Это технологический ответ на законодательные ограничения.

Важно, что каждая попытка сопротивления, каждый ответ со стороны сервисов, накапливающих данные, сталкивается с рамками российского законодательства. Это борьба за отстаивание границ, права на то, чтобы иметь свободу распоряжаться своими данными: собирать или нет, делиться или не делиться, соглашаться или не соглашаться. Мы видим разные сценарии, которые разработчики предлагают в качестве ответа на требования государства.

— Верно ли я понимаю, что российский контекст для разговоров об этике в технологиях пока, что ли, разреженный? И что здесь рано говорить об этических комиссиях?

Земнухова: Отвечу коротко. Насколько мне известно, этические комитеты в ИТ-компаниях стали появляться не раньше 2018 года. Крупные компании типа Microsoft, Facebook, Google и других попытались их внедрить, чтобы как-то регулировать свою деятельность, но в половине случаев эти попытки провалились. У нас такая попытка возникла в 2019 году: это был доклад «Этика и “цифра”» от Центра подготовки руководителей цифровой трансформации при РАНХиГС. Они собрали всех экспертов, понимающих, что делать с этикой в отношении ИИ, но подготовленные ими рекомендации не приняты (пока) на законодательном уровне. Поэтому действующего примера у нас до сих пор нет.

Асмолов: Этика начинает работать тогда, когда несоблюдение правил грозит репутационными или деловыми рисками, которые в любом случае взаимосвязаны. Например, мы видим, что действия крупных неподотчетных компаний вроде Фейсбука уже приводят к тому, что принятые ими решения отзываются на бизнесе как таковом, влияют на котировки.

К примеру, в США Ребекка Маккиннон (Rebecca MacKinnon) создала индекс подотчетности платформ интернет-корпораций. На Западе такие индексы важны, так как они влияют на имидж компании. В какой степени соблюдение этических правил влияет и на бизнес российских компаний? Это вопрос риторический...

— То есть пока любые проблемы этического толка в российском контексте решаются в пределах очень маленьких групп в секторе гражданских технологий?

Земнухова: Стоит помнить, что логика быстрого развития технологий противостоит медленным попыткам кодифицировать требования и рекомендации, направленные к этим технологиям. Махина этического регулирования не может быстро, легко и гибко перестраиваться. Мы можем взять базовые этические координаты, например, опереться на Канта, но это не будет работать, поскольку этические принципы зависимы культурно и локально. То, что релевантно для 15 стран, не будет релевантно для 25. Получается, что эта система должна быть на повестке все время. Ее нужно регулярно обсуждать, к ней нужно регулярно возвращаться.

Асмолов: Об очень важных вещах говорит сейчас Лиля. Почему не всегда очевидна важность разговоров об этике? Потому что часто эти разговоры ведутся ради разговоров, как своего рода дань обязательному пункту в повестке дня, что нивелирует сам смысл этого обсуждения. Надо понимать, что этические аспекты работы цифровых платформ оказывают влияние на все аспекты нашей жизни. То, о чем мы беседуем с вами сейчас, — это так или иначе рассуждение о степени свободы выбора, которая сохраняется у нас как у пользователей информационных платформ. Это может быть потребительский выбор, а может и политический.

Эта свобода ограничивается технологиями, которые создают условия для появления новых форм возможных и все менее прозрачных манипуляций. Этика нужна, чтобы регулировать и хоть немного защищать наше пространство свободы выбора. Мне понравился тезис Лоуренса Лессига из Гарвардского университета, который я услышал в минувшем декабре на конференции в Копенгагене: он говорил, что мог бы смириться с разрушением демократии ради того, чтобы остановить изменения климата, но он не готов смириться с разрушением, продиктованным желанием эффективнее продавать рекламу. Вопрос в том, ради чего мы готовы отказаться от свободы.

Согласно концепции надзирательного капитализма Шошаны Зубофф (Shoshanna Zuboff), алгоритмы используются, чтобы обеспечивать бесконечный капиталистический рост, влияющий на наши права и свободы. Контексты разные, но проблема свободы выбора всегда остается центральной. Если убедить в этом и пользователей, и корпорации, если дать им понять, что несоблюдение этих правил приведет к оттоку пользователей, то начнется реальная работа вокруг этики, а не просто симуляция разговора.

— Как убеждать? Какие способы вы готовы назвать? Потому что сейчас мне рисуется страшная картина: есть большие капиталистические киты, на них нападают другие капиталистические киты, и какой-то маленький криль — пользователи — просто плавает в китовом усе и никак не влияет на процесс.

Земнухова: Работники все равно способны объединяться. Например, сотрудники Фейсбука резко выступили против предложения Цукерберга искать техническое решение для участия в военных разработках. Это один из способов реагирования и регулирования процессов внутри компании. Есть и другие механики. С одной стороны, активизм с использованием гражданских технологий. С другой — движение подотчетности платформ, развитое в Европе и паре штатов США.

У меня, кстати, есть текст о подотчетности платформ. В нем два базовых посыла: государственные и в целом управляющие структуры должны становиться прозрачнее, а пользователи — любопытнее: так они смогут задавать вопросы, почему это работает так, а не иначе. Нужна взаимная динамика и со стороны пользователей, и со стороны государства и индустрии.

Асмолов: Хочу вспомнить про статью Лилии «Гражданское общество и контроль социальных эффектов технологий», в которой она очень подробно об этом рассказывает. А я отвечу сейчас как преподаватель факультета цифровой гуманитаристики Королевского колледжа Лондона. Важная цель нашей преподавательской работы — это расширение возможностей для саморефлексии именно в сфере влияния технологий на все спектры нашей жизни. Информационные платформы подталкивают нас ко множеству решений: это выбор того, как потратить деньги, где провести выходные, какое приложение купить и так далее. Это все требует большей подотчетности, а значит, рефлексии по поводу принимаемых нами решений. Поэтому для меня информационная грамотность — это не только умение использовать технологии, но и, прежде всего, развитие двух типов мышления, связанных с их использованием: критического мышления для рефлексии их роли в нашей жизни и креативного мышления, позволяющего придумывать новые модели того, как эти технологии можно использовать для решения социально-политических проблем.

Так что образование играет здесь важную роль, но есть еще и решения в технической плоскости, то есть создание платформ, позволяющих нам вернуть хоть в какой-то степени контроль над тем, как наши данные и алгоритмы влияют на нашу повседневность. К примеру, Тим Бернерс-Ли пару лет назад запустил инициативу Solid, в рамках которой пользователи, а не платформы могут контролировать свои личные данные. Пользователи имеют право сами решать, какими данными и с кем делиться. Эта инициатива создает больше возможностей для рефлексии. Cегодня мы не можем контролировать наши цифровые следы. Потому следует думать и говорить о технологических решениях, которые изменят архитектуру информационных систем так, что у нас будет больше контроля над своими данными.

Понравился материал? Помоги сайту!