В 1955 году писатель-фантаст Айзек Азимов опубликовал рассказ об «электронной демократии» – эксперименте, в соответствии с которым избирался один гражданин, представляющий интересы всего населения, и отвечал на вопросы компьютера «Мультивак». Машина обрабатывала полученные данные и прогнозировала возможные результаты выборов, которые, таким образом, были не нужны. История Азимова разворачивается в Блумингтоне, штат Индиана, но уже сегодня, в современном Китае создается компьютер «Мультивак».
«Для любого авторитарного режима основная проблема – создание аналитического центра, задача которого – отслеживать процессы, происходящие в низших слоях общества и в обществе в целом», – говорит Дебора Селигсон, политолог и эксперт по Китаю из Университета Вилланова в Филадельфии.
- Как эффективно управлять страной, в которой проживает каждый пятый человек на планете, с быстро усложняющейся экономикой и обществом, если вы не допускаете публичных дебатов, гражданской активности и электорального фидбэка?
- Каким образом собирать достаточное количество информации для принятия решений?
- И как правительство, которое не приглашает своих граждан к участию в управлении, поддерживает уровень доверия и контролирует общественное поведение, не расставляя полицейских у каждой двери?
Ху Цзиньтао (Hu Jintao), лидер Китая с 2002 по 2012 год, попытался решить эти проблемы, разрешив скромную демократическую оттепель, и позволив жалобам населения достичь ушей правящего класса. Его преемник Си Цзиньпин (Xi Jinping) полностью изменил эту тенденцию. Его стратегия понимания и реагирования на происходящее в стране с населением 1,4 миллиарда человек основана на сочетании пристального наблюдения, искусственного интеллекта и огромных баз данных, позволяющих детально отслеживать жизнь и поведение людей.
Люди в Пекине всегда находятся под пристальным взглядом Мао и множества камер наблюдения. Фото: MIT Technology Review
Помогает то, что бурные годы волнений в демократических странах мира заставили политическую элиту Китая взять на себя ответственность и оправдать действия, направленные на сдерживание избирателей. Такие события, как избрание Дональда Трампа, Brexit, активизация крайне правых партий по всей Европе и господство террора Родриго Дутерте на Филиппинах выявляют процессы, которые многие критики называют проблемами, присущими демократии, а именно: популизм, нестабильность и нестабильное, персонализированное руководство.
С тех пор, как в 2012 году он стал генеральным секретарем Коммунистической партии Китая, Си наметил ряд амбициозных планов развития страны, многие из которых основаны на новых технологиях, в том числе амбициозную цель сделать Китай мировым лидером в области искусственного интеллекта к 2030 году.
Си призывает к «кибер-суверенитету», оправдывает усиление цензуры и тотальный контроль над интернетом внутри страны. В мае 2018 года он сказал на заседании Академии наук Китая, что новые технологии являются ключом к достижению «великой цели построения модернизированной социалистической нации»
В январе, когда Си Цзиньпин выступал перед нацией по телевидению, на книжных полках позади него были видны как классические издания, типа Das Kapital, так и современные издания, в том числе две книги об искусственном интеллекте: «Мастер Алгоритм» (The Master Algorithm) Педро Домингоса и «Дополненная версия Бретта Кинга: Augmented: Life in the Smart Lane».
«Ни одно из правительств не имеет более амбициозного и далеко идущего плана использования информации для управления страной, чем правительство Китая», – говорит Мартин Чорземпа из Института международной экономики Петерсона в Вашингтоне (округ Колумбия).
Иностранные наблюдатели, видящие картину издалека, могут испытывать искушение задаться вопросом, предлагает ли такой способ управления, основанный на управлении данными, жизнеспособную альтернативу все более дисфункциональной избирательной модели. Но чрезмерная опора на мудрость технологий и баз данных имеет свои риски.
Сбор данных вместо диалога
Китайские лидеры давно стремились управлять общественным мнением, не открывая дверей для жарких дебатов и критики властей. Для большей части имперской и современной китайской истории существовала традиция недовольных людей из сельской местности, которые ездили в Пекин и устраивали небольшие демонстрации в качестве публичных «петиционеров». Петиционеры думали, что если местные власти не понимают или не обращают внимания на недовольство людей, то только император может принять правильное решение.
При Ху Цзиньтао некоторые члены Коммунистической партии допускали ограниченную открытость как возможный способ разоблачения и решения некоторых проблем в обществе. Блоги, антикоррупционные журналисты, адвокаты-правозащитники и онлайн-критики, освещающие коррупцию на местах, подвели общественное мнение к закату правления Ху.
В начале своего срока управления страной Си получал ежедневные брифинги о проблемах и беспорядках из информации социальных сетей, что подтверждает бывший американский чиновник, знавший об этом. В последние годы петиционеры приезжали в столицу, чтобы привлечь внимание к таким скандальным вопросам, как незаконный захват земель местными властями, заражение сухого молока и т. д.
Однако полиция все больше препятствует петиционерам добираться до Пекина. «В настоящее время для приобретения ж/д билетов требуются национальные удостоверения личности, что позволяет властям легко выявлять потенциальных “нарушителей спокойствия”, таких как те, кто протестовал против правительства в прошлом», – говорит Майя Ванг, китайский аналитик Human Rights Watch. «Несколько петиционеров говорили нам, что их остановили прямо на железнодорожных платформах».
Блоггерам, активистам и адвокатам также систематически затыкают рот или заключают в тюрьму, как будто данные, добытые таким способом, могут обеспечить правительству такую же картинку, как и информация, полученная без нарушений прав и свобод
В Китае идея использования сетевых технологий в качестве инструмента управления появилась в середине 1980-х годов. Как объясняет историк из Гарварда Джулиан Гевирц, «когда китайское правительство увидело, что информационные технологии становятся частью повседневной жизни, оно осознало, что у него будет новый мощный инструмент как для сбора информации, так и для контроля над культурой, и для того чтобы сделать китайцев более «современными» и «управляемыми» – это было постоянной навязчивой идеей руководства Китая». Последующие достижения, включая прогресс в области искусственного интеллекта и создание более быстрых процессоров, приблизили это.
Насколько нам известно, в Китае нет единого мастер-плана, связывающего технологии и управление. Но есть несколько инициатив, которые поддерживают общую стратегию сбора данных о людях и компаниях для облегчения процесса принятия решений и создания системы стимулирования и наказания как метода влияния на поведение людей. Эти инициативы включают в себя «Систему социального кредита», принятую Государственным советом в 2014 году, закон о кибербезопасности 2016 года, различные эксперименты на местном уровне и частные предприятия в области «социального кредита», план «умного города» и политику высоких технологий в западном регионе Синьцзянь. Часто эти инициативы предполагают партнерские отношения между правительством и технологическими компаниями Китая.
Посетители на площади Тяньаньмэнь в Пекине сканируют свои удостоверения личности на контрольно-пропускном пункте. Фото: MIT Technology Review
Наиболее успешной является система социального кредита, хотя лучше было бы перевести это как «система доверия» или «высокой репутации». В правительственный план, который охватывает как людей, так и бизнес, включены цели «построения искренности в государственных делах, коммерческой честности и доверия к судебным органам».
«У всех в Китае найдется тетушка, которую когда-то обманули. Существует законная необходимость справляться с нарушением с помощью общественной огласки», – говорит Пол Триоло (Paul Triolo), руководитель практики геотехнологий в консалтинговой компании Eurasia Group. На сегодняшний день эта работа идет полным ходом, а различные пилотные проекты делают предварительные оценки этих систем и того, как они заработают в 2020 году, когда будут полностью реализованы.
Черные списки являются первым инструментом системы. В последние пять лет судебная система Китая публикует имена людей, которые не заплатили штрафы или не выполнили судебных решений. Согласно новым правилам социального кредита, этот список направляется различным предприятиям и государственным учреждениям.
Люди в черном списке теряют возможность занимать деньги в банке, бронировать авиабилеты и проживать в отелях класса люкс
Национальные транспортные компании Китая создали дополнительные черные списки, куда попали люди за «плохое поведение»: например, блокирование дверей в поездах или драки в транспорте; нарушителям запрещается покупать билеты в течение 6 или 12 месяцев. В этом году Пекин дебютировал с серией черных списков, запрещающих «нечестным» предприятиям получать будущие государственные контракты или земельные гранты.
Некоторые местные органы власти экспериментировали с «баллами» социального кредита, хотя неясно, будут ли они частью национального плана или нет. Например, по сообщению Foreign Policy, в северном городе Ронгченг баллы социального кредита присваивают каждому из 740 тыс. жителей. Каждый начинает с 1000 баллов. Если вы жертвуете на благотворительность или получаете правительственную награду, вам присваивают баллы; если вы нарушаете правила дорожного движения, например, вождение в нетрезвом виде или превышение скорости на пешеходном переходе, вы теряете очки.
Люди с хорошими показателями могут заработать скидки на зимнее отопление или получить более выгодные условия по ипотеке. Те, у кого плохие результаты, могут потерять доступ к банковским кредитам или к продвижению по службе на государственных должностях. Мэрия демонстрирует плакаты местных ролевых моделей – образцов для подражания, которые продемонстрировали «добродетель» и заработали высокие баллы.
«Идея социального кредита заключается в мониторинге и управлении поведением людей и учреждений», – говорит Саманта Хоффман (Samantha Hoffman) из Института китайских исследований Меркатор в Берлине. «Как только нарушение зафиксировано в одной части системы, оно может инициировать соответствующую реакцию в других частях системы. Это концепция, предназначенная для поддержки как экономического развития, так и социального управления, и она по своей сути политическая».
Некоторые параллели с китайским проектом уже существуют в США: плохой кредитный рейтинг может помешать вам взять ипотечный кредит, в то время как осуждение за тяжкие преступления приостанавливает или аннулирует ваше право голоса. «Но они не все связаны одинаково – нет общего плана», – подчеркивает Хоффман.
Одна из самых больших проблем заключается в том, что из-за отсутствия в Китае независимой судебной системы граждане не могут оспаривать ложные или неточные обвинения. Некоторые из них обнаружили, что их имена добавлены в транспортный черный список без соответствующего решения суда. За петиционерами и журналистами-расследователями ведется наблюдение по одной системе, а за людьми, которые попали в реабилитационный центр из-за наркотиков, наблюдают по другой системе мониторинга.
«Теоретически, базы данных людей, употребляющих наркотики, должны убирать их имена через пять или семь лет, но есть много случаев, когда этого не происходит», – говорит Ванг из Human Rights Watch. «Очень трудно добиться удаления своего имени из любого из этих списков».
Отдельные всплески гнева онлайн указывают на общественное недовольство. Новость о том, что студент не был принят в колледж из-за того, что его отец попал в кредитный черный список, разожгла нешуточные страсти онлайн. Решение колледжа не было официально санкционировано или согласовано с правительством. Скорее, в своем стремлении поддержать новую политику школьные администраторы просто перестарались.
Непрозрачность системы затрудняет оценку того, насколько эффективны эксперименты, подобные экспериментам Ронгченга. Партия выдавила из своих рядов почти все критические голоса еще в 2012 году, и риски (опасность) противодействия системе только возрастают. Информация в открытом доступе не всегда правдива; систематическая фальсификация данных по всем вопросам, начиная от роста ВВП и вплоть до данных по использованию гидроэнергии, пронизывает государственную статистику Китая. Исследователь Австралийского национального университета Борге Баккен считает, что официальные данные о преступности, которые правительство явно старается преуменьшать, могут составлять всего 2,5% от реальных данных.
Теоретически, управление с помощью сбора данных могло бы помочь решать многие проблемы без местных искажений, если бы центральное правительство занималось сбором информации напрямую. Так, была идея установить мониторы качества воздуха, отправляющие данные в центральные органы власти, а не полагаться на местных чиновников, которые могут оказаться «в кармане» предприятий, загрязняющих воздух. Но многие аспекты качественного управления страной слишком сложны, чтобы позволить такой вид прямого мониторинга, и вместо этого правительство полагается на данные, предоставленные местными чиновниками.
Тем не менее, правительство Китая редко публикует данные о производительности предприятий, которые позволят «посторонним» произвести оценку эффективности этих систем
Например, камеры, которые используются, чтобы выявить и пристыдить пешеходов-нарушителей в некоторых городах, проецируют их лица на общественных рекламных щитах или используются для отслеживания молитвенных привычек мусульман в западном Китае. Их корректность остается под вопросом: в частности, насколько хорошее программное обеспечение распознавания лиц, отработанное на китайских ханьских лицах, может ли оно распознавать лица членов групп евразийских меньшинств?
Система распознавания лиц в Шанхае. Фото: MIT Technology Review
Если все собранные данные являются точными, как правительство будет использовать эту информацию: моделировать и направлять или препятствовать прогнозируемому поведению? Алгоритмы полиции, которые моделируют, кто может стать потенциальным преступником, не подлежат публичному контролю, так же как и статистика, показывающая рост или падение показателей преступности и терроризма. (Например, в западном регионе Синьцзян имеющаяся информация показывает только то, что количество людей, взятых под стражу в полиции, резко возросло, увеличившись на 731% с 2016 по 2017 год.)
«Не технологии сформировали такую политику, но новые технологии значительно расширили объем данных, которые китайское правительство может собирать о людях», – говорит Ричард Макгрегор (Richard McGregor), старший научный сотрудник Института Лоуи и автор книги «Партия: Секретный мир правителей коммунистического Китая» (The Party: The Secret World of China’s Communist Rulers). «Интернет в Китае действует как частная служба цифровой разведки в режиме реального времени».
Политика моделирующих алгоритмов
В статье, опубликованной в газете «Вашингтон пост» в начале этого года, Сяо Цян (Xiao Qiang), профессор коммуникаций Калифорнийского университета в Беркли, назвал моделирование управления страной на основе баз данных в Китае «тоталитарным цифровым государством».
Синьцзян (т. е. «Новая территория») – традиционный район проживания китайского мусульманского меньшинства, известного как уйгуры. В этот район перебралось и обосновалось большое количество китайских мигрантов-ханьцев; про них говорят, что они «колонизировали» этот регион, соответственно, это сразу отразилось на возможности работать и соблюдать религиозные традиции местных уйгуров, и не в лучшую сторону, конечно.
Одним из результатов миграции стал всплеск насилия, в результате которого пострадали и ханьцы, и уйгуры. В беспорядках 2009 года в столице региона Урумчи, по сообщениям, погибло более 200 человек. Реакция правительства на растущую напряженность состояла не в том, чтобы проводить публичные разъяснительные форумы и выслушивать мнения или политические рекомендации. Вместо этого, в регионе активно используют сбор данных и алгоритмы моделирования и выявления тех, кто «может» совершить акты насилия или неповиновения в будущем.
Правительство Синьцзяна наняло частную компанию для разработки моделирующих алгоритмов, которые оценивают различные потоки данных. Но не предусмотрены публичные отчеты деятельности этой компании или ответственность за то, как эти алгортмы построены и анализируются. «Люди, живущие в этой системе, как правило, даже не знают, каковы правила», – говорит Райан Тум (Rian Thum), антрополог из Университета Лойола, который изучает Синьцзян и знает о государственных заказах, которые связаны с созданием системы моделирования.
В западном городе Кашгар многие из домов и магазинов на главных улицах теперь заколочены, а общественные площади пусты. Когда я посетил город в 2013 году, было ясно, что Кашгар уже был городом, подвергшемся сегрегации – ханьское и уйгурское население жили и работали в разных частях города
Раньше по вечерам это было оживленное и часто шумное место, где звуки призыва к молитве смешивались с танцевальной музыкой из местных клубов и разговорами стариков, которые сидели допоздна на пластиковых стульях на террасах. Сегодня в городе пугающе тихо; общественная жизнь здесь практически исчезла. Эмили Фэн, журналистка Financial Times, в июне посетила Кашгар и разместила в Twitter фотографии опустевших улиц. Причина в том, что, по некоторым оценкам, более одного из 10 взрослых уйгуров и казахов в Синьцзяне были отправлены в «перевоспитательные лагеря» с колючей проволокой, а те, кто остается на свободе, боятся.
За последние два года были созданы тысячи контрольно-пропускных пунктов, на которых прохожие должны показать свое лицо и предъявить национальное удостоверение личности, чтобы проехать по шоссе, войти в мечеть или посетить торговый центр. Уйгуры обязаны устанавливать разработанные правительством трекинг-приложения на свои смартфоны, которые отслеживают их онлайн-контакты и посещенные веб-страницы. Полицейские регулярно обходят местные дома, чтобы собрать дополнительную информацию о том, сколько людей живет в домашнем хозяйстве, каковы их отношения с соседями, сколько раз люди молятся ежедневно, путешествовали ли они за границу и какие книги у них есть в доме.
В городе Сяньян камеры, связанные с технологией распознавания лиц, проектируют лица неосторожных пешеходов с именами и идентификационными номерами на биллборд. Фото: MIT Technology Review
Все эти потоки данных поступают в систему общественной безопасности Синьцзяна вместе с другими записями, собирающими информацию обо всем – от банковской истории до планирования семьи. «Компьютерная программа собирает все данные из разных источников и отмечает тех, кто может стать “угрозой” для властей», – говорит Ванг. Хотя точный алгоритм неизвестен, считается, что он может включать информацию о таких действиях, как посещение определенной мечети, приобретение большого количества книг, покупка большого количества бензина или получение телефонных звонков или электронных писем от контактов за рубежом. Таких людей посещает полиция, которая может взять их под стражу и посадить в тюрьму или в лагеря перевоспитания без каких-либо официальных обвинений.
Адриан Зенц, политолог из Европейской школы культуры и теологии в Корнтале, Германия, подсчитал, что уровень интернирования меньшинств в Синьцзяне может достигать 11,5% всего взрослого населения. Эти лагеря призваны привить патриотизм и заставить людей отказаться от религиозных убеждений. (Новые сведения о закупке оснащения для охранников при обрядах кремации, похоже, указывают на то, что правительство также пытается искоренить традиционные мусульманские погребальные практики в регионе.)
В то время как Синьцзян представляет собой драконовскую крайность, в других частях Китая граждане начинают сопротивляться системам наблюдения. Интернет-компания, транслировавшая беспрерывный поток телевизионных кадров в режиме онлайн (streamed closed-circuit TV footage online), была вынуждена закрыть эти трансляции в связи с общественным протестом. Город Шанхай недавно издал правила, позволяющие людям оспаривать неверную информацию, внесенную в записи о социальных кредитах.
«Растут требования к конфиденциальности со стороны китайских интернет-пользователей», – говорит Сэмм Сакс (Samm Sacks), старший научный сотрудник Программы технической политики в CSIS в Нью-Йорке. «Это совсем не похоже на свободный и доступный ресурс для всех, каким он должен быть».
