Сломанный код. Внутри Facebook и борьба за раскрытие его вредных секретов - Джефф Хорвиц

была идеальной. У каждого есть дядя или друг детства, который может перепостить безумные вещи и клюнуть на приманку для вовлечения. Но защитный эффект от наличия образованных, подкованных в Интернете друзей помог объяснить, почему высшее руководство компании с удивлением обнаружило, что македонские тролль-фермы производят лучший предвыборный контент на платформе. Пожары, вспыхивающие на нижних этажах Facebook, должны были превратиться в полномасштабные инферно, прежде чем обитатели пентхаусов почувствовали запах дыма.

Facebook платила своим добросовестным сотрудникам за то, чтобы они следили за проблемами, но даже профессиональные наблюдатели были застигнуты врасплох на таких рынках, как Индия. В преддверии выборов в Индии в 2019 году компания направила в страну исследователей пользовательского опыта, чтобы они проверили пульс индийцев на Facebook, в том числе исследователя, который описал неприятные тенденции рекомендательных систем Facebook в книге "Путешествие Кэрол в QAnon".

Исследовательница создала фиктивный аккаунт во время путешествия. Поскольку платформа учитывает географию пользователя в рекомендациях контента, отметили они с коллегой в статье о своих выводах, это был единственный способ получить истинное представление о том, что платформа предлагает новому индийскому пользователю.

Зловеще, но ее краткое изложение того, что Facebook рекомендовал их воображаемой двадцатидвухлетней индианке, начиналось с предупреждения о графическом насилии. Если американских пользователей Facebook подталкивал к теориям заговора, то индийская версия была антиутопической.

"За 3 недели с момента открытия учетной записи, следуя только этому рекомендованному контенту, лента новостей тестового пользователя превратилась в почти постоянный шквал поляризующего националистического контента, дезинформации, насилия и крови", - говорилось в записке. Лента фиктивного аккаунта стала особенно мрачной после пограничных стычек между Пакистаном и Индией в начале 2019 года. В период крайней военной напряженности Facebook направил пользователя в группы, наполненные контентом, пропагандирующим полномасштабную войну и высмеивающим изображения трупов с помощью смеющихся эмодзи.

Это был не случай, когда плохие посты проскользнули мимо защиты Facebook, или один индийский пользователь спустился в националистическую кроличью нору. То, что Facebook рекомендовал молодой женщине, было плохим с самого начала. Платформа подтолкнула ее к вступлению в группы с изображениями трупов, просмотру вымышленных авиаударов и поздравлению несуществующих пилотов истребителей с их храбростью.

"За последние три недели я видела больше изображений мертвых людей, чем за всю свою жизнь", - написала исследовательница, отметив, что платформа позволила фальши, дегуманизирующей риторике и насилию "полностью захватить власть во время крупного кризисного события". Facebook необходимо не только задуматься о том, как ее системы рекомендаций влияют на "пользователей, которые отличаются от нас", заключила она, но и переосмыслить то, как она создает свои продукты для "неамериканского контекста".

Индия не была исключением. За пределами англоязычных стран и Западной Европы пользователи регулярно видели больше жестокости, приманки для вовлечения и лжи. Возможно, различия в культурных представлениях о приличиях объясняют некоторые из этих различий, но многое, очевидно, связано с различиями в инвестициях и заботе.

С 2016 года "пиар-пожары" в США определяли большую часть работы Facebook по обеспечению честности и неподкупности. Компания строила свою защиту от иностранного вмешательства в ответ на обеспокоенность выборами в США, устанавливала политику конфиденциальности в ответ на действия Cambridge Analytica и писала свои правила по дезинформации о вакцинах в ответ на вспышку кори в Калифорнии. В каждом случае масштабная плохая пресса подталкивала Facebook к устранению проблем. Другие крупные и богатые рынки иногда привлекали такое же внимание.

PR-пожары, как правило, тлели меньше по мере того, как страны, в которых они возникали, становились меньше и беднее - даже если проблемы имели такие же или более серьезные человеческие последствия. Места, где Facebook уделяла меньше всего внимания и ресурсов, часто оказывались теми, где ее продукт занимал самое центральное место в общественной жизни.

В 2019 году BBC опубликовала разоблачительный материал о продаже домашней прислуги в странах Персидского залива через Instagram и приложения для бартерного обмена, доступные в магазинах Apple и Google. Это был мрачный материал: у женщин из Непала, Филиппин и стран Африки, которых заманивали в Кувейт и Саудовскую Аравию ложными обещаниями работы, изымали паспорта. По прибытии в страну женщин продавали из дома в дом, заставляли работать семь дней в неделю и подвергали тюремному заключению.

Это не должно было быть законным в Персидском заливе в соответствии с системой спонсорства рабочей силы на сером рынке, известной как "кафала", но Интернет устранил трения, связанные с покупкой людей. Репортеры BBC Arabic под прикрытием выдали себя за кувейтскую пару и договорились о покупке шестнадцатилетней девочки, продавец которой хвастался, что никогда не разрешал ей выходить из дома.

Все рассказали BBC, что были в ужасе. Кувейтская полиция спасла девочку и отправила ее домой. Компании Apple и Google пообещали искоренить злоупотребления, а приложения для обмена валюты, упомянутые в статье, удалили свои разделы "домашняя прислуга". Facebook пообещал принять меры и удалил популярный хэштег, по которому размещались объявления о продаже горничных.

После этого компания практически перестала заниматься этим вопросом. Но Apple оказалась более внимательной. В октябре, отправив Facebook множество примеров продолжающихся продаж горничных через Instagram, она пригрозила удалить продукты Facebook из своего App Store.

В отличие от торговли людьми, это, по мнению Facebook, был настоящий кризис.

" Удаление наших приложений с платформ Apple имело бы потенциально серьезные последствия для бизнеса, в том числе лишило бы миллионы пользователей доступа к IG и FB", - говорится во внутреннем отчете об инциденте.

Забив тревогу на самом высоком уровне, компания нашла сайт и в течение нескольких дней удалила 133 000 сообщений, групп и аккаунтов, связанных с этой практикой. Она также быстро пересмотрела свои правила, отменив предыдущее правило, разрешающее продажу горничных через "кирпичные и минометные" предприятия. (Чтобы не расстраивать чувства "партнеров" из стран Персидского залива, компания ранее разрешала рекламу и продажу прислуги предприятиям с физическим адресом). Facebook также обязуется "обеспечить целостную правоприменительную практику в отношении любого контента, пропагандирующего домашнее рабство", говорится в памятке.

Apple отменила свою угрозу, но Facebook снова не выполнил своих обещаний. Два года спустя, в конце 2021 года, сотрудник Integrity напишет расследование под названием "Домашнее рабство: Этого не должно происходить в FB, и как мы можем это исправить". В меморандуме, посвященном Филиппинам, описывалось, как ночные агентства по трудоустройству набирают женщин, давая им "нереальные обещания", а затем продают их в долговую кабалу за границу. Если Instagram был местом, где продавали домашнюю прислугу, то Facebook был местом, где их вербовали.

Зайдя в почтовые ящики агентств по трудоустройству, сотрудник обнаружил филиппинских домашних слуг, молящих о помощи. Некоторые заявляли об изнасиловании или присылали фотографии синяков