Сломанный код. Внутри Facebook и борьба за раскрытие его вредных секретов - Джефф Хорвиц

они заключались в том, что команда Growth, которой подчинялся их новый босс, несомненно, пользовалась вниманием руководства. Поручение Глейта провести компанию через последствия Cambridge Analytica и вмешательства России гарантировало, что работа не будет испытывать недостатка в ресурсах. В мае 2018 года компания пообещала нанять 3 000 новых сотрудников и подрядчиков для работы над вопросами модерации и безопасности. К октябрю она увеличила это число до 10 000.

За год до этого Чакрабарти не смог добиться выделения двух дополнительных инженеров для решения вопросов, связанных с выборами, и теперь сказал команде Civic, что высшее руководство заявило, что у них есть чистый чек. Часть этих денег ушла на создание классификаторов, поскольку системы требовали огромных инвестиций для создания и тысяч часов маркировки для обучения. Civic вложила 100 миллионов долларов только в автоматизированную систему, которая могла определять, относится ли сообщение к политике, правительству или общественным проблемам.

Нигде эта щедрость не проявлялась так сильно, как в рядах исследовательской команды Civic. В большинстве подразделений Facebook соотношение инженеров и исследователей обычно составляло примерно двадцать к одному. В Civic это соотношение было гораздо ниже: антропологи, социологи и политологи занимались различными направлениями исследований махинаций социальной сети. Что делает гражданскую группу на платформе успешной, спрашивали они. Какие сообщества имеют самые громкие голоса? Как дезинформация распространялась среди определенных демографических групп? Сработали ли усилия пользователей по опровержению громких ложных фактов?

На родине, в Соединенных Штатах, эти вопросы имели последствия для общественной дискуссии и политики. За рубежом они касались вопросов жизни и смерти.

Мьянма, которой до 2011 года практически полностью управляла военная хунта, была тем местом, где Facebook быстро заменил гражданское общество, которому правительство так и не дало развиться. Приложение предлагало непривычному обществу телекоммуникационные услуги, новости в реальном времени и возможности для активизма.

В 2012 году в результате этнического насилия между доминирующим буддистским большинством страны и мусульманским меньшинством рохинья погибло около двухсот человек, а десятки тысяч людей были вынуждены покинуть свои дома. Многим опасность, которую несет Facebook в этой ситуации, казалась очевидной, в том числе и Аэле Каллан, журналистке и режиссеру-документалисту, которая в 2013 году обратила на нее внимание Эллиота Шраге из отдела общественной политики Facebook. Все единомышленники Кассандры из Мьянмы получили вежливую аудиторию в Менло-Парке, и не более того. Их аргументы в пользу того, что Мьянма - это "печь с огнем", подтвердились в 2014 году, когда буддийский монах жесткой ориентации опубликовал в Facebook ложное заявление о том, что мужчина-рохинджа изнасиловал буддийскую женщину, что привело к столкновениям, в результате которых погибли два человека. Но за исключением команды Бежара из Compassion Research и Кокса, который был лично заинтересован в Мьянме, частным образом финансируя там независимые новостные СМИ в качестве филантропической инициативы, никто в Facebook не обратил на это особого внимания.

Позднее рассказы о проигнорированных предупреждениях заставили многих критиков компании списать бездействие Facebook на чистое бездушие, хотя интервью с теми, кто участвовал в очистке, говорят о том, что корень проблемы заключался в непонимании. Правозащитники говорили Facebook не только о том, что ее платформа может быть использована для убийства людей, но и о том, что это уже произошло. Однако в то время, когда компания полагала, что пользователи сами, без посторонней помощи, разберутся и отсеют дезинформацию, информация оказалась сложной для восприятия. Та версия Facebook, которую знали высшие чины компании, - сплетение их друзей, коллег, родственников и интересов - не могла быть использована в качестве инструмента геноцида.

В итоге Facebook нанял своего первого бирманского контент-менеджера , чтобы решать любые вопросы, возникающие в стране с населением более 50 миллионов человек в 2015 году, и выпустил пакет цветочных стикеров, пропагандирующих мир, для бирманских пользователей, чтобы они могли клеить их на ненавистные сообщения. (Позже компания отметила, что эти стикеры появились в результате обсуждения с некоммерческими организациями и были "широко отмечены группами гражданского общества в то время"). В то же время компания заключила сделки с телекоммуникационными провайдерами, чтобы предоставить бирманским пользователям бесплатный доступ к Facebook.

Первая волна этнических чисток началась в том же году, когда лидеры вооруженных сил страны объявили в Facebook, что будут "решать проблему" мусульманского меньшинства страны. Последовала вторая волна насилия, и в итоге 25 000 человек были убиты военными и буддийскими дружинниками, 700 000 были вынуждены покинуть свои дома, а еще тысячи были изнасилованы и ранены. ООН назвала насилие геноцидом.

Facebook по-прежнему не реагировал. По собственному почину команда Гомеса-Урибе по обеспечению целостности новостной ленты начала собирать примеры того, как платформа массово распространяет заявления, подстрекающие к насилию. Даже без знания бирманского языка это было несложно. Поток ненависти и лжи против рохинджа, исходящий от бирманских военных, правительственных чиновников и монахов, разжигающих рознь, был не просто подавляющим, но и чрезвычайно успешным.

Это была исследовательская работа, не предусмотренная полугодовым планом команды Integrity Ranking. Когда Гомес-Урибе, вместе с Макнелли и другими, потребовали перераспределить сотрудников, чтобы лучше понять масштабы проблемы Facebook в Мьянме, они были отклонены.

Нам сказали "нет", - вспоминает Гомес-Урибе. "Было ясно, что руководство не хочет разбираться в этом глубже".

Все изменилось, как это часто бывает, когда роль Facebook в решении проблемы стала достоянием общественности. Через пару недель после того, как разразилось сильнейшее насилие, международная правозащитная организация осудила Facebook за бездействие. Через семьдесят два часа команду Гомеса-Урибе срочно попросили разобраться в происходящем.

Когда все закончилось, халатность Facebook стала очевидной. В докладе ООН говорилось, что "реакция Facebook была медленной и неэффективной", а внешний консультант по правам человека, которого нанял Facebook , в итоге пришел к выводу, что платформа " стала средством для тех, кто стремится распространять ненависть и причинять вред".

Принеся ряд извинений, компания признала, что спала за рулем, и пообещала нанять больше сотрудников, способных говорить по-бирмански. Осталось невысказанным, почему компания допустила ошибку. Правда заключалась в том, что она не имела ни малейшего представления о том, что происходит на ее платформе в большинстве стран.

Facebook не инвестировал в людей, которые могли бы говорить на разных языках мира, и это усугублялось системой классификаторов компании. Для некоторых проблем, таких как обнаженная натура или порнография, Facebook мог использовать один и тот же классификатор во всем мире - фотографии членов и обезглавливания, увы, универсальны. Но для таких социально значимых проблем, как разжигание ненависти и подстрекательство, алгоритмы не работали. Для каждого языка и диалекта, в котором Facebook хотел преуспеть, ему пришлось бы создавать отдельные алгоритмы.

При наличии более 7000 признанных языков во