Сломанный код. Внутри Facebook и борьба за раскрытие его вредных секретов - Джефф Хорвиц
Шрифт:
Интервал:
Закладка:
В страстном меморандуме и других подобных ему перечислялось множество вещей, которые компания могла бы сделать для предотвращения злоупотреблений. Речь шла об усовершенствовании классификаторов, изменении политики и проведении социальной рекламы. Используя машинное обучение, Facebook мог бы выявлять филиппинок, ищущих работу за рубежом, а затем информировать их о том, как заметить "красные флажки" в объявлениях о работе. В странах Персидского залива Instagram может запустить рекламные ролики о правах работников.
По целому ряду причин этого не произошло. В одной из служебных записок отмечается опасение, что, если рекламные ролики на арабском языке, предостерегающие от жестокого обращения с домашней прислугой, будут слишком сильно сформулированы, это может "оттолкнуть покупателей". Но главным препятствием, по словам людей, знакомых с командой, были просто ресурсы. Команда, постоянно занимающаяся торговлей людьми - а это не только незаконный ввоз людей для работы и секса, но и продажа человеческих органов - насчитывала полдюжины человек по всему миру. Команда просто не была достаточно многочисленной, чтобы справиться с этим делом.
На момент написания этой книги ее по-прежнему можно легко обнаружить.
-
Компания платит сотрудникам за то, что они изучают и иногда работают над решением этих и других проблем, но без регулярного контроля со стороны репортеров, охотящихся за историями, и рекламодателей, заботящихся о бренде, Facebook часто казался институционально неспособным - или не желающим - обеспечить постоянную способность сосредоточиться на них.
Многие из проблем были основополагающими. Facebook так и не удосужился перевести свои общественные стандарты на языки, на которых говорят десятки миллионов людей. Для проверки контента на других языках компания часто привлекала подрядчиков, а сообщения на сирийском и иракском арабском направляла подрядчикам в Марокко, для которых они были непонятны. Во внутренней проверке это было названо несоблюдением "минимального стандарта", согласно которому модераторы, работающие по контракту, должны понимать язык контента, который они проверяют.
Больше денег, конечно, помогло бы в работе по обеспечению международной целостности, но сотрудники Менло-Парк осознали, что столкнулись с другой проблемой. В компании, которая требовала масштабирования во всем, что делала, классификаторы не могли надежно работать на разных языках. Только классификаторы, основанные на изображениях, например те, которые сканируют наготу, действительно легко масштабировались в глобальном масштабе. Все остальное приходилось делать на разовой основе. Например, для поддержки гражданского классификатора компании Facebook требовалось постоянно отслеживать не только лиц, занимающих государственные должности, но и места, людей и термины, имеющие общественное значение. Почти постоянное переобучение было необходимо; некогда малозаметные вещи - например, имя Джорджа Флойда - могли в одночасье превратиться в эпицентр напряженности.
Гражданственность была не единственным классификатором, который нуждался в уходе и питании. Только для целостности были выделены такие категории, как язык ненависти, терроризм, дезинформация, насилие и подстрекательство, пограничная враждебная речь и другие. Если бы компания хотела, чтобы эти классификаторы работали на португальском языке, ей пришлось бы отдельно привлекать специалистов по маркировке и инженеров для их создания, а затем учитывать региональные различия между Португалией, Бразилией и Анголой.
Создание вариаций классификаторов, которые надежно работали бы во всем мире, может показаться непосильной задачей, пока вы не вспомните, что точность и запоминание классификаторов часто оказываются незначительными даже в американском английском. Тогда проблема начинала казаться невыполнимой.
ИИ был краеугольным камнем стратегии Facebook по управлению своей платформой, но эта стратегия не могла работать за пределами нескольких основных языков на основных рынках. Только в Индии насчитывается более двадцати официальных языков. Уже в 2021 году сотрудники говорили о классификаторах выборов на двух ведущих языках, хинди и бенгали, как о "недоразвитых", "устаревших" и "не очень уловимых". Даже элементарных классификаторов не существовало для большинства остальных индийских языков, на которых в мире говорит больше людей, чем на английском. И Facebook не планировал их создавать.
Отсутствие адаптированного ИИ не только лишило людей, говорящих на этих языках, тех улучшений, которые могла бы дать автоматизированная система модерации контента. Это означало, что версия платформы, с которой они сталкивались, становилась только хуже.
К 2020 году компромисс между ростом и честной работой был хорошо принят внутри Facebook. Компания могла с точностью отрицать, что лента новостей способствует росту ненависти и лжи, но не могла сказать, что стимулирование роста в ленте новостей не приводит к росту ненависти и лжи как побочному эффекту. Эта реальность привела к постоянным переговорам между командами, ориентированными на рост и честность. Если компания изменяла ленту новостей таким образом, что сенсации росли во всем мире, она могла снизить уровень сенсаций в США или Германии, чтобы компенсировать это. Но для многих рынков, объединенных в категорию "Остальной мир", такая реакция была невозможна.
В силу сложившихся обстоятельств команда At Risk Country оказалась в несколько стесненных обстоятельствах. Чем больше платформа инвестировала в языковой ИИ для смягчения социальных проблем, тем больше увеличивался разрыв между рынками, где такие классификаторы существовали, и теми, где их не было. " Большинство наших систем контроля честности менее эффективны за пределами США", - писал Тони Лич, глава команды ARC, в конце 2020 года, подводя итоги своей работы. "Классификаторов либо не существует, либо они работают хуже", - писал он, - и "нам не хватает человеческой поддержки".
Команда Лича стремилась когда-нибудь создать классификаторы и вмешательства американского качества для стран, подверженных риску насилия в обществе, но компания не собиралась делать это в ближайшее время. В таких странах, как Мьянма и Йемен, Facebook все еще не хватало даже элементарных классификаторов для выявления подстрекательства к насилию и восхваления ненавистных деятелей, не говоря уже о возможности целенаправленного вмешательства в кризисную ситуацию.
Во время этнорегиональной гражданской войны в Эфиопии у Facebook не было классификатора языка ненависти ни для одного из основных языков страны. Количество проверок фактов на одного пользователя там было на 3 % меньше, чем в США, и даже не позволяло людям сообщать о нарушении содержания на языке оромо, языке самого густонаселенного региона Эфиопии.
"Мы в значительной степени слепы к проблемам на нашем сайте", - говорится в презентации Лича, посвященной Эфиопии.
Сотрудники Facebook выпустили множество внутренних работ, подобных этой: заявления о том, что компания запуталась в себе и не в состоянии обеспечить даже элементарное устранение потенциально ужасных проблем. События на платформе вполне могли привести к гибели людей и почти наверняка привели, утверждают правозащитные группы, ведущие мониторинг в Эфиопии. Меарег Амаре, преподаватель университета в Аддис-Абебе, был убит возле своего дома через месяц после
