Сломанный код. Внутри Facebook и борьба за раскрытие его вредных секретов - Джефф Хорвиц

Несмотря на заверения Цукерберга, проблемы с группами оставались очевидными и хроническими. Электронные письма, позже переданные следователям Палаты представителей в рамках расследования Комитета от 6 января, показывают, что Самидх Чакрабарти, Гай Розен и Том Элисон, тогдашний вице-президент по инженерным вопросам, получили оценку того, что состояние групп в преддверии следующих президентских выборов было катастрофическим.

"Вредные гражданские группы растут быстрее, чем наши системы обеспечения целостности могут с ними справиться", - говорится в электронном письме, направленном мужчинам. "Мы все еще подвержены риску во время выборов в США 2020 года, поскольку эти группы разрастаются и ускользают от обнаружения".

Когда до выборов оставались считанные месяцы, Integrity сформировала "Целевую группу групп", чтобы заставить руководство компании пересмотреть свой подход. Трамп отказывался говорить, признает ли он результаты выборов, если проиграет Джо Байдену. Опасения по поводу беспорядков и даже насилия росли.

У целевой группы было две основные функции. Первая была посвящена теме "Рост злоупотребляющих групп" и предлагала меры по замедлению роста групп, по крайней мере, достаточно долго, чтобы дать команде время для устранения нарушений. Какова бы ни была нормальная терпимость Facebook к быстрому росту ужасных групп, ее следует снизить, по крайней мере, на данный момент, утверждали сотрудники. В презентации для руководства исследователи написали, что примерно "70 % из 100 самых активных гражданских групп США считаются нерекомендованными из-за таких проблем, как ненависть, дезинформация, запугивание и преследование".

"Нам нужно что-то сделать, чтобы остановить эти разговоры и не дать им развиваться так быстро, как они развиваются", - пишут они.

Этот аргумент приводился и раньше, и его игнорировали, но широкие круги руководства Facebook были взбудоражены приближающимися выборами. В электронном письме своему коллеге из отдела политики Facebook Розен заявил, что Facebook необходимо "немного притормозить" в работе с группами. "Некоторым из крупнейших гражданских групп буквально пару недель от роду - представьте, как быстро они вырастут в октябре или ноябре, прежде чем мы успеем их охватить", - предупредил Розен.

В знак молчаливого признания того, что существующий надзор Facebook за группами не функционирует, Сагник Гош и другие инженеры Civic были призваны создать инструменты, которые могли бы надежно выводить проблемный контент групп на человеческий обзор или назначать автоматические удары администраторам. Все это не было чем-то революционным, но в последние месяцы выборов Розен уделял приоритетное внимание работе с группами, получившими широкую известность. Того же нельзя было сказать о генеральном директоре компании.

По иронии судьбы, как раз в тот момент, когда топ-менеджеры Facebook осознали токсичность групп, платформа удалила одну из них, в которой состоял Цукерберг. Группа была быстро восстановлена, но не раньше, чем Цукерберг начал внутреннюю кампанию против чрезмерного влияния социальных медиа. Приказав создать команду, которая будет заниматься предотвращением неправомерных удалений контента, Цукерберг потребовал от старших сотрудников регулярных брифингов о ходе работы. Он также предложил, чтобы вместо жесткого соблюдения правил платформы в отношении контента в группах, Facebook больше полагался на чувства пользователей в них. В ответ на это один из сотрудников предложил полностью освободить частные группы от за "низкоуровневый язык ненависти".

Вряд ли это была благоприятная обстановка для исправления того, что даже топ-менеджеры Facebook признавали вопиющей проблемой. Когда один из инженеров предложил Facebook снизить количество ударов, необходимых для удаления группы, с пяти до трех, глава отдела ленты новостей Джон Хегеман ответил, что, по его мнению, идея здравая, но настолько проигрышная, что ее даже не стоит предлагать. По его словам, руководство уже отклоняло подобные предложения, и "маловероятно", что они захотят снова обсуждать этот вопрос.

Несмотря на несговорчивость генерального директора, к сентябрю компания внесла несколько основных изменений, одобренных Цукербергом. Компания прекратила активное продвижение нерекомендованных групп в ленте новостей и, наконец, установила некоторые ограничения на "массовые приглашения". Она согласилась временно прекратить рекомендовать все группы, посвященные гражданскому обществу и здравоохранению, и ввела трехнедельный период ожидания, прежде чем вновь созданные группы по любой тематике смогут быть рекомендованы пользователям Facebook.

Наконец, команда внесла свой вклад в арсенал вмешательств Civic Integrity "Разбей стекло". Если бы в день выборов все пошло наперекосяк, компания могла бы включить рубильник и заставить администраторов групп с историей нарушения правил Facebook вручную утверждать все посты участников. Такое изменение одновременно замедлит работу групп в целом и заставит администраторов нести ответственность за одобренный ими контент.

Вторая часть работы группы Groups Task Force была направлена на то, чтобы наконец разобраться с некоторыми из худших групп на сайте. Чтобы получить разрешение на их удаление, руководитель группы начал ежедневно отправлять Розену и другим топ-менеджерам анализ активности в группах вместе с образцами их худшего контента.

Все это вызывало сильный ужас - люди призывали к линчеванию и гражданской войне. Одна группа была наполнена "восторженными призывами к насилию каждый день". Другая группа утверждала, что ее создали патриоты, поддерживающие Трампа, но на самом деле ею управляли "финансово мотивированные албанцы", ежедневно направлявшие миллион просмотров на фальшивые новости и другой провокационный контент.

Комментарии часто были хуже самих постов, и даже это было сделано специально. Содержание постов было зажигательным, но не достигало границ, установленных Facebook для удаления. Однако оно было достаточно плохим, чтобы вызвать гнев пользователей - классическая "приманка для ненависти". Администраторы были профессионалами, и они понимали слабые места платформы не хуже, чем Сивик. В ленте новостей гнев поднимался, как воздушный шар, и такие комментарии могли вывести группу в лидеры.

Ранее Public Policy отказывалась принимать меры в отношении приманки для разжигания ненависти. Как можно было бы обвинить того, кто разместил новостную статью, в комментариях под ней? Но, учитывая приближающиеся выборы и общее состояние беспорядка, в котором оказалась страна, все стали немного более восприимчивыми, чем раньше. Размещение призывов к ненависти по-прежнему не являлось нарушением правил Facebook, но руководство согласилось с тем, что если Целевая группа по группам сможет собрать достаточно примеров официального неправильного поведения определенной группы, то они смогут закрыть ее. Команда сотрудников будет следить за известными проблемными группами, ждать, когда они переступят черту, а затем аргументировать, почему нарушения оправдывают нанесение удара по ним.

Можно утверждать, как это уже давно делала команда Facebook по публичной политике, что такая проверка отражает предвзятость. В качестве контраргумента можно сказать, что платформа уже была настроена на провал.

"Мы сильно переобещали в отношении нашей способности модерировать контент на платформе", - написал Розену один из специалистов по анализу данных в сентябре. "Мы нарушаем и будем продолжать нарушать наши недавние обещания".

В кои-то веки аргумент "лучше перебдеть, чем недобдеть" победил.

-

В