Сломанный код. Внутри Facebook и борьба за раскрытие его вредных секретов - Джефф Хорвиц

только на новые предложения по обеспечению целостности, но и на уже давно одобренные работы, команда Public Policy начала заявлять, что некоторые из них не соответствуют стандартам компании в отношении "легитимности". Пощадив Sharing, было решено полностью отказаться от понижения рейтинга контента, продвигаемого гиперактивными пользователями, который и так был снижен на 80 % при его принятии. (В конечном итоге его пощадили, но еще больше урезали).

" Мы не можем считать, что ссылки, которыми делились люди, которые много делились, плохие", - говорится в описании планов по отмене изменения. (На практике эффект от отмены Sparing Sharing, даже в ослабленном виде, был однозначным. Просмотры "идеологически экстремального контента для пользователей всех идеологий" немедленно выросли бы на двузначный процент, причем большая часть прироста пришлась бы на ультраправых).

Инициатива "Информированный обмен", которая понижала рейтинг контента, которым делились люди, не нажимавшие на соответствующие сообщения, и которая оказалась успешной в снижении распространения фальшивых новостей, также была выведена из употребления.

"То, что мы реже делимся контентом после его прочтения, не является хорошим показателем честности", - говорится в документе, обосновывающем планируемое прекращение работы.

Пресс-секретарь компании опровергла утверждения многочисленных сотрудников Integrity о том, что группа по публичной политике имеет право накладывать вето или сворачивать изменения в системе честности, заявив, что команда Каплана была лишь одним из многих голосов внутри компании. Но независимо от того, кто руководил процессом, траектория развития компании была очевидна. Facebook больше не просто медлила с работой над целостностью. Она активно планировала отменить большие куски этой работы.

 

-

Звонки Джина становились все более срочными и все более простыми.

Через несколько месяцев после своего первого предупреждения о том, что стремление компании к вирусному росту вредит безопасности пользователей и качеству контента, он написал еще одну служебную записку, озаглавленную "Определение успеха в устранении вреда целостности".

Инженер начал с простой предпосылки: Facebook никогда не сможет удалить все плохое со своей платформы, и ожидать этого неразумно. Но компания, очевидно, несет определенную ответственность - так что же означает успех в борьбе с проблемами честности?

"Успех - это решение всех проблем, где наши продукты непропорционально усиливают вред по сравнению с миром, в котором их не было бы", - написал он.

Этот принцип дети усваивают рано. Прежняя чистота пола на кухне не имеет отношения к тому, пролили ли вы на него что-то. Точно так же история о том, как наливание себе напитка закончилось опрокинутым кувшином, может быть сложной и даже достойной тщательного изучения, но эти вопросы не имеют отношения к тому, нужно ли вам принести швабру.

Для Facebook, пишет Джин, устранение беспорядка означает, что ей нужно обратить особое внимание на свои рекомендательные системы и функции, которые поощряли плохое поведение или были непропорционально склонны к злоупотреблениям. Чтобы избежать катастрофы на выборах 2020 года, пишет он , компании придется либо сократить число функций, усиливающих социальные проблемы, либо лучше отсеивать плохие.

Facebook предпочитает последний подход, отметил Джин, но технически его гораздо сложнее реализовать. Кроме того, очистка Facebook и Instagram с помощью таргетинга неправомерного поведения неизбежно вызывала опасения по поводу цензуры. Сколько бы денег Facebook ни потратила на эти усилия, она все равно рисковала потерять контроль над своими платформами.

В отличие от этого, продолжил Джин, Facebook может быть уверен в достижении своих целей на выборах 2020 года, если будет готов замедлить работу вирусных функций. Это может включать в себя введение ограничений на повторные публикации, пересылку сообщений и агрессивное алгоритмическое усиление - такие шаги, которые команды Integrity по всему Facebook настаивали на принятии уже более года. Эти меры были бы простыми и дешевыми. А главное, эти методы были проверены и гарантировали успех в борьбе с давними проблемами.

Правильный выбор был очевиден, предположил Джин, но Facebook, как ни странно, не желал его принимать. Это означало бы замедление роста платформы - единственный незыблемый принцип.

"Сегодня планка для достижения победы за честность (которая может быть негативной для вовлеченности) часто выше, чем планка для достижения победы за вовлеченность (которая может быть негативной для честности)", - сетует Джин. Если ситуация не изменится, предупредил он, это грозит катастрофой на выборах 2020 года из-за "безудержной вредоносной вирусности".

Как бы пессимистично ни оценивал Джин подготовку Facebook к выборам, она все же была сформулирована деликатно. Среди сотрудников службы добросовестности было принято замечать, что классификаторы Facebook не подходят для решения сложных задач по обеспечению соблюдения закона, которые от них требовали.

Даже с учетом понижения рейтинга, "по нашим оценкам, в Facebook, несмотря на то, что мы лучшие в мире специалисты в этой области, мы можем бороться с 3-5% случаев ненависти и 0,6% случаев [насилия и подстрекательства]", - говорится в одной из презентаций. По словам людей, работавших с ним, Джин знал эту статистику, но был слишком вежлив, чтобы подчеркнуть ее.

Не только Цивик и старые работники новостной ленты, вроде Джина, беспокоились к осени 2019 года. Множество исследователей, которые и близко не подходили к вопросам механики платформы, были напуганы. Хотя QAnon - теория о том, что, хотя президент Трамп проводит рекордное количество дней, играя в гольф, он также находится в смертельной схватке со злобными, педофильскими силами Глубинного государства, - зародилась на 4Chan и была инкубирована на Reddit, группы Facebook обеспечили ей тепличные условия для экспоненциального роста. Некоторый рост этого движения был обусловлен гиперактивностью его приверженцев. Те, кто купился на теорию заговора, представляя ее как борьбу Трампа со злом, распространяли ее с мессианским рвением.

Часть из них также исходила от алгоритмов Facebook. Как только Facebook узнал, что его "Группы, в которые вам стоит вступить" подпитывают немецкий экстремизм в 2016 году, платформа, как оказалось, необычайно любит рекомендовать QAnon.

Этот феномен не стал неожиданностью: рекомендательные системы, подобные той, что использует Facebook, неизбежно пытаются "завести" пользователей, и чем непонятнее их интересы, тем лучше. Знание о том, что кто-то увлекается греко-римской борьбой, помогает Facebook персонализировать его ленту больше, чем знание о том, что ему нравится футбол. Теории заговора, такие как QAnon, имеют именно такую узкую, но глубокую привлекательность.

Исследователи компании использовали несколько методов, чтобы продемонстрировать притяжение QAnon, но самое простое и наглядное доказательство было получено при создании тестового аккаунта и наблюдении за тем, куда его завели алгоритмы Facebook.

Создав фиктивный аккаунт для "Кэрол" - гипотетической сорокадвухлетней консервативной женщины из Уилмингтона, Северная Каролина, чьи интересы включали семью Трампа, Fox News, христианство и воспитание детей, - исследователь наблюдал, как Facebook направляет Кэрол от