Сломанный код. Внутри Facebook и борьба за раскрытие его вредных секретов - Джефф Хорвиц

данных и здравого смысла, чтобы отличить вредоносных пользователей от нормальных, но не только для электронной почты, но и для рекламного мошенничества и фиктивных отзывов. Самой большой константой было то, что злоумышленники, как правило, были слишком увлечены использованием продуктов компании. Google хотел, чтобы люди отправляли много писем, кликали на рекламу и писали много отзывов - но только до определенного момента. Слишком частое выполнение действий вызывало подозрение, а то и откровенную враждебность. Самыми опасными пользователями были те, которые с точки зрения простого использования выглядели как самые лучшие.

"Гиперактивные и исключительные вещи не вызывали доверия, - говорит Макнелли. Иногда неадекватное поведение было автоматизировано, но не всегда. Один из внутренних продуктов Google под названием "Zip It" изучал распределение по времени пятизвездочных оценок пользователей, чтобы бороться с попытками манипулировать порядком в списках покупок. Отображение слишком большого количества восторженных отзывов о слишком большом количестве товаров было признаком злого умысла. Если кто-то писал двадцать различных пятизвездочных отзывов о товарах за один день, надлежащей реакцией было игнорирование всех этих отзывов.

Успех Google в поиске характерных признаков плохого поведения позволил создать сервисы и результаты поиска, превосходящие конкурентов. Такие проблемы, как спам и рекламное мошенничество, никогда не будут решены полностью - всегда найдутся плохие игроки и ошибки. Но до тех пор, пока Google не прекращал обучение своих моделей обнаружения, система в целом работала.

Facebook нанял Макнелли, чтобы тот использовал те же методы обнаружения и машинного обучения для участия в своей новой битве с дезинформацией. Изначально Макнелли получил команду из двадцати сотрудников, он был старше большинства руководителей Facebook и более утомлен. После того как почти два десятилетия занимался борьбой с мошенниками в недрах Интернета, он не был склонен "предполагать добрые намерения". Именно из-за этой несклонности он и был нужен компании.

"Технология имеет непредвиденные последствия, а благими намерениями вымощена дорога в ад", - сказал Макнелли в интервью много лет спустя. "Цукерберг, Крис Кокс и другие признавали, что что-то не так и что можно сделать лучше. Я пришел в Facebook не как поклонник, а чтобы попытаться быть полезным".

Помимо того, что Макнелли пришлось разубеждать других в том, что корпорация обязана мыслить благотворительно, он также должен был приспособиться к подходу Facebook к экспериментам. В Google любое значимое изменение алгоритма поиска требовало тщательного изучения последствий. Каким бы ни было предложение, сотрудники, выступающие за него, составляли для своего начальства из команды по качеству поиска диаграмму, демонстрирующую его последствия и объясняющую, почему они считают, что измененные результаты новой модели являются улучшением.

Иногда Facebook проводил подобную оценку, но она была слишком дорогой и трудоемкой, чтобы стать регулярной. Вместо этого о целесообразности изменения алгоритма судили по тому, как он изменял около десятка основных показателей, таких как продолжительность сеансов пользователей, объем создаваемого ими контента и степень взаимодействия с другими пользователями.

Как и в случае с коллегами из Google, у команды, предлагающей изменения, обычно была теория о том, почему эта мелочь улучшит платформу. Например, есть интуитивная логика в том, что новые пользователи должны найти своих друзей, чтобы сделать платформу интересной. Может ли приоритет свежих аккаунтов в рекомендациях Facebook "Люди, которых вы можете знать" ускорить этот процесс и помочь новым пользователям начать с лучшей ноги?

Имея на руках правдоподобную идею, команда, отвечающая за рост числа друзей, в течение нескольких недель тестировала ее варианты на крошечных долях пользовательской базы Facebook на незначительных рынках, пробуя версии до тех пор, пока не определила ту, которая, казалось бы, лучше всего увеличивает число друзей. До тех пор, пока команда не нанесет ущерб другим показателям, которые волнуют Facebook, перестройка рекомендаций People You May Know станет сильным кандидатом на запуск.

Казалось бы, это интуитивный подход, но, по мнению Макнелли, здесь не хватало аналитического слоя. Конечно, нет ничего плохого в том, что Facebook разворачивает приветственный вагон для новых пользователей, но имеют ли результаты смысл в реальном мире? Были ли новые связи, которые завязывались, настоящими, или все они были связаны с молодыми женщинами с глянцевой внешностью, как на стоковых фотографиях? Действительно ли эти новые друзья вели себя так, как будто действительно знали друг друга?

В Facebook, как он понял, никто не отвечал за то, чтобы заглянуть под капот. "Они доверяли показателям, не вникая в отдельные случаи", - говорит Макнелли. Это было частью принципа "Двигайся быстро". Ежегодно запускались сотни проектов, в основе которых лежали только показатели прибыли".

Еще кое-что беспокоило Макнелли. Показатели целей Facebook, как правило, рассчитывались в средних величинах.

"В статистике часто встречается явление, что среднее значение непостоянно, поэтому некоторые патологии могут выпадать из геометрии показателей цели", - говорит Макнелли. В своем сдержанном, математическом стиле он называл самые святые показатели Facebook дерьмом. Принимать решения, основываясь только на метриках, без тщательного изучения их влияния на реальных людей, было безрассудно. Но делать это на основе средних показателей было просто глупо. Средний показатель может вырасти, потому что вы сделали что-то, что в целом было полезно для пользователей, или же он может вырасти, потому что нормальные люди стали пользоваться платформой чуть меньше, а небольшое количество троллей - гораздо больше.

Все в Facebook понимали эту концепцию - это разница между медианой и средним значением, тема, которую обычно преподают в средней школе. Но в интересах целесообразности все основные показатели Facebook были основаны на совокупном использовании. Это было похоже на то, как если бы биолог измерял силу экосистемы на основе сырой биомассы, не в силах отличить здоровый рост от токсичного цветения водорослей.

Если Карлос Гомес-Урибе обрушивался с резкой критикой непосредственно на руководителей, контролировавших News Feed, то Макнелли работал внутри системы. Он с энтузиазмом воспринял попытки Гомеса-Урибе отменить льготное отношение News Feed к гиперактивным пользователям и был разочарован, когда по настоянию Цукерберга эта попытка застопорилась, а ее эффект снизился на 80 %. Но прагматизм Макнелли отражал прагматизм систем, которые он пытался создать. В рамках параметров, установленных Facebook, его команда предпринимала самые эффективные шаги.

Демонстрацией такого подхода стала ранняя работа Facebook над дезинформацией. К 2017 году Facebook отказалась от убеждения, что благодаря мудрости толпы пользователи будут самостоятельно распознавать ложь и не распространять ее. Разоблачения, связанные с выборами 2016 года, быстро поставили крест на этой линии мышления. Но Facebook по-прежнему не желал брать на себя работу по определению истины самостоятельно, поэтому он наладил партнерские отношения с внешними организациями по проверке фактов.

Их журналистские усилия помогли Facebook выявить сомнительные истории и затем