Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир - Кейд Метц

Не только посторонние, но даже многие сотрудники Google Brain не совсем представляли себе, к чему это все приведет. И Эндрю Ын тоже был в их числе. Лаборатория продолжила наращивать обороты, однако он решил уйти. У него был другой проект в разработке, который тоже требовал его внимания. Речь шла о стартапе Coursera, который специализировался на MOОК, «массовых открытых онлайн-курсах», дистанционном способе получения университетского образования через интернет. В 2012 году это была одна из тех витавших по Кремниевой долине идей, которые, по убеждению предпринимателей, инвесторов и журналистов, могли в один прекрасный момент полностью изменить мир. В то же самое время Себастьян Трун занимался созданием аналогичного стартапа под названием Udacity. Однако ни один из этих проектов не мог соперничать с тем, что вот-вот должно было развернуться в Google Brain.

Уход Ына косвенным образом катализировал проект. Перед отъездом он предложил себе замену: Джеффа Хинтона. Сегодня, оглядываясь назад, все участники тогдашних событий воспринимают это как совершенно естественный шаг. Хинтон был не только наставником Ына; именно ему лаборатория обязана своим первым большим успехом – ведь это он годом ранее командировал в Google Навдипа Джейтли, и тому удалось на практике реализовать технологию, которую Хинтон вынашивал десятилетиями. Но когда весной 2012 года ему предложили место в Google, он не захотел снова покидать Университет Торонто. Ему было уже шестьдесят четыре года, у него была преподавательская работа и длинная череда аспирантов и докторантов, которыми он руководил. Поэтому он согласился лишь на то, чтобы провести в новой лаборатории летние месяцы125. Из-за особенностей правил найма, принятых в Google, компания пригласила его в качестве стажера – наравне с десятками студентов колледжей, стажирующихся у них на летних каникулах. В течение первой недели, когда стажеры знакомились с новым местом работы и проходили обучение, он ощущал себя динозавром126: например, среди присутствующих он, казалось, был единственным, кто не знал, что для входа в компьютерную сеть Google используется LDAP-авторизация. «В скором времени они попросту приставили ко мне одного из четырех инструкторов», – вспоминает он. Но за эту ознакомительную неделю он обратил внимание на еще одну группу людей, которые явно были не местные: они имели начальственный вид, ходили в сопровождении личных помощников и, казалось, постоянно улыбались до ушей. Однажды за обедом Хинтон подошел к ним поинтересоваться, что они делают среди стажеров, и они ответили, что их компания только что была приобретена Google. «Продать свою компанию Google, – подумал он тогда, – чем не повод для широкой улыбки?»

Тем летом штат Google Brain расширился до десяти с лишним исследователей, и лаборатория переехала в здание, расположенное рядом с главным корпусом, где размещались Ларри Пейдж и остальные директора. Хинтон знал одного из сотрудников, бывшего постдока из Торонто по имени Марк’Аурелио Рандзато, и тот был под впечатлением от Джеффа Дина. Он сравнивал Дина с Барнсом Уоллесом, ученым и изобретателем двадцатого века, о котором рассказывает британский фильм о войне «Разрушители плотин». В одном из эпизодов фильма Уоллес просит чиновника127 предоставить в его распоряжение бомбардировщик Wellington. Он хочет провести испытания бомбы128, которая прыгает по воде – сколь бы нелепой и неосуществимой эта идея ни казалась. Чиновник отказывается129, объясняет, что идет война и что каждый бомбардировщик на счету. «Да они на вес золота»130, – говорит он. Но когда Уоллес напоминает131, что бомбардировщики Wellington – тоже его рук дело, ему дают то, что он хочет. Во время летней стажировки Хинтона один из проектов столкнулся с проблемой: был достигнут потолок доступной вычислительной мощности, установленный в соответствии с принятыми в Google правилами. Когда исследователи сообщили об этом Джеффу Дину, он заказал под этот проект компьютеров еще на 2 миллиона долларов. Он был создателем инфраструктуры Google, и это означало, что он мог использовать ее так, как считал нужным. «Он создал своего рода убежище, в котором команда Google Brain могла спокойно работать, не думая ни о чем другом, – говорит Хинтон. – Если тебе что-то нужно, скажи об этом ты Джеффу, и он обеспечит». Необычным в Дине Хинтон находил то, что в отличие от большинства столь же умных и могущественных людей, ему были неведомы эгоистические мотивы. Он всегда был готов помочь, всегда стремился к сотрудничеству. Хинтон сравнивал его с Исааком Ньютоном, вот только Ньютон был человеком малоприятным. «Большинство ученых, таких как Ньютон, например, – люди злобные и завистливые. Характер Джеффа Дина, кажется, лишен этой черты».

Ирония ситуации заключалась в том, что вся эта огромная компьютерная сеть со всей ее производительностью работала большей частью вхолостую, потому что компьютеры были не те. Система распознавания речи Навдипа Джейтли успешно обучалась с использованием компьютеров, оснащенных графическими процессорами. Однако Дин и другие основатели Google Brain обучали свою систему, получившую название DistBelief, на компьютерах, из которых складывалась глобальная сеть Google’овских центров обработки данных и которые были оснащены тысячами центральных процессоров132 – но не графических. Себастьян Трун пытался было добиться от руководителя отдела инфраструктуры установить в центрах обработки данных машины с графическими процессорами, но ему было отказано на том основании, что это усложнит работу дата-центров компании и увеличит их расходы. Когда Джефф Дин и его команда представили свои методы на одной из крупных конференций по искусственному интеллекту, Ян Гудфеллоу, тогда еще студент Монреальского университета, присутствовавший в аудитории, встал и упрекнул докладчиков за то, что они не используют графические процессоры, хотя вскоре он пожалеет о том, что позволил себе публично – и так небрежно – критиковать Джеффа Дина. «Я тогда понятия не имел, кто он такой, – говорит Гудфеллоу. – Теперь-то я почти боготворю его».

Для функционирования системы DistBelief не только компьютеры были неправильные. Как оказалось, неправильно был выбран и тип обучаемых нейронных сетей. Обычно исследователям в процессе обучения нейронной сети приходилось аннотировать каждое изображение, чтобы оно было правильно воспринято. Необходимо было идентифицировать каждую кошку как кошку, обводя каждую кошачью морду на снимке ограничивающей рамкой. Но в «Статье о кошках», на принципах которой строилась работа в Google’овской лаборатории, речь шла о системе, способной учиться распознавать кошек – или другие объекты – без предварительной аннотации изображений133. Хотя Дин и его коллеги показали, что можно обучать систему без предварительной разметки134, это не отменяло того факта, что нейронные сети проявляют себя гораздо более точными, надежными и эффективными, если исходные данные, которые они получают в процессе обучения, предварительно аннотируются.