Млечный Путь Номер 1 (27) 2019 год - Ефим Аронович Гаммер

Человек всему этому научился в процессе эволюции, продолжавшейся (и продолжающейся) миллионы лет. ИИ должен пройти этот путь за считанные годы или десятилетия. Ту же борьбу за "место под солнцем" с другими ИИ. Развить в себе сознание и самосознание, заранее не заложенные программистами - хотя бы потому, что мы сейчас и сами не знаем, что представляет собой наше сознание (и тем более - самосознание). До сих пор ведутся споры о том, является ли сознание результатом биохимических процессов в мозгу, или сознание - нечто внешнее по отношению к мозгу, нечто, зависящее от биохимии мозга, но не определяющееся полностью физико-химическими реакциями. Саморазвивающийся суперинтеллект будет много умнее человека, но пока ни в каких исследованиях нет ни малейших доказательств того, что ИИ будет обладать самосознанием, ни малейших данных, которые могли бы сказать: придет момент, и ИИ осознает себя... кем? Нет никаких доказательств того, что ИИ будут доступны эмоции и чувства: чувство собственного достоинства, чувство превосходства, зависти, наконец - а без этого сугубо рациональный интеллект вряд ли задумается о том, что хорошо бы стать правителем и убрать с дороги всех, кто этому мешает.

Разумеется, создатели ИИ все это прекрасно понимают. В нынешнем развитии того, что мы называем ИИ, нет ни одной реальной тенденции, которая в будущем (при попустительстве производителей ИИ) привела бы к тому, что у ИИ появится цель - уничтожить человечество и получить власть над миром.

Возражение: уже сейчас программисты создают такие сложные нейронные цепи, такие сложные ИИ, что не могут предсказать, как конкретно поступит ИИ в той или иной ситуации. Но цель задают конструкторы - ни один современный ИИ не может хоть на йоту изменить цель своего существования. Другое дело, что цели, которые ставит перед собой человек, бывают порой (часто!) такими сложными и неопределенными, что задавать их ИИ попросту бессмысленно.

Известный исследователь ИИ Стюарт Рассел говорит о том, что, "мы должны задать ИИ правильную цель, но, поскольку мы, похоже, не знаем, как ее программировать, правильный ответ, по-видимому, заключается в том, что робот должен учиться взаимодействовать с людьми, наблюдать за ними".

Идея хороша. ИИ не знает, чего человек хочет. А сам человек знает? И если даже знает, то ведь все люди хотят разного, мечтают о разном, цели разных людей очень часто противоречат друг другу (и возникают мотивы для убийств!).

Рассел приводит в пример историю с царем Мидасом, захотевшим (вот цель!), чтобы все, к чему бы он ни прикоснулся, обращалось в золото. Он и получил в точности то, о чем просил (как если бы его желание исполнил ИИ). Но разве Мидас в действительности хотел именно этого? "Нам не нужно знать, - продолжает Рассел, - чего мы хотим. То, о чем мы просим, не является доказательством того, что это действительно наша цель".

В русской литературе есть более знакомый пример: Золотой шар в фантастической повести Аркадия и Бориса Стругацких "Пикник на обочине". Идеальный ИИ, умеющий выполнять любые желания (наверное, те, что не противоречат законам природы?), но самосознанием не обладающий и, следовательно, собственных целей не имеющий.

"Счастье - для всех, даром!" Прекрасная цель, верно? Но в принципе недостижимая по той простой причине, что счастье - понятие сугубо индивидуальное. Счастье для одного может оказаться несчастьем для другого (в большинстве случаев это так и будет!). Чтобы сделать счастливыми всех, нужно сначала сделать всех одинаковыми!

Наверняка ИИ и не станет такие цели выполнять - не из вредности, поскольку у ИИ нет и вряд ли появятся такое сугубо человеческое качество, мешающее, а не помогающее развитию интеллекта.

Великую и (или) неопределенную цель ИИ "разобьет" на дерево "подцелей".

Говоря о том же царе Мидасе, Рассел приходит к выводу: "Если бы во времена Мидаса существовал ИИ, он объяснил бы царю, что в самой его просьбе есть ошибка, и на самом деле он не хочет, чтобы все, чего он касается, превратилось в золото. ИИ сказал бы Мидасу: "Выбери конкретные объекты, которые ты хочешь сделать золотыми, и тогда твоя просьба будет выполнена".

***

Понятие о цели - самое сложное в работе над ИИ. Если проектировщик задаст конечную цель так, чтобы ИИ ни при каких обстоятельствах не смог бы эту цель перепрограммировать, то ИИ в своем поведении будет подобен рабочему муравью. Истинным интеллектом тут и не пахнет.

Более вероятна ситуация, когда ИИ самостоятельно вырабатывает последовательные цели своих действий, учась на собственных ошибках. Именно о таких саморазвивающихся ИИ и говорят сейчас ученые и конструкторы, поскольку, по их мнению, высокоинтеллектуальный ИИ решит, что человек ему не нужен, и поставит себе цель - уничтожение нашей цивилизации.

Чтобы поставить такую цель, ИИ должен обладать самосознанием (которого у него нет), эмоциями и чувствами (которые ИИ можно научить имитировать, но не чувствовать реально).

***

Остановимся в своих рассуждениях и дадим слово тем самым писателям- фантастам, которые еще полвека назад продумали возможные последствия взаимодействия ИИ с человеком.

Вот один из ранних рассказов об ИИ: "Все грехи мира" Айзека Азимова, 1952 год. Всем, что происходит на Земле, управляет единый огромный, чрезвычайно умный искусственный мозг - Мултивак. Он знает о людях всё, контролирует все их поступки, управляет промышленностью, заводами, газетами, пароходами... Мултивак - ИИ, который учится на своих ошибках, сам себя достраивает, становится все сложнее - ситуация именно такая, какой боятся сейчас создатели ИИ.

И что же? Мултивак, став разумным (обретя сознание и научившись чувствовать), уничтожает человечество?

***

"- Вряд ли, - ответил Отман с какой-то безнадежностью в голосе. - Я никогда раньше об этом не задумывался, просто не предоставлялось случая. Но теперь мне кажется, что мы подошли к концу, так как Мултивак слишком совершенен. Он стал таким сложным, что способен мыслить и чувствовать, подобно человеку.

- Вы с ума сошли. Но даже если и так, что из этого?

- Уже более пятидесяти лет мы взваливаем на Мултивак все человеческие горести. Мы заставляем его заботиться о нас, обо всех вместе и о каждом в отдельности. Навязываем ему свои тайны. Без конца упрашиваем отвести таящееся в нас самих зло. Все мы идем к нему со своими неприятностями, с каждым разом увеличивая его бремя...Хотите я вам кое-что покажу. Давайте я проверю свою догадку...

Пальцы его уверенно выстукали вопрос:

"Мултивак, что хочется тебе самому больше всего на свете?"

Пауза между вопросом и ответом тянулась мучительно долго. Отман и Галлимен затаили дыхание.

И