Журнал "Компьютерра" №729 - Компьютерра

Предварительно подчеркнем: говорить о противодействии обучению технической системы, "межкомпьютерном" троянском обучении и т. д. имеет практический смысл, только если реализуемы сами эффективные обучающиеся и обучающие компьютерные системы (споры же об их реализуемости ведутся ожесточенные). Любое троянское обучение использует особенности "просто" обучения (обучения "без злого умысла"), паразитируя на нем, и возможно лишь на его основе. После этой оговорки продолжим рассуждение о потенциальных направлениях развития "умных" технических систем.

Несмотря на дискуссионность вопроса, в настоящее время многие исследователи считают важнейшим и самым перспективным направлением в области искусственного интеллекта создание систем, способных к обучению. Со своей стороны заметим: в силу психологических закономерностей в случае появления высокоэффективных обучающихся систем некоторые из людей, работающие в областях жесткой (жестокой) конкуренции, займутся созданием обучающихся систем второй и последующих ступеней. То есть среди направлений развития искусственного интеллекта может появиться разработка компьютеризованных систем:

а) противодействующих обучению других технических систем, понижающих их обучаемость и "интеллектуальный уровень" (это может быть выгоднее, чем прямое уничтожение системы или полная и явная остановка ее функционирования);

б) систем, обучающихся и повышающих свой "интеллектуальный уровень" именно в условиях противодействия их функционированию.

Эти возможности развития обучающихся систем искусственного интеллекта совершенно не осознаются.

Более того, прогнозы в связи с обучением интеллектуальных систем делаются оптимистические, обещающие всеобщий расцвет и гармонию. Но на самом деле тому, кто считает, что обучаемость технического устройства - управляемая переменная, изменяющаяся в определенном диапазоне, один шаг до того, чтобы понять: можно пытаться не только поднимать значение этой переменной, но и опускать его до нуля. Затем кто-то может попытаться придать содержательный смысл переводу обучаемости в значения ниже нуля, в отрицательную область - эскалация возможностей представляется здесь безграничной.

Интересно, что сейчас среди огромного количества научной и ненаучной литературы, эксплуатирующей тему столкновения систем искусственного интеллекта (например, роботов, враждующих суперкомпьютеров и т. д.) как их физической схватки, перепрограммирования друг друга и т. д., нам не удалось обнаружить констатации того, что полем конкуренции систем искусственного интеллекта может стать обучаемость, ее повышение и понижение - и это при том, что сама способность приобретать знания оценивается невероятно высоко. Почему-то мало осознается, что придание высокого веса знаниям и обучаемости в картине мира может вести соперников - не только людей - как к повышению своей собственной обученности и обучаемости, так и к попыткам ослабления чужой.

Что думают эксперты в области информационных технологий по поводу проблемы "совместного обучения" искусственных систем - при ее явно представленной формулировке? Как часто подчеркивается, в области спамовой и антиспамовой борьбы, на этом переднем крае развития интеллектуальных систем, контуры которого видны и рядовому пользователю, сражаются именно самообучающиеся программы, причем их самообучение все более эффективно.

Поэтому я обратился с вопросом к разработчикам антиспамовой защиты Яндекса, опубликовавшим статью "Принципы и технические методы работы с незапрашиваемой корреспонденцией", - И. Сегаловичу, Д. Тейблюму, А. Дилевскому, а также разработчику языков программирования и компьютерных программ различного назначения, в том числе антиспамовых фильтров, писателю и художнику Полу Грэму (очень рекомендую его статью "Хакеры и художники"). Я спросил, считают ли они, основываясь на своем опыте, что возможными направлениями развития искусственного интеллекта может стать разработка систем: а) противодействующих обучению других систем искусственного интеллекта; б) обучающихся в условиях противодействия. От российских авторов я не получил отклика (возможно, из-за надежной работы антиспамовых фильтров Яндекса). Грэм ответил утвердительно на обе части вопроса и подчеркнул: спамовые фильтры сейчас разрабатываются так, чтобы в процессе обучения их было трудно обмануть, и в целом в большинстве областей искусственного интеллекта решения будут такими, чтобы избежать обмана.

Зарубежная фирма предложила Государственному научному центру РФ "Физико-энергетический институт" бесплатное обучение технологии компьютерных расчетов для атомных электростанций. При юридической экспертизе оказалось, что в случае принятия предложения фирма может, пользуясь правом интеллектуальной собственности, наложить вето на любую международную сделку института, в которой использовалась эта технология. Глава Центра охарактеризовал это обучение как средство "закабаления конкурента" [Коновалова И., Коновалов Б. Все на Продажу // Вечерняя Москва. №28 (22313). 5 февраля 1998. С. 6.]. В данном примере важно, что чем качественнее и универсальнее было бы исходное обучение и чем шире обучаемые использовали его результаты, тем масштабнее и разрушительней стал бы эффект последующих действий стороны, организовавшей обучение. Это обучение должно было стать поистине троянским.

Подчеркнем, что речь идет именно об управлении обучаемостью, а не об управлении обучением. Ведь пытаться управлять обучением человека (интеллектуальной системы, программного агента) как процессом приобретения им тех или иных знаний, умений, навыков можно и не прибегая к изменению его обучаемости. Многие виды животных целенаправленно учат своих детенышей. Но нет никаких данных, что они целенаправленно управляют их обучаемостью - хотя стихийно, вероятно, влияют на нее.

Целенаправленная разработка и реализация программ повышения обучаемости "учись учиться" - это прерогатива человека и, возможно, созданных им искусственных систем.

Для того чтобы поставить задачу повышения обучаемости одних субъектов (программных агентов и т. д.) и понижения обучаемости других, необходимо иметь достаточно развитую теорию обучения, которая постулирует изменчивость обучаемости[Не всякая теория обучения постулирует изменчивость обучаемости. Обучаемость может пониматься и как неизменное качество на протяжении существования субъекта, например, в силу жесткой генетической детерминации.], описывает факторы, влияющие на нее, а также содержит еще один принципиально важный компонент. Это представления об особенностях обучаемости и интеллекта именно того объекта (человека, социальной группы, технической системы), на который направлены позитивные или негативные обучающие воздействия.

Припомним здесь снова две сказки: в одной лиса учит волка, как ловить рыбу на собственный хвост в проруби, а в другой баба-яга учит Иванушку садиться на лопату, намереваясь отправить его в печь.

Результаты, как известно, оказались противоположными для организаторов обучения. Волк, как и хотела лиса, примерз к проруби, лишился хвоста и еле ноги унес от разъяренных селян, сама же она осталась при барышах. А у бабы-яги, в отличие от лисы, дела сложились не так хорошо. Эта "организаторша обучения" погорела в прямом и переносном смысле на том, что Иванушка, всячески подчеркивая свою крайне низкую обучаемость, попросил ее продемонстрировать лично, как же надо садиться на лопату.

В обоих случаях в выигрыше оказался тот, кто лучше представлял себе, что делается в голове у другого: каков его интеллект и на что его можно спровоцировать, в том числе (или даже - прежде всего) в процессе обучения.

Для анализа сказочных, а также вполне реальных ситуаций такого рода больше всего подходит понятие рефлексивного управления соперником и понятие "формирование доктрины противника посредством его обучения", которые отечественный психолог и математик Владимир Александрович Лефевр ввел сорок лет назад в своей теории конфликтующих структур [Лефевр В. А. Конфликтующие структуры. - М.: Ин-т психологии РАН, 2000]. (В 1974 году он эмигрировал в США и ныне работает в Институте математических наук о поведении - Institute for Mathematical Behavioral Sciences, Университет Калифорнии.)

Рефлексия в его теории понимается как размышления о мышлении другого человека. Глубина рефлексии, или ее ранг, определяется длиной цепочки рассуждений: "Я думаю, что ты думаешь, что он подумал..." и т. д. В антагонистических играх рефлексия может способствовать успеху более продвинутого игрока, ломая при этом объективно имевшиеся отношения превосходства и переворачивая казавшуюся незыблемой иерархию. Можно ожидать, что и в троянском обучении, и в защите от него более успешными тоже будут те интеллектуальные системы, в которые встроена рефлексивная способность - способность разбираться в чужом устройстве обучаемости.