О чем говорят машины: почему чат-боты пока не опасны для человечества
Пока компьютеры лишь делают вид, что понимают собеседника — они просто подставляют в разговор те слова, которые видели раньше в похожем окружении. Что эти слова означают, им по-прежнему неизвестно
В последнее время появилось много новостей, связанных с искусственным интеллектом, а точнее, с той областью, которую принято называть обработкой естественного языка (natural language processing), или NLP.
Генерация текстов
Для начала давайте попробуем понять, что такое NLP. Это область машинного обучения, направленная на решение задач, связанных с письменными текстами. Распознавание речи является близкой, но отдельной задачей, которая сейчас, кажется, никого уже не удивляет: если у вас есть мобильный телефон, то вы, вероятно, говорили: «О'кей, Гугл» или «Привет, Сири». За распознаванием речи стоит та же самая NLP, про которую мы сказали выше.
Раньше задачами NLP были кластеризация (например, собирание новостей про одно событие в сюжет) или классификация (отнесение тех же новостей к какой-то категории, например, спорту или политике). Но в последнее время на первый план вышла новая задача, которая до этого была не под силу компьютерам — генерация текста на естественном языке (natural language generation), или NLG. Общаясь с чат-ботом, вы, скорее всего, имеете дело с каким-то заранее заготовленным шаблоном, в который просто подставляется ваше имя. Впрочем, это не всегда так, и чем дальше будут развиваться технологии, тем сложнее будут становиться доступные для генерации тексты. Можно ожидать, что через несколько лет ваш телефон сможет общаться с вами достаточно свободно, хоть и не на все темы.
Например, в МФТИ сейчас разрабатывается чат-бот, который отвечает на вопросы из определенной области, например, он сможет помочь вам заказать пиццу. Пока он работает только с шаблонными ответами, потому что сгенерированные ответы не всегда «попадают». Кроме того, для бота не существует, например, понятия вежливости. С этим, кстати, уже столкнулась Microsoft, когда некоторое время назад выпустила своего бота для свободного общения в интернет. Через непродолжительное время сотрудники компании вынуждены были его отключить, потому что не смогли контролировать процесс его общения с людьми.
Сложности естественного языка
Сложность задачи генерации текста объясняется тем, что язык, на котором мы разговариваем и без особо труда понимаем друг друга и который принято называть «естественным», не так-то прост. Какое-то представление об этом можно получить, попытавшись изучить какой-либо не близкородственный язык, например, английский. Но для машины изучить человеческий язык гораздо сложнее: если все человеческие языки имеют общие базовые понятия, такие как «рука» или «солнце», то машине все эти предметы окружающего нас мира неведомы. Компьютер не имеет тела в нашем понимании: он не чувствует и не думает, вся поступающая к нему информация приходит с очень ограниченных сенсоров, таких как видеокамеры и микрофоны. То есть компьютеру, чтобы сгенерировать текст, нужно сначала выучить наш язык, а эта задача практически неразрешима — значения слов для компьютера неизвестны. Для него слово «мама» ничем, кроме номера, не отличается от слова «подшипник». Таким образом, сейчас компьютеры учатся на самом деле «делать вид», что умеют понимать или разговаривать — они просто подставляют те слова, которые видели раньше в похожем окружении.
Из этого ограничения родилась идея дать возможность компьютерам разработать свой собственный язык, подходящий для условий, в которых они «живут». Один из таких экспериментов был поставлен в исследовательском подразделении Facebook — Facebook Artificial Intelligence Research (FAIR). Ученые из FAIR разработали среду, в которой агенты смогли изобрести свой язык. Дальше появилась новость, что они прекратили эксперимент, потому что не могли понять язык агентов из эксперимента. Это некорректная интерпретация журналистами факта, что эксперимент был просто закончен — возможность создания «естественного» языка в искусственных условиях была доказана. Опасности этот язык представлять не мог просто в силу того, что он был донельзя примитивен и не мог развиться дальше — у агентов просто не хватило бы на это мощности. А обмениваться между собой они могли сообщениями длиной всего в несколько символов, обозначающими какие-то базовые понятия их мира (аналоги наших рук, ног или времен года).
Предостережения
Раз уж речь зашла про мощность, самые большие современные искусственные нейронные сети (существенно большие тех, что использовались в агентах) могут достигать размера миллионов искусственных нейронов. Человеческий мозг имеет в среднем порядка сотни миллиардов нейронов. То есть сейчас компьютеры не способны воспроизвести и тысячную долю мощности человеческого мозга.
Поэтому недавно громко прозвучавшее «предостережение» Илона Маска является скорее криком «волки!» в ситуации, когда никаких волков поблизости нет. Компьютеры не могут мыслить сейчас и не смогут мыслить как минимум в ближайшее десятилетие — судя по тому, как растут вычислительные мощности современных процессоров.
Если же заглянуть в более отдаленное будущее, где компьютеры будут уже достаточно мощными, то стоит вспомнить, что у компьютера нет тела, глаз или желудка — он будет воспринимать все окружающее совсем не так, как мы, и придумает очень отличающийся от нашего язык. Поскольку компьютер будет воспринимать иначе вообще все: будет хотеть другого, бояться другого, — он будет и мыслить иначе. Из этого следует, что интересы людей с интересами компьютеров будут пересекаться слабо или вообще пересекаться не будут. Так что велик шанс, что нам просто будет «не о чем поговорить». То есть мы будем сосуществовать, но практически не взаимодействовать, как сейчас люди и дельфины (второй условно разумный вид на нашей планете).
Есть также и негативный сценарий, в котором мы начнем конкурировать за базовый ресурс — энергию. Однако негативный сценарий возможен лишь в том случае, если компьютеры будут живыми в нашем смысле, то есть будут стремиться размножаться и продолжать свое существование. Но этого мы никак пока предсказать не можем.
ОБ АВТОРАХ
Валентин Малых
исследователь Лаборатории нейронных систем и глубокого обучения МФТИ
Точка зрения авторов, статьи которых публикуются в разделе «Мнения», может не совпадать с мнением редакции.
