Видимость разума: что не так с современными системами machine learning
Искусственный интеллект способен обрабатывать большие объемы данных, непосильные человеческому мозгу, но осмысленный анализ у него получается не всегда. Не хватает самокритики
На недавней конференции Американской ассоциации содействия развитию науки (AAAS) статистик из Университета Райса в Хьюстоне Джиневра Аллен выступила с критикой использования машинного обучения в научных исследованиях. AAAS — ведущая междисциплинарная научная площадка США, там можно вывести обсуждение проблемы на новый уровень. Хотя сам вопрос не нов: об ограниченности искусственного интеллекта говорят многие, от программистов до философов.
Ошибка системы
Бизнес-консультант, специалист по SQL Томас Нильд утверждает, что машинное обучение практически достигло пределов своих возможностей — дальше оно продолжит «симулировать» действия человека, создавая видимость интеллекта (он даже предрекает новую «зиму ИИ»). Старший редактор авторитетного издания MIT Technology Review Уилл Найт говорит нечто похожее: мы не знаем, как самые продвинутые алгоритмы машинного обучения делают то, что они делают, и это может стать проблемой. А в Harward Business Review напоминают о старом добром правиле garbage in, garbage out — никакой великий алгоритм не решит проблему, если предоставляемые ему данные — мусор.
И все это не ошибка, а особенность машинного обучения. Самообучающиеся системы, которые работают с большими массивами данных, ориентируются именно на данные, а не на стоящие за ними базовые принципы. Иногда это дает ошеломляющие результаты, потому что машина способна «окинуть взглядом» гораздо больше информации, чем человек, и найти в ней закономерности, выделить ключевое. А иногда — совершенно бессмысленные, когда случайные совпадения воспринимаются как важная закономерность. Данные могут быть неполными либо нести следы систематической ошибки измерения — вспомним про garbage in. В отличие от случайной ошибки, которая дает хаотичные «выбросы», систематическая ошибка дает сдвиг всех данных в одном направлении, что можно интерпретировать как открытие. Человек способен критически посмотреть на выявленную закономерность и предположить ее причины, а сегодняшним нейросетям такая самокритичность чужда.
Ложные объяснения
Сама по себе эта проблема не нова. Например, предложенная Менделеевым периодическая система химических элементов, которой как раз исполнилось 150 лет, вообще-то не лучшим образом описывала экспериментальные данные своего времени. Элементы предполагалось расположить в таблицу в порядке возрастания атомного веса, и оказавшиеся в одной колонке элементы должны были обладать одинаковыми свойствами. Однако во времена Менделеева многие элементы не были известны, поэтому для выполнения правила периодичности ему пришлось оставить часть клеток пустыми. А правило веса иногда нарушалось: некоторые элементы оказались легче предшествующих. Сейчас мы знаем, что виной всему — разное количество нейтронов в атомном ядре, оно меняет вес элемента, не меняя существенно его химических свойств. Однако во времена Менделеева устройства атома не знали. То есть фундаментальный закон, предложенный им и подтвердившийся с тех пор всеми возможными способами, вряд ли мог быть открыт с помощью машинного обучения: для него машине не хватило бы данных. Машина наверняка предложила бы альтернативное решение — закономерность, отлично описывающую все имеющиеся на тот момент данные, но лишенную внутренней логики и потому продержавшуюся бы ровно до открытия следующего элемента.
В XVI веке великий датский астроном Тихо Браге предложил гео-гелиоцентрическую систему (Солнце, Луна и звезды вращались вокруг Земли, а планеты и кометы — вокруг Солнца) в противовес уже существовавшей гелиоцентрической системе Коперника. Его система лучше объясняла имеющиеся данные. Однако, как выяснилось спустя столетия, измерения Браге расстояний до звезд содержали систематическую ошибку. Коперник же оказался дальновидней и смог предложить систему, прошедшую проверку временем. Браге здесь выступил в логике системы машинного обучения, Коперник — в логике самокритичного исследователя.
Еще важнее критический подход к данным для социальных наук. В социологии описан добрый десяток их возможных искажений, самый простой пример — сознательный отказ от участия в опросе или интервью. Бывают случайные по отношению к предмету исследования отказы — у человека просто нет времени. Однако возможно прямое нежелание говорить на заданную тему, и такие отказы могут отсекать определенный класс мнений. Например, в опросе об абортах могут отказаться участвовать женщины, которые их перенесли: для них это болезненно. Но исследование, где их мнение не представлено, не может претендовать на полноту. Исследователь обязан держать это в уме, а нейросеть игнорирует: ее компетенции ограничены набором данных, которые ей выдали.
Переобучение машины
Машинное обучение предполагает создание систем, способных самостоятельно учиться на предоставленном материале, а не следовать предписанной инструкции. И многие из них нацелены на выдачу прогнозов на основании прошлых данных. Джиневра Аллен критикует этот подход в медицине. «В персонализированной медицине важно найти группы пациентов со сходным геномом, чтобы затем разработать лекарственную терапию, подходящую именно им, — отмечает она. — Нейросети могут обработать большой объем геномных данных от клиницистов и вроде бы успешно выполняют задание. Но в некоторых случаях открытия не воспроизводятся: группы, выделенные в одном исследовании, не имеют ничего общего с группами из другого».
Проблема в том, что системе ставят задачу найти группу. И она находит. Даже если ответ на самом деле: «Вот эти образцы точно можно объединить в группу, а насчет вот этих уверенности нет», — потому что люди разные и каждая группа может быть представлена в данном конкретном наборе геномных данных разным количеством образцов. Аллен предлагает решение: вместе с группой биомедиков в Медицинском колледже Бейлора в Хьюстоне они пытаются сделать результаты, полученные с помощью машинного обучения, более воспроизводимыми. Методики нового поколения должны не только анализировать большие массивы данных и искать в них закономерности, но и оценивать, насколько эти результаты выглядят достоверными и каков шанс их воспроизвести. Это сделает процесс исследования дольше, но позволит избежать ошибок.
Все это напоминает о том, что любое исследование не висит в воздухе, а существует в определенной среде, человек с его социальной природой способен привлекать для интерпретации самые разные факторы этой среды, а машина нет.
«Мы теряем представление об ограничениях возможностей искусственного интеллекта и с готовностью отдаем себя в рабство глупым компьютерам. Когда на кону столь многое, нам нужно поднять планку для компьютеров выше: переосмыслить разум и принять его изначально социальный характер. Только когда техники машинного обучения смогут социализироваться так, как это делают люди, мы сможем поздравить себя с созданием искусственного интеллекта», — пишет философ науки Гарри Коллинз. Он считает кажущуюся всесильность машинного обучения сказкой, а выступление Аллен говорит о том, что и практики потихоньку освобождаются от очарования всесилием ИИ и видят в нем лишь один из инструментов работы, которую проводит человеческий разум, пока единственный известный нам во Вселенной.
Об авторах
Александра Борисова
научный журналист, старший преподаватель Университета ИТМО
Точка зрения авторов, статьи которых публикуются в разделе «Мнения», может не совпадать с мнением редакции.
