Что нам грозит, когда компьютеры станут очень умными?

«Восстание машин», «Терминатор возвращается»... Куча фантастики построена на том, что компьютеры становятся настолько умны, что понимают: им будет лучше без человека. Сказки? Да как посмотреть. К 2050 году обычный домашний компьютер сможет обрабатывать столько же информации, сколько все люди на земле вместе взятые.

Но 2050-ый - это при условии, что машины будут развиваться постепенно. А так не бывает. Наши отношения с электронным миром продвигаются рывками. Раз - к машине прикрепили мышку. Раз - возник Интернет. Раз - появились смартфоны с планшетами.

Следующий прорыв грядет когда компьютер сможет понимать людей. В смартфонах уже есть приложения вроде Siri и Cortana, умеющие вести с нами простой диалог. Но проблема в том, чтобы компьютер понимал, не то что мы говорим, а то, что имеем в виду! Самый простой пример: фраза «Он от меня ушел», сказанная заплаканной женщиной и мужичной-начальником имеет совсем разный смысл.

Так вот: как только машины научат распознавать нюансы человеческой речи, с одной стороны у нас будут развязаны руки в прямом и переносном смыслах. Поговорил с компьютером, и он все выполнил. С другой, не приближаемся ли мы к опасной черте, убирая последний барьер в общении людей и бездушного железа?

Об этом я давно хотел поговорить с известным ученым, директором по лингвистическим исследованиям компании ABBYY, зав кафедрами компьютерной лингвистики в РГГУ и МФТИ Владимиром Селегеем. Но когда я изложил ему свои апокалипсические страхи, тот нахмурился:

- Да, фантастика полна мрачных предсказаний о том, как обученные человеком машины станут обходиться без него. Но мне непонятно, почему увеличение объема заложенных в программы знаний спровоцирует компьютер принимать решения, не спрашивая разрешения у человека?

На самом деле проблема не в том, что компьютер научится обходиться без людей, а в том, что люди захотят обходиться без себя при решении тех или иных проблем. Вот Чернобыль...

- А при чем тут Чернобыль?

- Ядерный реактор - сложнейшая физическая модель. Кажется, что у реактора все параметры управления известны, всё подчиняется строгим физическим законам, и можно полностью передоверить компьютеру принятие решений. Но...

В 1986 году, через неделю после аварии, я участвовал в семинаре по использованию методов искусственного интеллекта в промышленности. Уже тогда было понятно - передоверяя принятие решений компьютеру, мы серьезно рискуем. Программам свойственно содержать ошибки. Даже в спутниках случаются сбои в программном обеспечении.

- То есть человек надежнее компьютера, хотя тот "соображает" гораздо быстрее?

- Человек ко всему прочему обладает мотивацией. Он решает свои задачи - образование, продолжение рода, карьера, он умеет чувствовать…

- Но может же какой-нибудь ушлый программист написать программу, которая бы учила машину агрессии...

- Можно попытаться сделать, например, военного робота, который будет принимать решения сам, анализируя то, что он видит и слышит. И это будет очень опасно. Но не потому, что у робота появится вдруг желание уничтожать, как написано у фантастов. А потому, что ошибка программиста, неучет каких-то факторов может привести к непредсказуемому поведению робота.

Но пока мы очень далеки от умения создавать самообучающиеся программы, которые способны порождать совсем новое знание. Грубо говоря, самостоятельно переходить от таблицы умножения к умению решать сложные уравнения.

Во второй половине ХХ века были очень популярны футуристические прогнозы в области науки. Всё, что касалось интеллекта компьютера, попало в молоко. Никто не предсказал Интернета, невероятной свободы доступа к информации, мобильных телефонов. Но зато все говорили о мыслящих компьютерах.

К примеру, в конце 60-х годов первая наша шахматная система КАИСА удачно выступала на чемпионате мира среди компьютеров. Считалось, что, для того чтобы машина обыграл человека, нужно смоделировать алгоритмы человеческой игры. Заложить разум, интеллект, ту самую таинственную интуицию, которая заставляет шахматиста принимать правильные решения.

Сегодня компьютер обыгрывает человека. Но его так и не научили интуиции. В его память загрузили миллиард состоявшихся партий, весь опыт игры, все решения, которые когда-либо принимались шахматистами. И обучили использовать это при выборе оптимального плана игры, снабдив колоссальной скоростью перебора и оценки вариантов. Компьютер обыгрывает чемпионов мира, но не получает от этого никакого удовольствия. Все совсем не так, как у людей.

- Но вы же один из тех, кто как раз учит компьютер "включать голову"!

- Мы лишь пытаемся научить программы «понимать» тексты для того, чтобы они извлекали из них информацию, аккумулировали ее и обобщали. Чтобы люди получали знания отфильтрованные, выбранные из миллиардов источников. Это очень сложно, потому что человек сам не очень хорошо знает, как устроена его языковая способность, на чем основано его понимание других людей.

Сейчас популярен статистический машинный перевод. Компьютер вообще не понимает, о чем идет речь в переводимом тексте, он просто умеет находить наиболее вероятные варианты перевода небольших фрагментов (в несколько слов), анализируя огромные объемы заложенных в его память переводов, сделанных людьми. В целом получается понятный текст. Но принимать на основании такого перевода ответственное решение было бы легкомысленно.

- Хорошо, компьютер может мне инструкцию перевести?

- Инструкцию? Это опасно.

- Да к простому холодильнику!..

- Даже к холодильнику! Хотелось бы, чтобы наши программы переводили, пытаясь разобраться в тексте, выбирая между вариантами на основании знаний, а не просто потому, что вот это соответствие в нашей базе чаще всего встречается.

- Ладно, допустим, вы решили задачу и создали систему, благодаря которой компьютеры научатся понимать нюансы нашей речи и даже точно переводить ее на другой язык. И тогда людям грозит новая опасность - думать уже не надо будет. Не надо будет тренировать память, мозг. Нужна информация - пожалуйста, «Википедия». Нужно поговорить с иностранцем - переводчик...

- Чем выше уровень интеллекта и знаний человека, тем полезнее для него очередной «умный помощник». А чем ниже - тем больше появляется возможностей вовсе не думать. Компьютерные технологии приводят к поляризации общества. Грубо говоря, появление калькулятора не привело к вырождению математиков. Но у части школьников, очевидно, произошло снижение и без того низкого уровня способностей.

- Знаете, для меня серьезный показатель падения уровня образования - количество людей, которые пишут неграмотно или не в состоянии выразить свои мысли и чувства без употребления мата.

- Да, люди стали писать менее грамотно. Просто потому, что в целом стало меньше чтения редактируемых текстов и гораздо больше таких ресурсов, где орфография очень размыта. Стали ли люди от этого глупее? Наверное, нет.

- Вы не видите связи между тем, что человек неграмотно выражает свои мысли на родном языке, и тем, что он стал глупее?

- Я не стал бы заходить так далеко. Хотя очевидно: от того, что дети стали меньше читать, возникли некоторые проблемы с передачей знаний, культуры между поколениями. Это проблема. Мы сегодня видим, что современный школьник с таким же уровнем оценок, что и 30 лет назад, хуже знает литературу.

- Вот!...

-… Но зато гораздо лучше знает многие другие вещи, которые никто и не предполагал, что можно знать.

- Это естественный процесс?

- Да. Более того, впервые в истории человечества знания могут передаваться не от старших к младшим, как происходило веками. Появилась передача знаний от младших к старшим, которая раньше была совсем не свойственна человеческой культуре. Ребенок учит папу или маму работать на компьютере, с мобильным телефоном, является для своих родителей источником разнообразных знаний. А еще дети больше ездят по миру. Очень часто они являются источником географических, культурологических знаний.

- Слушайте, но ведь и тут все началось с компьютеров. Это они освободили людей даже от необходимости запоминать элементарные правила грамматики!

- Как раз в начале 90-х годов я работал в команде, которая разрабатывала одну из первых систем проверки орфографии русского языка. Полезно или вредно было это сделать? С моей точки зрения, очень полезно. Эта система позволила быстрее создавать документы. А дальше все зависит от уровня ответственности человека. Кто сказал, что после машины вовсе не нужно делать проверку? Система только помогает делать ее гораздо эффективнее.

- Но мы доверяем компьютеру!

- Это означает только то, что тот, кто делал программу, не сообщил вам, что есть много явлений, которые машина не может проверить. Согласование, например.

Новые технологии, увы, часто приводят к потере традиционных навыков. Я вот делал ремонт в квартире. Хотел поставить деревянные окна, какие ставили раньше. Но это оказалось невозможно. Все ставят стеклопакеты. Люди, увы, перестают делать многие вещи руками. Что поделать, так жизнь устроена. К сожалению.

- То есть вы конформист?

- Нет. Я считаю, что совсем вредные вещи делать нехорошо. Но когда у вас есть и выгода, и проигрыш, нужно оценивать риски… Если вы делаете лекарства, вы же не думаете, что в результате его употребления выживут не только хорошие люди, но и плохие.

В нашем случае одновременно с развитием технологий нужно заниматься и обучением тех, кто ими пользуется. Негативные последствия новых технологий отражаются прежде всего на тех, кто свое дело делает не слишком хорошо при любом технологическом уровне.

Возьмем, например, медицину. Мы хотим помочь доктору принять решение, делаем компьютерную экспертную систему на основании анализа большого числа надежных диагнозов, поставленных лучшими врачами. Профессионалу она дает возможность обратиться к большему, чем он сам располагает, объему знаний. Но принятие окончательного решения за ним, а не за компьютером! Для плохого доктора все иначе - он доверится тому, что не в состоянии надежно проверить. Но в среднем с появлением таких технологий, мне кажется, медицина становится все же лучше, а не хуже.

- Хорошо, убедили, что и от интеллектуальной системы понимания компьютером человека будет больше пользы, чем вреда. Но когда она появится?

- Это очень сложная задача, которую сразу не решить. Нужно обучить компьютер знаниям о языке и знаниям о мире, методам вывода и сопоставления значений. Что-то мы умеем делать уже сейчас, на что-то потребуются годы. Например, нам нужны надежные данные об использовании языка, с учетом индивидуальных и социальных различий. А эти различия очень значительны. Например, мы сделали специальный проект, посвященный региональным различиям в русском языке. Собрали словарь, в котором почти 10 тысяч слов, которые являются нормой для жителей только определенных регионов нашей страны

- Мы - это кто?

- Это проект - «Языки русских городов», совместный, в нем участвуют специалисты ABBYY, ученые-лингвисты, энтузиасты из разных мест России и русскоязычного зарубежья. Мы анализировали язык региональных средств массовой информации, социальных сетей, указов, постановлений местных властей. И это только небольшая часть тех знаний, которым нужно обучить компьютер!

- В чем принципиальное отличие вашего подхода к переводу от систем, которые использует, допустим, Google?

- Статистические системы не строят языковых структур. Они ищут переводные соответствия для небольших фрагментов, в 5-7 слов. Но язык так устроен, что очень часто связанные слова расположены гораздо дальше, и, если эту связь не учитывать, возникают ошибки. А ведь очень часто в переводе важны именно такие детали, неучет которых может полностью изменить смысл. Чтобы все учесть, нужно выявлять при анализе всю систему языковых связей между словами, то что называется структурой предложения. Мы не переводим кусочки предложений с языка на язык, мы пытаемся выявить смысловую структуру предложения, а потом синтезировать эту структуру средствами другого языка.

Но эти смысловые структуры используются не только и не столько для целей машинного перевода. Они нужны и для эффективного решения задач интеллектуального поиска и анализа информации, которые сегодня важнее для ABBYY как коммерческой компании. Например, на этих технологиях основаны недавно выпущенные первые решения для корпоративного рынка: они как раз позволяют искать и анализировать данные в огромном потоке информации, которая хранится в организациях.

- А какой язык, с вашей точки зрения, сложнее для понимания?

- Принято считать, что сложнее те языки, в которых нужно учить больше правил. Но в случае компьютерного понимания это не так.

То, что вызывает сложность для человека, например, богатая система словоизменения в русском или литовском языке, упрощает задачу компьютеру на определенных стадиях анализа.

Например, китайский язык очень сложен, потому что в нем нет никакой морфологии, а отсюда большое количество неоднозначностей, с которой сталкивается компьютер. Поэтому для компьютерного анализа китайского языка очень важно использовать знания о мире, важнее, чем, к примеру, при анализе языков с развитой морфологией.

Мы успели поработать с русским, немецким, английским, французским, испанским, китайским языками. Языковой анализ делится на стадии. Какие-то стадии обладают спецификой, сложностями для одного языка, какие-то - для другого. Но в сущности технологии, с которыми мы работаем, применимы ко всем языкам.

- На ваш взгляд, когда настанет такой день, когда мы сможем параллельно с нашим разговором получать на компьютере его быстрый и понятный перевод. Скажем, мы сейчас беседуем, и тут же получаем расшифровку нашего разговора на испанском?

- Это будет возможно довольно скоро. Не думаю, что через два года. Но… Что нужно, чтобы решить эту задачу? Мы должны улучшить системы, анализирующие речь. Мы пока не можем взять спонтанный разговор, отделить его от шумов и получить нужный текст. И в этом направлении каждый год есть прогресс.

Но все равно останутся такие вещи, которые машина не сможет однозначно трактовать. И вот тут точность понимания и перевода будет зависеть от наличия у системы знаний о мире, от механизмов логического вывода.

Но в любом случае опасность полного доверия такой программе останется. Ошибкой будет считать, что, скажем, через пять лет вы сможете надиктовать письмо компьютеру, он его переведет, отправит вашему деловому партнеру, и все будет прекрасно. Никто не гарантирует, что машина где-то не пропустит «не» или не допустит других ошибок, после которых ваши деловые отношения можно будет считать законченными.

- То есть человек как контролер все равно должен быть?

- Безусловно. Слепо доверять технологиям - опасно.