Все мы не раз видели фантастические фильмы, где герой садится перед неким супер-пупер компьютером и начинает вести с ним беседу на обычном человеческом языке. Обычно такой компьютер имеет приятный женский голос и отвечает на вопросы спокойно и вежливо, даже если идёт речь о его выключении или даже демонтаже. Разумеется, в годы создания таких фильмов это была безусловная, стопроцентная фантастика, так как сложность задач, стоявших перед конструкторами компьютеров не позволяла инженерам отвлекаться на такие "излишества", как общение с человеком на естественном языке. Кроме того, память компьютеров была слишком дорога, а эта задача требует гигантской памяти.

Но текло время. Началось с того, что Фирма IBM в конце прошлого века задалась целью создать компьютер, который бы обыграл человека в шахматы. Их суперкомпьютер Deep Blue постепенно подходил к выполнению этой задачи. Для многих специалистов и простых людей победа компьютера над человеком - чемпионом мира по шахматам - являлась бы важным событием: это означало, что в число задач, доступных только человеку, более не входит игра в шахматы. А ведь как человек хвалился своей интуицией и умением играть в эту игру! Многие, особенно гроссмейстеры, говорили, что машина НИКОГДА не обыграет человека.

Deep Blue пытался победить Каспарова (в то время он был чемпионом мира) в 1989 и 1996 годах, но оба раза Каспаров выиграл матчи. Но вот, наконец, 11 мая 1997 года Deep Blue одержал победу в матче из 6 партий с чемпионом мира по шахматам Гарри Каспаровым. Специалисты IBМ, обслуживавшие Deep Blue были уверены, что на этот раз их машина достаточно мощна, чтобы победить чемпиона мира. Однако, когда перед матчем Гарри Каспарова спросили, может ли это случиться, он ответил: "Я не считаю уместным обсуждать, могу ли я проиграть. Я не проигрываю никогда. Ни разу в жизни я не проигрывал".

По ходу матча стало видно, что Deep Blue значительно мощнее, чем в предыдущие годы. Перед шестой, заключительной партией счёт был равным. Но затем, впервые за всю свою шахматную карьеру Каспаров был разбит (партия продолжалась всего 19 ходов). Спустя всего лишь час — а партии у шахматистов экстра-класса продолжаются в среднем около четырёх часов — его позиция была разгромлена. На церемонии закрытия Каспаров выглядел взвинченным. Он гневно заявил, что, если бы Deep Blue пришлось играть в обычном турнире, то он, Каспаров, разнёс бы его в пух и прах. Кроме того, Каспаров заподозрил, что компьютеру в ходе игры помогали люди-шахматисты и потребовал переиграть матч. Но IBM отклонила требования Каспарова, заявив, что игра проводилась по правилам. Эта победа сделала большую рекламу IBM, но коммерческого применения подобной установке найти так и не удалось. После матча с чемпионом Deep Blue был разобран.

Нескольким годами позже, в 2006 году, Дэвид Феруччи, старший менеджер отделения IBM по семантическому анализу, занялся тестированием одного из самых мощных суперкомпьютеров компании, занимавшего одну из верхних строчек 500 самых производительных машин мира. Феруччи решил попробовать, насколько эффективно машина сможет справляться с задачами, поставленными "естественным языком", и предложил ей ответить на 500 вопросов, заданных в уже состоявшихся играх-викторинах Jeopardy (русский аналог - "Своя игра") Результаты оказались катастрофическими: по сравнению с живыми игроками, машина недостаточно быстро "нажимала на кнопку" (то есть была готова к ответу), а в случае, когда она всё-таки могла конкурировать с людьми, количество правильных ответов не превышало 15%.

Феруччи заинтересовался причинами такого провала суперкомпьютера и в итоге в 2007 году смог убедить руководство IBM дать ему команду из 15 человек и от 3 до 5 лет на создание эффективной автоматической системы, способной отвечать на неформализованные вопросы. Такая система пригодилась бы всевозможным колл-центрам, справочным и любым другим службам, обслуживающим клиентов. У IBM уже был тогда успешный опыт создания машины, способной поспорить с интеллектом человека – речь идёт о суперкомпьютере Deep Blue, который обыграл Каспарова.

Принципиальное отличие Watson от Deep Blue заключается в том, что если шахматный автомат имеет дело со строго логическими правилами игры, то машина, распознающая "естественную речь", сталкивается с куда более сложными правилами языка и многочисленными искажениями и отклонениями от них. Но самая большая сложность заключается в том, что люди, сами того не осознавая, общаются в рамках своего культурного и социального контекста. В разговорной речи полно намёков, аллюзий и коннотаций, отсылок к неким общим для конкретной общественной среды фактам, понятиям и явлениям. В их числе и религиозные представления, и политические убеждения, и всевозможные произведения искусства – от книг и картин до кинофильмов и компьютерных игр.

Для эффективной обработки подобной информации используются статистические алгоритмы, позволяющие путём анализа самых разнообразных документов устанавливать связь разных понятий друг с другом. Хотя эти алгоритмы известны давным-давно, полноценно применять их стало возможно лишь в последнее десятилетие – после кардинального роста производительности вычислительной техники и снижения стоимости накопителей для хранения огромных массивов данных.

Команда Феруччи загружает в память IBM Watson миллионы всевозможных документов – учебники, энциклопедии, справочники, художественную и религиозную литературу. Для анализа вопросов одновременно используется более сотни алгоритмов, предлагающих сотни возможных решений. Затем другие алгоритмы оценивают достоверность потенциальных ответов, отсеивая невозможные в силу объективных причин (например, несоответствия даты события и лет жизни действующих лиц) и маловероятные. Чем больше будет получено одинаковых ответов, тем выше вероятность, что они правильны – в процессе игры, на табло выводится рейтинг из нескольких самых вероятных ответов, помимо чаще всего встречающегося.

К 2008 году IBM Watson переместился (в викторинах Jeopardy, проводившихся в лаборатории) из разряда "неудачников" на верхние строчки так называемого "облака победителей", состоящего из людей, в 50% случаев успевающих первыми нажать кнопку, сигнализирующую о готовности к ответу и затем в 85-95% случаев дающих правильный ответ. В IBM даже договорились с продюсерами Jeopardy о проведении осенью 2010 года специальной серии игр с участием Watson и победителей прошлых лет. Для подготовки к этим играм (то есть фактически для совершенствования алгоритмов) был воссоздан примерный интерьер студии викторины и стали проводиться испытания с участием живых игроков и ведущего. При этом, как и полагается, Watson давал свои ответы вслух синтезированным компьютерным голосом, чем немало веселил присутствующих.

В ходе "тренировок" выяснился занятный факт: несмотря не весь потенциал Watson, он способен не только выигрывать игры, но и проигрывать более половины из них. Причин несколько: от "его величества случая" (возможны ситуации, когда соперник может выиграть, просто повышая ставки, оставив машину банкротом) до специфики правил. Как ни странно, но человек способен быстрее нажать на кнопку, чем машина, и это связано с правилами игры, которые менять нельзя.

Дело в том, что каждый вопрос выводится на экран и зачитывается ведущим, причём нажать на кнопку можно только после окончания чтения вопроса. Watson получает текст вопроса в электронном виде одновременно с его выводом на экран, но даже при этом он не успевает прийти к готовому решению быстрее человека. Пока ведущий читает вопрос, на что уходит шесть-семь секунд, опытный игрок уже может оценить свои шансы дать правильный ответ и готов нажать на кнопку за какие-то десятки миллисекунд раньше противника. На последующий ответ правила отводят ещё пять секунд.

Нажимая на кнопку, человек рискует: если он не даст правильный ответ на вопрос за 100 единиц, его виртуальный счёт опустеет на ту же сумму. Компьютер не склонен рисковать и выдаёт ответы только после проведения всех расчётов и только в том случае, если у него достаточно сведений для оценки достоверности и вероятности того, что этот ответ правильный. Рискуя, живой игрок может выиграть благодаря тому, что вспомнит нужный ответ за имеющиеся в его распоряжении 11-12 секунд.

В чуть более формализованной ситуации, чем телевикторина, алгоритмы Watson способны дать куда более предсказуемые и точные ответы. В частности, глава исследовательского подразделения IBM Джон Келли намерен создать медицинскую версию этого устройства под неофициальным названием Watson M.D. Такая система помогла бы врачам быстро принимать правильные решения с учётом огромного множества данных о пациенте, которые физически невозможно всегда удерживать в памяти. Watson вполне может заменить живых операционистов в компьютерных и телефонных службах в розничной торговле, в банковской сфере и на транспорте.

Наконец, в феврале 2011 года для проверки возможностей Watson он принял участие в "живой" телевикторине Jeopardy. Его соперниками были Брэд Раттер — обладатель самого большого выигрыша в программе, и Кен Дженнингс — рекордсмен по длительности беспроигрышной серии. И Watson одержал победу, получив 1 миллион долларов, в то время, как Дженнингс и Раттер получили, соответственно, по 300 и 200 тысяч.

IBM Watson состоит из 90 серверов Power7 750, каждый из которых содержит по 4 восьмиядерных процессора POWER7. Суммарная оперативная память Watson более 15 терабайт. Во время подготовки система имела доступ к 200 миллионам страниц структурированной и неструктурированной информации объемом в 4 терабайта, включая полный текст Википедии. Но во время игры Watson не имел доступа к интернету, так же, как и его соперники.

Стоимость системы класса IBM Watson на сегодняшний день составляет несколько миллионов долларов. Келли считает, что в ближайшие десять лет подобная технология может быть реализована на гораздо более дешёвом сервере, а в перспективе такая программа будет работать на компьютере не дороже современного ноутбука. Таким образом, сцены из многих фантастических фильмов, где общение с компьютером (или роботом) идёт на естественном человеческом языке скоро можно будет увидеть в жизни самому, просто включив собственный ноутбук.

И вот самая последняя информация об этом проекте. Знаменитый суперкомпьютер IBM Watson, специально созданный для общения с людьми на естественном языке, пришлось отучать от вредных привычек.

После победы в телевикторине создатели компьютера начали загружать в него медицинские справочники, надеясь сделать из машины "электронного доктора Хауса". Пока машине "скармливали" медицинские энциклопедии, пытаясь подготовить ее как врача-диагноста, она в свободное от основного занятия время усвоила уличный и интернет-жаргон. Пытаясь дать компьютеру знания о дополнительных смыслах слов, программисты открыли машине доступ к онлайн-словарю уличного жаргона. Отдельных выражений компьютер набрался и в Википедии. Не различая, когда нецензурные и жаргонные синонимы привычных слов употреблять не следует, компьютер начал общаться при помощи таких выражений в прямом эфире телепрограмм.

Как сообщает издание fortune.cnn.com, всю ответственность на себя взял Эрик Браун (Eric Brown), возглавляющий в настоящее время команду IBM из 35 человек, работающую с компьютером. Программистам пришлось чистить словарную базу компьютера и ставить программные фильтры, чтобы исключить возникновение неловких ситуаций в будущем.