Естественный язык и искусственный интеллект: большой вызов

Когда мы говорим о естественном языке, мы имеем в виду любой язык, написанный или произнесенный, который сформировался и развивался естественным путем посредством непрерывного использования людьми. Естественный язык сложный, стратифицированный и неоднозначный. С другой стороны, машины говорят на искусственных, более простых, высоко предсказуемых, недвусмысленных языках. Естественный язык не прост, но он необходим: если мы все хотим общаться и взаимодействовать с машинами в будущем, или мы изучаем их язык, или они могут понять, как работает естественный язык, который в настоящее время все мы используем.


Разве машины сегодня «понимают» то, что мы, люди, говорим? 
Понимание естественного языка - это следующий рубеж искусственного интеллекта. В последние пять лет методы глубокого обучения, используют эволюцию нейронных сетей, введенных в 80-е годы, которые произвели революцию в автоматизации распознавания речи и анализа изображений: сегодня машины могут распознавать слова, произнесенные голосом, лицами , объекты или действия. 
Но есть разница между распознаванием и пониманием. 
Понимание того, что означают тексты, остается открытой проблемой, в которую гиганты интернет-экономики инвестируют огромные финансовые и людские ресурсы. Для машины понимание текста более сложно, чем анализ изображения. В рамках предложения или абзаца некоторые слова неоднозначны: они могут, иметь более одного значения и должны толковаться в свете остальной части текста и контекста.


Как машины «понимают»? 
Современные системы - по крайней мере в большинстве случаев - узнают смысл лингвистических терминов или конструкций благодаря примерам текста, аннотированного экспертами. Машина похожа на начинающего теннисиста, который постепенно учится у тренера по теннису, как попасть в мяч в определенных игровых ситуациях. 
Чем больше примеров дается машине, тем она точнее. Альтернативный подход заключается в том, чтобы позволить машине извлекать знания из нераскрытых данных отдельно. Обычно это связано с извлечением частых ассоциаций в текстовых и статистических моделях использования слов.
Реальная проблема заключается в понимании того, как машина будет вести себя в новой ситуации, а не из-за примеров, которые она уже знает. Здесь в игру входит концепция рассуждений и способность системы учиться, а также увеличивать свои знания с течением времени.

язык и искусственный интеллект


Как давно машины начали понимать, что мы говорим? 
Первые исследования в области автоматического анализа естественного языка относятся к началу 50-х годов,  революция свершилась в конце 80-х годов с применением современных методов машинного обучения. 
С тех пор был пройден долгий путь. Ожидается, что в течение следующих десяти лет автоматические системы смогут понимать естественный язык и говорить об общих темах, понятных человеку.


Сколько поймут машины за десять лет? 
Те же лингвисты не могут объяснить на сто процентов когнитивные процессы, лежащие в основе понимания и генерации естественного языка: не стоит думать, что машина может добиться успеха за короткий промежуток времени. 
Тем не менее, новые технологии, несомненно, приведут к ощутимым результатам общения с машинами. Достаточно сказать, что все крупные компании в технологическом мире вложили огромные ресурсы в поколение роботов («бот» на компьютерном жаргоне), с которыми мы будем разговаривать каждый день, делая покупки  или планируя повседневную жизнь.


В какой момент мы автоматически переводим с одного языка на другой? 
Это одна из самых сложных проблем для решения, но с использованием глубоких методов обучения современные системы значительно улучшили автоматический перевод текстов на наиболее распространенные языки. Достаточно увидеть шаги, которые сделали такие системы, как Google Translate или новая функция бета-тестирования Skype, которая позволяет переводить в режиме реального времени с одного языка на другой во время аудио-беседы.
В любом случае текущие переводы далеки от совершенства, особенно при работе с необычными языками. Более того, как мы сказали, перевод предложения без общего контекста является проблемой из-за многозначности слов.


Можно ли сказать сегодня, что машины сами по себе уже «научились понимать» ? 
Традиционно машины учатся, на примерах, которые человек предоставляет им, переведенные в форму, которую они понимают. Этот процесс может «контролироваться», если дополнительные знания предоставляются в виде экспертных аннотаций - например, в области анализа изображений. Комбинация двух режимов является одной из новых характеристик современных подходов. Поэтому дело в том, сколько человек вносит свой вклад в эти технологии.

Язык и искусственный интеллект

Через некоторое время машины смогут мыслить, учиться и решать за себя? 
Возможность учиться самостоятельно решать новые проблемы - одна из черт интеллектуальных систем будущего. Тем не менее, плохой сценарий, которого многие боятся, тот, в котором машина создает себе автономный интеллект, альтернативу человеку и постоянно расширяется, являясь, если не утопическим, то по крайней мере невероятным в краткосрочной перспективе.

 

Что именно делают компьютеры с изображениями сегодня? 
Огромный интерес, который привлек искусственный интеллект за последние несколько лет, принес неожиданные результаты в области автоматического анализа изображений. 
Применение парадигмы нейронной сети привело к созданию высокоэффективных систем автоматического распознавания объектов: мы думаем о программном обеспечении, которое распознает лица в реальном времени на фотографии или в системах, которые описывают содержание изображения и показанную ситуацию, различать события.
Мы также думаем о камерах будущих автомобилей без водителей, способных идентифицировать объекты или препятствия на своем пути и соответственно реагировать.

 

Сарказм, как компьютер может его идентифицировать? 
В течение исследовательского периода в известной медиа-компании я подошел к проблеме понимания контента, созданного пользователями, и загрузил его на обычные платформы для социальных сетей. В частности, мне было интересно понять, как пользователи выражают свое мнение о продукте или о событиях повседневной жизни. 
Из предварительного анализа выяснилось, что сарказм является одной из распространенных форм выражения и что ошибочная интерпретация саркастической фразы может полностью изменить смысл предложения и, следовательно, понимание явления.

 

Мы говорим с сарказмом, когда смысл, противоречит буквальному значению нашего утверждения. Например, когда мы определяем «блестящую» явно туповатую идею. Люди знают, как распознать сарказм, потому что они сравнивают буквальный смысл предложения со всеми данными контекста. Даже дети пытаются понимать и использовать сарказм. Как в этом может преуспеть машина? 
Вначале автоматические системы распознавания сарказма применялись только к текстовому контенту и основывались на наличии слов или синтаксических элементов, которые, скорее всего, были индикаторами сарказма: повторное использование восклицательных знаков, использование абсолютной превосходной степени, или смайликов(например: «Сегодня, без сомнения, лучший день в моей жизни !!!!!! »). 
С другой стороны, современные системы могут учитывать контекст, в который вставляется предложение. Например, я могу понять, если тон сообщения саркастичен, сравнивая его с содержимым предыдущих сообщений в последовательности. 
Более того, в современных социальных медиа-платформах текстовое содержимое сопровождается изображениями или видео, просто подумайте о Facebook или Instagram. Вот почему системы распознавания сарказма должны сочетать методы анализа текста с методами анализа изображений.

 

Мы принимаем заявление: «Трамп - это благословение для Соединенных Штатов». Если иметь в виду, что это сам Трамп, утверждение должно быть понято буквально. Если иметь в виду, что это Клинтон, это чистый сарказм. Как работает машина? 
Это типичный случай, когда машина способна обнаруживать саркастический тон через профиль автора сообщения, в частности, используя политические предпочтения, через которые идет построение контекста, в котором интерпретируется предложение. 
Этот случай несколько проще, потому что Трамп и Клинтон - знаменитости, и система может использовать современные методы текстового анализа, которые могут идентифицировать известные имена: знаменитости, названия городов, туристические достопримечательности и т. д.

Как исследование попало в Scientific American, которое посвятило ему статью? 
Интерес проявлялся в основном из инновационной идеи сочетания понимания текста и изображений для интерпретации саркастического тона сообщения. Часто только текст не дает достаточных указаний, и именно образ предоставляет контекст, который позволяет нам идентифицировать саркастическое намерение. 

Язык и искусственный интеллект

Например, если фраза «Какое фантастическое солнце сегодня!» Сопровождается картиной проливной бури, то на фотографии говорится, что намерение предложения саркастично. Эта интеграция между визуальным и устным языком является сложной, очень интересной и применимой ко многим другим контекстам цифровой коммуникации.


Может ли сарказм определить способность контролировать и смягчать преследование со стороны социальных сетей? 
Поиск саркастического тона сообщений, которые выглядят как угрозы или оскорбления, может помочь менеджерам социальных сетей выявлять и контролировать сообщения, которые действительно беспокоят или опасны. 
Например, я помню сообщение, опубликованное на Instagram группой друзей, которые приземлились в парижском аэропорту для холостяцкой вечеринки: «Сегодня вечером мы ставим столицу в огонь ... сосредоточимся на Париже». Текст сопровождался игривой фотографией группы: кружки пива и маскировки.
Помимо сомнительного вкуса, ясно, что это не угроза безопасности города, как мог бы означать этот текст. Подобных различий трудно сделать, особенно для автомобиля, но недоразумение может вызвать реальные негативные последствия для людей. Вот почему важно инвестировать в технологии, которые могут улучшить этот тип производительности.


Каковы следующие проблемы? 
В будущем мы хотели бы применить эти методы для анализа других форм творческого выражения в социальных сетях, таких как метафоры или юмор