«Исследование методов анализа тональности текста»

Казалось бы, в век современных технологий что может быть проще, чем послать запрос поисковой машине, а она, в свою очередь, выдаст ответы на все вопросы пользователя. Но действительно ли такие инструменты поиска помогают в полной мере удовлетворить информационную потребность человека? Из-за огромного количества разнообразного контента в мировом вебе, стремительно растущего с каждым днем, очень часто релевантная информация теряется среди мегабайт бесполезных данных. К тому же традиционный информационный поиск и веб-поиск, в частности, не всегда помогает в нахождении сторонних мнений для принятия собственного решения.

Вместе с этим, последнее десятилетие характеризуется ростом популярности различных социальных систем: блогов (пр.: Livejournal , Twitter ), форумов (огромное количество тематических сообществ, пр.: Трипадвизор - форум путешествинников, Киберфорум - форум программистов), социальных сетей (пр.: ВКонтакте , Facebook , Instagram ), интернет-сервисов, аккумулирующих мнения о том или ином объекте (пр.: Яндекс.Маркет , Кинопоиск , Amazon ). Ежедневно пользователи подобных ресурсов размещают множество сообщений, материалов, высказывают мнение о том или ином объекте. На основании подобных комментариев человек может сделать вывод о том, пользоваться или нет интересующей услугой, покупать или нет нужный продукт. На данный момент, несмотря на всю полезность такого подхода к мониторингу мнений, существует ряд серьезных недостатков: сложности в ручной обработке огромных объемов данных, нахождении мнений и их эмоциональной оценки, приведении результата к удобной форме.

Исходя из выше сказанного, появляется необходимость в создании системы автоматического нахождения и анализа мнений. Подобная задача ставится в дисциплине, которая находится на стыке информационного поиска и компьютерной лингивистики - анализ тональности текста и извлечение мнений (англ. sentiment analysis & opinion mining, также употребим термин сентимент-анализ). Сентимент-анализ - система автоматического получения из текстов эмоционально окрашенной лексики и мнений по отношению к объектам, речь о которых идет в тексте. Тональностью называется эмоциональное отношение автора высказывания, к некоторому объекту, выраженное в тексте. Под мнением будем понимать эмоциональную оценку чего-либо (формальное определение вводится в главе 1.2).

Как понятно из полного названия предмета сентимент-анализа, всю дисциплину можно разделить на две большие части. Первая - анализ тональности текста, которая зачастую ставит перед собой задачу классификации корпуса документов на основе найденных в них тональностей. Вторая часть - извлечение мнений, обычно ставит перед собой целью выделить все мнения об интересующих нас объектах из корпуса документов.

Задачи обоих блоков сентимент-анализа возникли сравнительно недавно, поэтому работа над ними продолжается. Несмотря на наличие существующих инструментов и платформ, позволяющих определять не только тональность сообщений в социальных медиа, но и выявлять обсуждаемые темы, проводить анализ мнений о брендах, а также анализировать некоторые другие параметры, единого точного алгоритма решения данной задачи не существует. Следовательно, все еще актуальна задача построения системы извлечения мнений и анализа тональностей.

Актуальность исследования: Разработка программного модуля, содержащего реализации эффективных алгоритмов определения эмоциональной окраски текстов на русском языке является актуальной задачей.

Для: Twitter Facebook Вконтакте и других web-ресурсов

Объектами исследования ВКР являются методы определения тональности текста.

Предмет исследований ВКР заключается в разработке программного модуля, содержащего алгоритмы сентимент-анализа, на языке программирования Python.

Целью ВКР является разработка программного модуля на языке программирования Python, содержащего алгоритмы сентимент-анализа текстов на русском языке для автоматизации поиска.

Задачи:

1. Исследование предметной области и анализ существующих решений для задачи определения тональности текста.

2. Реализация алгоритмов измерения тональности русскоязычных текстов на языке программирования Python.

3. Разработка программного модуля, содержащего реализации методов сентимент-анализа текстов на русском языке.

Новизна работы

* Реализованы алгоритмы на языке программирования Python и подобраны метрики для методов сентимент-анализа текста на русском языке (кодирование алгоритма).

* Разработан программный модуль на языке программирования Python для сентимент-анализа тональности русскоязычных текстов.

1.1.2. Виды классификации тональностей

Выявленные в корпусе тональности могут классифицироваться различными способами в зависимости от выбранной модели. Достаточно часто используют одномерное эмотивное пространство с полярностями “позитив” или “негатив”. Однако иногда довольно успешно применяются и более сложные подходы.

1) Классификация по бинарной шкале [17, 21].

Самый распространенный подход, в котором часто используются два класса оценок: позитивная и негативная. Несмотря на всю кажущуюся простоту данного подхода не всегда удается однозначно определить то, к какому классу можно отнести документ: оценочный текст может содержать признаки как позитивной, так и негативной оценки.

2) Классификация по многополосной шкале [16, 18].

Наиболее очевидный способ усложнить предыдущий подход - увеличить количество классов. Теперь градация полярностей насчитывает более чем два пункта. Первые работы с соответствующим подходом были направлены на классификацию отзывов/рецензий по несколькобалльной шкале.

3) Системы шкалирования [20].

Еще одним подходом к определению тональностей является использование систем шкалирования, посредством чего словам-сентиментам, ставятся в соответствие числа по какой-то дискретной шкале, например, от -5 до +5 (от резко негативного до резко положительного). Далее текст анализируется с помощью алгоритмов обработки естественного языка, а затем выделенные из этого текста объекты исследуются с целью понимания значения этих слов.

4) Субъективность/объективность [19].

Еще одно исследовательское направление - идентификация субъективности/объективности. В рамках данной задачи данный текст относится к одному из двух классов: субъективный или объективный. Данный подход идет в сторону усложнения методики обычной классификации полярности: субъективность слов и фраз может зависеть от контекста, а объективный документ может содержать в себе субъективные предложения.

4.3.3. Алгоритмы анализа тональностей

Анализ тональностей может быть разделен на 2 отдельные категории:

1) ручной (анализ тональности ассесорами);

2) автоматизированный анализ тональности.

Различия между этими двумя заключаются в точности и эффективности анализа. Эксперт, конечно же, гораздо корректнее обрабатывает входные данные, но при этом не может соревноваться с вычислительной машиной в объемах и скорости обрабатываемых массивов данных.

Для автоматизированного анализа тональности часто используются следующие алгоритмы:

1) На основе правил [14].

Подход заключается в генерации правил, на основе которых будет определяться тональность текста. Для этого текст разбивается на слова или последовательности слов. Затем полученные данные используются для выделения часто использующихся шаблонов, которым присваивается позитивная или отрицательная оценка.

2) С использованием словарей слов-сентиментов [4].

Часто вместе с предыдущим подходом используется работа со словарями слов-сентиментов. По найденным в тексте лексическим тональностям он может быть оценен по шкале, содержащей количество позитивной и негативной лексики. Самая простая оценка - среднее арифметическое всех значений полярности слов-сентиментов.

3) Машинное обучение без учителя [21].

Данный подход основан на идее, что наибольший вес в тексте имеют термины, которые чаще встречаются в этом тексте, и в то же время присутствуют в небольшом количестве текстов всей коллекции. Выделив эти термины и определив их тональность, можно сделать вывод о тональности всего текста целиком.