«Выявление запрещенного контента и девиантного поведения методами машинного обучения»

Количество публикуемых сообщений достигает нескольких тысяч, и очевидно, что их обработка экспертами вручную становится невозможной. В связи с этим широкое распространение получили такие области Computer Science, как Opinion Mining и Sentiment Analysis (от английского sentiment - чувство). Появилась возможность автоматического извлечения мнения, выраженного в тексте. С этой целью применялись методы машинного обучения (Machine Learning), позднее стали появляться методы, основанные на использовании словарей тональных слов (lexicon-based approach).

Так как определение тональности текста способно выявить эмоционально окрашенную лексику и проанализировать мнение автора в отношении объектов, о которых идет речь в сообщении, данный вопрос является актуальным. Он представляет интерес социологов, психологов, а также государственных структур.

Объектом исследования выступают текстовые сообщения, оставленные пользователями социальной сети.

Предметом является анализ эмоциональной окраски сообщений пользователей социальных сетей методами машинного обучения.

Целью данной выпускной квалификационной работы является исследование методов автоматического определения тональности текста, и 3

их применение для разработки программного модуля, который позволяет оценивать эмоциональную окраску русскоязычных сообщений пользователей социальных сетей.

Для достижения цели были поставлены следующие задачи:

• исследовать области применения, основные задачи и проблемы анализа тональности текста, а также связанные с ним основные понятия;

• проанализировать основные подходы, предназначенные для решения задач сентимент-анализа;

• разработать программный модуль, для выявления запрещенного контента и девиантного поведения методами машинного обучения.

Новизна работы заключается в том, что разработанный программный модуль, позволяющий определять эмоциональную окраску сообщений пользователей социальных сетей, предназначен для русскоязычных текстов. В качестве оценки исследования выступают сообщения, содержащие информацию о школе.

Программный модуль реализован на языке программирования Python, это предоставляет возможность протестировать алгоритм на реальных данных и сравнить показатели с классическими алгоритмами классификации, основанными на методах машинного обучения, что определило практическую значимость работы.

Данная работа состоит из двух глав. Первая глава содержит в себе обзор предметной области, рассмотрены различные методы сентимент- анализа. Во второй главе представлен разработанный программный модуль для выявления запрещенного контента и девиантного поведения методами машинного обучения.

Мнение — это одно из важнейших проявлений общественного и индивидуального сознания, совокупность связанных меду собой суждений, заключающих в себе скрытое или явное отношение, оценку каких-либо явлений, процессов, событий и фактов действительности [15].

Мнение является центральным понятием практически в любой деятельности человека, оказывая наибольшее влияние на наше поведение. Практически всегда при принятии какого-либо решения человеку важно знать, что об этом думают окружающие. Людям интересно знать мнение пользователей товара перед тем, как совершить покупку. Многие граждане стараются узнать, что думают избиратели по поводу того или иного кандидата перед тем как отдать свое предпочтение на политических выборах, и так далее.

С развитием социальных сетей в сети интернет люди все более стали обращаться к таким ресурсам для принятия решений с учетом мнения общественности.

Мнения подразделяют на два типа: простое мнение и сравнительное.

Простое мнение, обычно, содержит точку зрения его автора о каком-то конкретном объекте. Может быть высказано прямо или неявно.

Объектом анализа тональности текста может быть любая сущность, относительно которой можно выразить мнение в тексте.

Автор мнения - это человек, выражающий свое мнение.

Тональностью (сентиментом) называется эмоциональная окраска, выраженная в тексте. Обычно при сентимент-анализе выделяют три класса эмоциональной окраски: позитивная, нейтральная и негативная [10]. Если в тексте отсутствует эмоциональная составляющая, он считается нейтрально окрашенным.

Таким образом, мнение определяется через кортеж из четырех элементов, (entity, sentiment value, holder, time). В котором entity - это объект, о котором автор (holder) высказал свое мнение (sentiment value) в определенный момент времени (time) [10].

Второй тип мнений - сравнение - это процесс количественного или качественного сопоставления различных свойств (отличий, сходств, недостатков и преимуществ) двух или более объектов в результате которого целью формирования является определенная оценка или мнение для одного из них [3].