Проект Павла Посохова победил на RuATD Dialogue-2022

13 марта в рамках международной конференции по компьютерной лингвистике и интеллектуальным технологиям Dialogue-2022 состоялось подведение итогов соревнования RuATD (Russian Artificial Text Detection), посвященного задаче автоматического распознавания сгенерированных текстов на русском языке. Всего в конкурсе участвовало 38 команд – 30 в бинарной постановке (когда определяется написан текст машиной или человеком) и 8 в мультиклассовой (когда распознается конкретная модель, исопользованная для генерации текста). Павел Посохов, сотрудник ЛИЦ “Сильный искусственный интеллект в промышленности” и магистрант программы “Речевые технологии и машинное обучение” ФИТиП ИТМО занял первое место по треку мультиклассовой классификации.

Задачей конкурсантов было создать модель, способную отличить текст, созданный компьютером, от написанного человеком. Современные модели генерации текста показывают впечатляющие результаты: они научились писать новости, эссе на свободную тематику, понимать и менять стили, имитировать переписку с человеком и даже сочинять стихи. К сожалению, эти навыки могут быть использованы в недобросовестных целях, например, для генерации фейковых новостей, ложных отзывов о товарах, нечестной политической агитации или разжигания ненависти в интернете. Поэтому важно научиться распознавать автоматически сгенерированный контент, чтобы маркировать его и не вводить никого в заблуждение.

Конкурс проводился на двух независимых платформах Kaggle (система организации конкурсов по исследованию данных, а также социальная сеть специалистов по обработке данных и машинному обучению): бинарная классификация и мультиклассовая классификация. Обучающие данные были размечены автоматически. Тексты, написанные людьми, были взяты из открытых источников, а для генерации использовали различные нейросетевые языковые модели: машинный перевод, парафразирование, суммаризация, упрощение. Участникам разрешалось использовать любые дополнительные технологии и данные, но без поиска в интернете и ручной разметки текстовых данных. Результат оценивался по стандартной метрике оценки качества классификации — доля правильных ответов модели (accuracy). Показатели заносились в общую таблицу лидеров. Каждый конкурсант должен был выбрать 3 лучших своих решения и предоставить на проверку на честность другим участникам. Организаторы и сами участвуют в анализе кода и гарантируют, что каждое решение будет проверено.

Изначально в конкурсе Павел Посохов участвовал не один, а с двумя коллегами Степаном Скрыльниковым и Кириллом Апанасовичем.

“У нас было маленькое локальное соревнование в дополнение к основному лидерборду, и у моей модели метрики оказались лучше, поэтому она и была представлена жюри”, – рассказал Павел.

По итогам конференции, участники могут подать свою научную статью в сборник «Компьютерная лингвистика и интеллектуальные технологии», индексирующийся в Scopus. Однако участие в конференции и конкурсах не дает гарантий публикации, каждая статья проходит процедуру двойного слепого рецензирования, и в материалы конференции отбираются только полноценные научные исследования. Статья Павла Посохова под названием “Artificial text detection in Russian language: a BERT-based Approach” также подана в сборник и находится на этапе рецензирования.