Лингвистика на коленке

Говорят, в нейронных сетях (deep learning) для решения задач обработки естественного языка (natural language processing, NLP) появился перенос обучения (transfer learning). На огромном количестве неразмеченных данных обучаются (unsupervised learning) языковые модели с векторами слов (word embeddings), а дальше слои, полученные при обучении, можно использовать для задач классификации текстов, машинного перевода, диалоговых агентов и множества других задач. Джереми Ховард в курсе fast.ai описывал такую задачу еще в ноябре, но сейчас, в июне, появилась статья, подтверждающая sota (state of the art) этих результатов. Чем хороша эта новость: для задач естественного языка нужны размеченные данные. Их нужно много. Это очень дорого, при том, что качество далеко не всегда бывает идеальным, потому что разметка текстовых данных намного сложнее, чем разметка фотографий собак и кошек, например.

Обучая языковую модель на неразмеченных данных, можно срезать путь и доучивать модель на маленьких наборах данных. В статье говорится, что это сродни прорыву ImageNet в задачах компьютерного зрения, когда в 2012 году на миллионах картинок обучили классификации нейронные сети, и эти сети оказались способны решать множество других задач.

https://www.wired.com/story/ai-can-recognize-images-but-understand-headline/amp?__twitter_impression=true

Кстати, на Себастьяна Рудера, ученого, получившего эти результаты, я подписана в твиттере и очень рекомендую, у него есть отличная рассылка новостей NLP.