Лингвистика на коленке

Лаборатория нейронных сетей и глубокого обучения МФТИ открывает курс Deep Learning in Natural Language Processing. Он стартует 4 октября и будет проходить каждый четверг в 19:00 в 105 БК.

Курс проходит в формате "inverse classroom". Перед каждым семинаром нужно просмотреть лекцию и ответить на квиз. В основе программы — аналогичный курс Стэнфордского университета (cs224n). Обучение будет состоять из просмотра лекций, ответов на квизы, выполнения домашних заданий и проекта. Семинары будут посвящены обсуждению сложных моментов в лекциях, разбору квизов и домашних заданий, а также консультациям по проектам. Проведут их сотрудники лаборатории нейронных сетей и глубокого обучения Владислав Лялин и Алексей Сорокин.

Занятия будут проводиться в следующем порядке:

1. Введение в обработку естесственного языка и глубокое обучение, введение в векторные представления слов

2. Векторные представления слов: Word2vec, GloVe, FastText

3. Языковые модели, softmax crossentropy loss, однослойные нейронные сети

4. Нейронные сети и обратное распространение ошибки, методы оптимизации

5. Практические советы: проверки на градиент, переобучение, регуляризация, функции активации

6. Рекуррентные нейронные сети в применении к моделированию языка и другим задачам

7. GRU и LSTM, введение в машинный перевод

8. Сверточные нейронные сети в применении к классфикации текстов

9. Машинный перевод, attention

10. Сети с динамической памятью, контекстуальные векторные представления слов, будущее NLP

Длительность курса — 10 занятий. Курс открыт для всех желающих углубить свои знания в Deep Learning и Natural Language Processing. Занятия также будут транслироваться в режиме онлайн на Youtube-канале лаборатории (https://www.youtube.com/channel/UCJ-6K2HGA0hpQytlSM7FBVQ).

Для записи на курс необходимо заполнить форму (https://goo.gl/forms/BbUng7k3KbHK8s1t2). Оперативную информацию можно отслеживать в Телеграм-канале (https://t.me/joinchat/AAAAAEbQgIbzmzfKmMRlVw).

(Подсмотрено в слаке ODS.)