Лекция «Глубокие Q-сети в обучении с подкреплением»

18 мая в библиотеке имени Горького прошла лекция Артема Кацнельсона, преподавателя НИУ ВШЭ (г. Москва), «Глубокие Q-сети (Deep Q-Networks, DQN) в обучении с подкреплением».

Лекция была посвящена одному из ключевых подходов в современном обучении с подкреплением – глубоким Q-сетям (DQN). Ее участники рассмотрели, как классический метод Q-обучения был расширен с использованием нейронных сетей для работы в средах с непрерывным или дискретным, но большим пространством состояний, обсудили основные компоненты DQN: replay buffer, target network и ε-жадную стратегию. Особое внимание было уделено проблемам стабильности и сходимости алгоритма, а также архитектурным улучшениям: Double DQN, Dueling DQN и Prioritized Experience Replay. Лекция сопровождалась демонстрацией на средах OpenAI Gym и практическими примерами на PyTorch.

После мероприятия ее участники прогулялись по библиотеке с экскурсией, познакомились с работой отделов.

Татьяна Селиванова,
заведующий универсальным читальным залом