В начале марта 2018 года Высшая школа экономики (ВШЭ/HSE) объявила об открытии совместной с Samsung Research лаборатории.
Samsung-HSE Laboratory будет разрабатывать механизмы байесовского вывода в современных нейронных сетях, что позволит решить ряд проблем в глубинном обучении. Команду лаборатории составят сотрудники исследовательской группы байесовских методов факультета компьютерных наук НИУ ВШЭ — одной из сильнейших научных групп России в области машинного обучения и байесовского вывода. Возглавит её профессор ВШЭ Дмитрий Ветров.
Сотрудничество Центра глубинного обучения и байесовских методов (ранее — Международная лаборатория глубинного обучения и байесовских методов) с корпорацией Samsung началось год назад с проекта по разработке специального метода обучения глубинных нейронных сетей, основанного на байесовском подходе. Открывающаяся совместная лаборатория НИУ ВШЭ и Samsung станет частью этого центра.
Нейронные сети и байесовские модели — две популярные парадигмы в области машинного обучения. Первые совершили настоящую революцию в области обработки больших объёмов данных, положив начало новому направлению, получившему название глубинное обучение. Вторые традиционно применялись для обработки малых данных. Новый математический аппарат, разработанный в 2010-х годах, позволяет конструировать масштабируемые байесовские модели. Это даёт возможность применить механизмы байесовского вывода в современных нейронных сетях.
Даже первые попытки построения гибридных нейробайесовских моделей приводят к неожиданным и интересным результатам. Например, благодаря использованию байесовского вывода в нейронных сетях удаётся сжать сеть приблизительно в 100 раз без потери точности её работы. С другой стороны, в самой процедуре приближённого байесовского вывода можно также использовать нейронную сеть, чтобы подойти к точному апостериорному распределению. Таким образом, получается взаимное проникновение двух технологий.
Нейробайесовский подход потенциально может решить ряд открытых проблем в глубинном обучении: возможность катастрофического переобучения на шумы в данных, самоуверенность нейронной сети даже в ошибочных предсказаниях, неинтерпретируемость процесса принятия решения, уязвимость к враждебным атакам (adversarial attacks). Все эти проблемы осознаются научным сообществом и над их решением работают многие коллективы по всей планете, но готовых ответов пока нет.
«Samsung Electronics — один из мировых технологических лидеров. В своих разработках мы используем много моделей глубинного обучения. Но для того, чтобы не отставать от конкурентов, недостаточно просто использовать готовые модели. Нужно создавать и новые технологии машинного обучения. Это тем более важно, что область глубинного обучения ещё не «устоялась» и каждый год появляются всё новые модели, а уже существующие быстро устаревают, — поясняет доктор Ли Гын-бэ, руководитель AI Center, недавно созданного подразделения Samsung Research. — Всё это означает, что человечество пока не нащупало оптимального решения для обработки больших объёмов данных. Поэтому сотрудничество с ведущими научными группами в области машинного обучения и искусственного интеллекта в университетах по всему миру позволяет «держать руку на пульсе» и отслеживать самые последние достижения в этой области, а также получать эксклюзивный доступ к технологиям, созданным в лабораториях-партнёрах».
«Решение корпорации Samsung выбрать нашу группу в качестве ключевого партнёра в России, дав нам возможности сосредоточиться исключительно на фундаментальных исследованиях, — это знак признания наших научных достижений и одновременно кредит доверия, который мы постараемся полностью оправдать, — говорит руководитель совместной лаборатории и глава исследовательской группы байесовских методов ВШЭ Дмитрий Ветров. — Обычно крупные компании стараются использовать учёных для решения прикладных задач. Я рад, что наши корейские коллеги понимают всю важность исследований по разработке новых технологий, а не решения конкретных задач. Наша лаборатория будет заниматься именно созданием новых технологий, то есть самым интересным с точки зрения учёного. Наши цели полностью совпадают с пожеланиями наших партнёров, что служит залогом успешного и длительного сотрудничества».
В прошлом году Samsung создал в Южной Корее новое подразделение — AI Center, специализирущееся на разработках в области искусственного интеллекта. В дополнение к созданию совместной лаборатории с ВШЭ в планах AI Center в этом году — открытие глобальной сети филиалов на базе исследовательских лабораторий в России, Франции, Канаде и Великобритании, что позволит усилить компетенции Samsung в области искусственного интеллекта.
Помимо научных проектов, совместная лаборатория НИУ ВШЭ — Samsung будет активно участвовать в образовательном процессе. К работе в ней будут привлекаться и студенты, и аспиранты факультета компьютерных наук. В августе 2018 года при поддержке Samsung пройдёт вторая летняя школа по нейробайесовским методам. На этот раз она будет проводиться на английском языке и в ней примут участие несколько ведущих учёных. Набор на летнюю школу ещё открыт.
Samsung and the Russian Higher School of Economics are opening a joint laboratory to create artificial intelligence systems
Samsung-HSE Laboratory is a new research lab of the Faculty of Computer Science. The main direction of the Laboratory’s research is the construction of scalable probabilistic models. The core of the new Laboratory is a team of researchers of the Centre of Deep Learning and Bayesian Methods, with a broad expertise in the field of machine learning and Bayesian methods.
Samsung, which is one of the world's technological leaders, creates a network of joint laboratories around the world. The participation of HSE’s staff in this global project will allow them to focus on fundamental research and contact with the world's strongest research groups in the field of machine learning and artificial intelligence.
The major areas of research are:
* Sparsification and acceleration of deep neural networks
* Ensembles of ML algorithms
* Uncertainty estimation and defences against adversarial attacks
* Loss-based learning for Deep Structured Prediction
* Stochastic optimization methods
* Learning and inference methods for probabilistic models using tensor decomposition
