Международные Центры искусственного интеллекта Samsung представили свои разработки на CVPR 2020

Глобальные научно-исследовательские центры Samsung представили на главном ежегодном мероприятии по компьютерному зрению и распознаванию образов CVPR разработки, относящиеся к новым технологиям компьютерного зрения, глубокого обучения, а также технические наработки, связанные с искусственным интеллектом (AI).
CVPR – крупнейшая в мире конференция по компьютерной инженерии и искусственному интеллекту. В этом году мероприятие проходило в режиме онлайн с 14 по 19 июня. На нём Samsung Research, передовой научно-исследовательский центр Samsung Electronics, и другие исследовательские центры техногиганта, представили в общей сложности 11 диссертационных работ. Исследователи из московского Центра искусственного интеллекта Samsung и Центра искусственного интеллекта Samsung в Торонто выступили с устными докладами.
В презентации московского AI-центра Samsung инженер лаборатории анализа мультимодальных данных – Павел Соловьёв, вместе с соавторами, представил технологию, которая позволяет менять время суток на пейзажной фотографии высокого разрешения, используя данные без доменной метки. Ведущий инженер лаборатории компьютерного зрения Константин Софиюк и его команда выступили с докладом “f-BRS: Переосмысляя уточняющий обратный проход для интерактивной сегментации” – в ней представлена технология, которая позволяет пользователю кликнуть по объекту на фотографии, чтобы точно определить и выделить его.
Исследователь из Центра искусственного интеллекта в Торонто Майкл Браун представил работу под названием «Глубокое редактирование баланса белого». Эта AI-технология исправляет ошибки баланса белого гораздо точнее, чем существующие программы для редактирования фотографий. Разработка также открывает новые возможности точной регулировки цветовой температуры баланса белого на фотографии.
Разработчики из научно-исследовательского центра Samsung Research America представили свои работы: исследование Эрика Луо под названием «Сеть синтеза вейвлетов: действенная архитектура оценки несоответствия для синтеза эффекта DSLR Calibre Bokeh на смартфонах» было посвящено ключевым факторам, позволяющим сократить разрыв между цифровым зеркальным фотоаппаратом и камерой смартфона с точки зрения получения эффекта боке, то есть малой глубины резкости (DoF).
Илин Шен из AI-центра Samsung Research America представил доклад о нераспространённых (OoD) эталонных тестах для исследования глубоких нейросетей. В исследовании Шена, озаглавленном «Обучение нераспространённому обнаружению без данных вне распределения», был предложен ключевой алгоритм машинного обучения, позволяющий существенно повысить скорость обнаружения, что является одной из основных проблем в технологии AI.
Также на CVPR были отмечены исследования, представленные командой по изучению визуальных технологий Samsung Research и научно-исследовательским центром в Индии.

Samsung Research Centers From Around the World Present Their Studies at CVPR 2020

Samsung Electronics’ Global Research & Development (R&D) Centers have presented their studies to the CVPR (Computer Vision and Pattern Recognition) introducing new computer vision, deep learning and AI related technical researches.
CVPR is the world’s biggest conference on computer engineering and AI. At this year’s conference, held online from June 14 to 19, Samsung Research, an advanced R&D hub within Samsung Electronics’ SET Business and its advanced R&D centers gave presentations on a total of 11 thesis papers. Researchers from Samsung Moscow AI center and Samsung Toronto AI center were invited to oral presentations, an opportunity given to only 5% of the entire attendees.
At the oral presentation, Pavel Solovev of Samsung Moscow AI Center introduced ‘High Resolution Daytime Translation without Domain Labels’, which is a technology that changes a high resolution landscape photograph into scenes from various times of the day using data without domain label. Konstantin Sofiiuk also introduced ‘f-BRS: Rethinking Backpropagating Refinement for Interactive Segmentation’, which is a technology that allows a user to simply click an object in a photograph to precisely select and separate it.
Joining from the Toronto AI Center, researcher Michael Brown and his team introduced the paper titled ‘Deep White-Balance Editing’, which was also selected for an oral presentation. This AI technology corrects white-balance mistakes made in a captured photograph much more accurately than existing photo editing programs. This technology also allows users to accurately adjust the photo’s white-balance color temperature.
Researchers from Samsung Research America also presented interesting findings at the conference. Eric Luo’s study titled ‘Wavelet Synthesis Net: An Efficient Architecture for Disparity Estimation to Synthesize DSLR Calibre Bokeh Effect on Smartphones’ focused on key enablers to narrow the gap between DSLR and smartphone camera in terms of bokeh, the narrow depth of field (DoF).
Yilin Shen from Samsung Research America’s AI Center introduced a study on out-of-distribution (OoD) benchmarks for deep neural networks research. Shen’s study titled ‘Generalized ODIN: Detecting Out-Of-Distribution Image Without Learning From Out-Of-Distribution Data’ proposed the key machine learning algorithm of drastically improving the detection rate, one of major challenges in AI technology.
Additionally, the studies proposed by researchers from the Samsung Research’s Visual Technology team and Samsung R&D Institute India-Bangalore were also selected by CVPR.

Директор Samsung AI Center в Кембридже получил награду ACM SIGMOBILE Rockstar 2020

Директор Центра искусственного интеллекта Samsung в Кембридже д-р Николас Лэйн был удостоен награды SIGMOBILE Rockstar Award от Ассоциации вычислительной техники (ACM) в 2020-м году за вклад в процесс оптимизации ограниченных в ресурсах мобильных устройств, которые могут понимать, аргументировать и реагировать на сложные пользовательские запросы с помощью новых парадигм в алгоритмах машинного обучения и системном дизайне.
Международная премия SIGMOBILE Rockstar Award была учреждена в 2013-м году Ассоциацией вычислительной техники (ACM), авторитетной научной организацией, вручающей также престижную премию Тьюринга, а также входящей в АСМ международной группой SIGMOBILE, специализирующейся на мобильных вычислениях, беспроводных сетях и носимых устройствах.
Премия присуждается молодым учёным в возрасте до 40 лет, внесшим выдающийся вклад в исследования или разработки в сфере мобильных вычислений в течение 10 лет после получения университетского образования. Победителя определяет комитет, в который входят лауреаты премии прошлых лет. В 2020-м году SIGMOBILE Rockstar впервые получил учёный из университета, расположенного за пределами США.
Доктор Николас Лэйн – директор Центра искусственного интеллекта Samsung в Кембридже, где он руководит работой в сфере локального и распределённого машинного обучения. В последние годы Николас Лэйн сосредоточился, прежде всего, на развитии глубокого обучения для моделирования человеческой деятельности и контекста, а также над обеспечением эффективной работы современных алгоритмов обработки и моделирования сигналов на встроенном и мобильном оборудовании.
«Я рад получить эту награду. Мне очень повезло работать со многими невероятно талантливыми учёными, и эта награда – плод наших совместных усилий. Я также считаю, что это знак растущей важности встроенного мобильного машинного обучения, и я с нетерпением жду возможности внести свой вклад для того, чтобы Samsung оставался лидером в этой стремительно развивающейся сфере технологий», – прокомментировал награду доктор Лэйн.
На сегодняшний день под руководством Samsung Electronics работают 7 Центров искусственного интеллекта: в Сеуле (Южная Корея), Кремниевой долине (штат Калифорния, США), Нью-Йорке (США), Кембридже (Великобритания), Москве (Россия), Торонто (Канада) и Монреале (Канада). Каждый из 7-ми AI-центров Samsung имеет свои специальные области исследований. Например, Центр Искусственного Интеллекта (AI) в Кембридже сфокусирован на локальном AI и технологиях AI, связанных с новым поколением телекоммуникационных сетей; Московский центр ориентирован на базовые AI-технологии, такие как формирование данных для машинного обучения и прогрессивное глубокое обучение, а ключевое направление Центра в Нью-Йорке – манипуляции с роботами. Сеульский центр работает над пониманием языка, обработкой речи и большими данными, а также координирует работу других центров, способствуя продуктивному сотрудничеству между ними.
Центр искусственного интеллекта Samsung в Москве был открыт 29 мая 2018 года. Он пополнил портфель подразделения Samsung Research и стал 5-м по счёту специализированным центром Samsung для исследований в сфере AI в мире. Центр способствует укреплению лидерства корпорации в области машинного обучения и анализа данных, а также исследованию широких возможностей ориентированного на пользователя AI. Главные сферы изучения – компьютерное зрение и базовые алгоритмы для платформы искусственного интеллекта.
Samsung AI Center Moscow также стал базой для продвижения образовательных инициатив корпорации. Например, летом в рамках AI-центра проходит летняя школа AI Bootcamp и Летняя школа по байесовским методам в глубоком обучении (летняя школа Deep|Bayes). Кроме того, в Центре проводятся презентации лучших проектов выпускников программ «IT ШКОЛА SAMSUNG» и «IT Академия Samsung».
В марте 2019 года при участии Центра стартовала программа Samsung Startup Membership, а в ноябре в её рамках прошло первое мероприятие Samsung Connection Day. Стартапы, включённые в программу, получают знания о развитии технологического рынка и его актуальных трендах, принимают участие в открытых и закрытых мероприятиях с ведущими экспертами Samsung, а также приглашёнными специалистами и разработчиками.

Director at Samsung AI Center Receives 2020 ACM SIGMOBILE Rockstar Award

Samsung AI Center Cambridge Director Dr. Nicholas Lane has been awarded the Association for Computing Machinery (ACM) SIGMOBILE Rockstar Award for 2020. The international award was founded in 2013, and recognizes an individual who has produced outstanding research or product contributions in the area of mobile computing early in their career.
The ACM is the high-profile academic organization that presents the prestigious Turing Award, and SIGMOBILE is ACM’s international special interest group on the topics of mobile computing, wireless networks and wearable computing. SIGMOBILE’s Rockstar Award is awarded to an individual who makes outstanding contributions to the field of mobile computing within 10 years of receiving their highest university degree or at an age younger than 40. Entrants are nominated by their peers, before an award committee that includes past award winners screens nominees and selects that year’s recipient. 2020 marks the first time that a professor from a university outside of the United States has won SIGMOBILE’s Rockstar Award.
Dr. Nicholas Lane is a Director at the Samsung AI Center in Cambridge where he oversees teams that work on on-device and distributed machine learning. In recent years he has focused primarily on developing deep learning for modeling human activity and context, as well as enabling state-of-the-art signal processing and modeling algorithms to work efficiently on embedded and mobile-class hardware. Commenting on why Dr. Lane was chosen to receive the honor, the committee said the award recognized “his contributions to the understanding of how resource-constrained mobile devices can robustly understand, reason and react to complex user behaviors and environments through new paradigms in learning algorithms and system design.”
Speaking about receiving SIGMOBILE’s 2020 Rockstar Award, Dr. Lane said, “I am delighted and honored to have received this award. I feel very fortunate to have worked with many wonderfully talented researchers over the years, and this award is a reflection of these collaborative efforts. I believe it is also a signal of the growing importance of on-device machine learning, and I look forward to doing my part to keep Samsung at the forefront of this rapidly evolving technology.”

Samsung разрабатывает кодек AI ScaleNet для передачи 8K-видео

Продажи дисплеев и телевизоров формата 8K постепенно растут, но вместе с тем появляются новые проблемы, которые необходимо решить, прежде чем зрители по всему миру смогут насладиться полноценным видео ультравысокого разрешения 8K. Во-первых, необходимо больше соответствующего контента, а во-вторых, нужны сети, способные поддерживать непрерывную потоковую передачу 8K-видео. Для преодоления этих сложностей исследователи из института Samsung Research разработали кодек с поддержкой AI (искусственного интеллекта) — AI ScaleNet. Разработка обеспечивает передачу контента 8K по сетям, пропускная способность которых рассчитана на разрешение 4K. Кодек AI ScaleNet использует технологию глубокого обучения, чтобы минимизировать потерю данных во время сжатия и обеспечить потоковую передачу 8K в сетях с более низкой пропускной способностью. Контент 8K сжимается до 4K с помощью AI и передаётся на телевизор, который использует AI для повышения разрешения видео до 8K. «Мультимедийный контент быстро распространяется в Интернете, поэтому преодоление ограничения полосы пропускания для передачи контента UHD стало нашей основной задачей», — заявил Кванг-пё Чой, один из разработчиков системы. AI ScaleNet устраняет ограничения полосы пропускания с помощью так называемого адаптивного кодека с поодержкой AI.
«AI Adaptive Bit Rate Streaming — это технология с применением искусственного интеллекта, которая адаптируется к различным полосам пропускания и регулирует разрешение для обеспечения бесперебойной потоковой передачи», — добавил Чой.
Как отметили разработчики, процесс создания кодека был непростой задачей. «Самым сложным было обеспечить совместимость с существующими технологиями сжатия. Вопрос был в том, как разработать простой в использовании алгоритм, который был бы совместим с уже существующими технологиями, и в то же время обеспечивал запланированную производительность», — сказал Чой. Разработчики также добавили, что искусственный интеллект будет способствовать развитию телевизионных технологий в целом.

Developing AI ScaleNet: Enabling Seamless, High-resolution 8K Streaming

It’s official: We’ve entered the era of 8K TVs. Around the world, sales of 8K displays are steadily increasing, and with TV manufacturers constantly adding more offerings to the mix, the 8K market is expected to continue to grow.
There are, however, a few challenges that need to be addressed before viewers around the world will be able to enjoy 8K’s stunning visuals in their entirety. First, more 8K content will need to be produced, and second, network connections need to be made capable of supporting the seamless streaming of 8K movies and shows.
To address these issues, researchers from Samsung Research, an advanced R&D hub within Samsung Electronics’ SET Business, have developed an AI Codec known as AI ScaleNet. First introduced at SDC19, this innovation enables the delivery of 8K content on networks that typically support only 4K speeds – without the need for additional infrastructure.
To learn more about AI ScaleNet’s development process and potential applications, Samsung Newsroom interviewed Kwangpyo Choi and Youngo Park – researchers from Samsung Research’s Visual Technology team, and the first individuals to suggest and develop this type of innovative technology.

Supporting More 8K Content

AI ScaleNet utilizes deep learning technology to minimize data loss during compression and enable 8K content to be streamed on networks with lower bandwidth capabilities.
Here’s how it works, in a nutshell: 8K content is compressed to 4K quality using an AI downscaler and transmitted to the user’s TV, which utilizes AI to upscale the content back to 8K quality. When asked to describe the inspiration for the technology, Choi specified a need for a new video compression and transmission technology in order to accommodate the ever-evolving media landscape, and to address related technical challenges.
“Multimedia content is rapidly moving online, so figuring out how to overcome bandwidth limitations for UHD content transmission has become a major task,” said Choi.
“With AI ScaleNet, users will be able to enjoy 8K-quality content, even at lower bandwidths,” added Park. “In fact, during periods of high network traffic, when speeds tend to drop, viewers can still expect content to be presented at a relatively higher quality.”
AI ScaleNet addresses bandwidth limitations within modern network infrastructures with what’s known as an adaptive AI Codec. “AI Adaptive Bit Rate Streaming refers to AI technology that adapts to various bandwidths and adjusts the resolution to enable seamless streaming,” said Choi.
The difference the technology makes is especially clear when using over-the-top (OTT) services, where viewers typically notice changes in picture quality. As Choi explained, however, Samsung’s AI Codec and AI ScaleNet technology utilize AI that adapts to changes in bandwidth and optimizes quality, so users enjoy the highest-quality streaming experience possible.

A Groundbreaking Innovation

As the researchers described, the development process wasn’t without its difficulties. “The most difficult part was ensuring compatibility with existing codec compression technologies,” said Choi. “How to design an easy-to-use algorithm that would be compatible with existing technologies, while delivering the intended performance at the same time was the question.”
Choi also noted difficulties that derived from gaps in perspective between the research and development teams. There were several considerations related to complexity, design and structure which researchers took for granted, and were questioned by the developers.
“We were able to achieve this result thanks to the synergy of both our team members, who worked closely to achieve the same goal, and colleagues who were focused on the technology’s commercialization,” said Park. “I believe that AI ScaleNet is the first technology to overcome bandwidth limitations by addressing complexity issues and separating the server and client sides, respectively. It’s relatively difficult to commercialize AI technology today for the purpose of enhancing resolution, which is different from commercializing AI for recognition and classification.”

Empowering Richer User Experiences with AI Technology

When asked how AI technology will contribute to the advancement of TV technologies in general, the researchers pointed to two possible directions.
“The first would be greater user convenience, and the second would be enhanced picture quality,” Choi began. “The first point is already being delivered with Bixby. To enhance people’s viewing experiences, technologies that support the best possible picture quality at minimum bandwidth, such as AI ScaleNet, should be continuously researched and developed.”
As the researchers noted, Samsung has big plans for this versatile technology. “AI ScaleNet has shown us that by overcoming challenges, we can help usher in the future and enrich the user experience,” said Park. “Going forward, we will continue to research and develop additional functionalities that add to users’ convenience, and through cooperation with content service providers, we hope to empower diverse services for Samsung devices.”