Международные Центры искусственного интеллекта Samsung представили свои разработки на CVPR 2020

Глобальные научно-исследовательские центры Samsung представили на главном ежегодном мероприятии по компьютерному зрению и распознаванию образов CVPR разработки, относящиеся к новым технологиям компьютерного зрения, глубокого обучения, а также технические наработки, связанные с искусственным интеллектом (AI).
CVPR – крупнейшая в мире конференция по компьютерной инженерии и искусственному интеллекту. В этом году мероприятие проходило в режиме онлайн с 14 по 19 июня. На нём Samsung Research, передовой научно-исследовательский центр Samsung Electronics, и другие исследовательские центры техногиганта, представили в общей сложности 11 диссертационных работ. Исследователи из московского Центра искусственного интеллекта Samsung и Центра искусственного интеллекта Samsung в Торонто выступили с устными докладами.
В презентации московского AI-центра Samsung инженер лаборатории анализа мультимодальных данных – Павел Соловьёв, вместе с соавторами, представил технологию, которая позволяет менять время суток на пейзажной фотографии высокого разрешения, используя данные без доменной метки. Ведущий инженер лаборатории компьютерного зрения Константин Софиюк и его команда выступили с докладом “f-BRS: Переосмысляя уточняющий обратный проход для интерактивной сегментации” – в ней представлена технология, которая позволяет пользователю кликнуть по объекту на фотографии, чтобы точно определить и выделить его.
Исследователь из Центра искусственного интеллекта в Торонто Майкл Браун представил работу под названием «Глубокое редактирование баланса белого». Эта AI-технология исправляет ошибки баланса белого гораздо точнее, чем существующие программы для редактирования фотографий. Разработка также открывает новые возможности точной регулировки цветовой температуры баланса белого на фотографии.
Разработчики из научно-исследовательского центра Samsung Research America представили свои работы: исследование Эрика Луо под названием «Сеть синтеза вейвлетов: действенная архитектура оценки несоответствия для синтеза эффекта DSLR Calibre Bokeh на смартфонах» было посвящено ключевым факторам, позволяющим сократить разрыв между цифровым зеркальным фотоаппаратом и камерой смартфона с точки зрения получения эффекта боке, то есть малой глубины резкости (DoF).
Илин Шен из AI-центра Samsung Research America представил доклад о нераспространённых (OoD) эталонных тестах для исследования глубоких нейросетей. В исследовании Шена, озаглавленном «Обучение нераспространённому обнаружению без данных вне распределения», был предложен ключевой алгоритм машинного обучения, позволяющий существенно повысить скорость обнаружения, что является одной из основных проблем в технологии AI.
Также на CVPR были отмечены исследования, представленные командой по изучению визуальных технологий Samsung Research и научно-исследовательским центром в Индии.

Samsung Research Centers From Around the World Present Their Studies at CVPR 2020

Samsung Electronics’ Global Research & Development (R&D) Centers have presented their studies to the CVPR (Computer Vision and Pattern Recognition) introducing new computer vision, deep learning and AI related technical researches.
CVPR is the world’s biggest conference on computer engineering and AI. At this year’s conference, held online from June 14 to 19, Samsung Research, an advanced R&D hub within Samsung Electronics’ SET Business and its advanced R&D centers gave presentations on a total of 11 thesis papers. Researchers from Samsung Moscow AI center and Samsung Toronto AI center were invited to oral presentations, an opportunity given to only 5% of the entire attendees.
At the oral presentation, Pavel Solovev of Samsung Moscow AI Center introduced ‘High Resolution Daytime Translation without Domain Labels’, which is a technology that changes a high resolution landscape photograph into scenes from various times of the day using data without domain label. Konstantin Sofiiuk also introduced ‘f-BRS: Rethinking Backpropagating Refinement for Interactive Segmentation’, which is a technology that allows a user to simply click an object in a photograph to precisely select and separate it.
Joining from the Toronto AI Center, researcher Michael Brown and his team introduced the paper titled ‘Deep White-Balance Editing’, which was also selected for an oral presentation. This AI technology corrects white-balance mistakes made in a captured photograph much more accurately than existing photo editing programs. This technology also allows users to accurately adjust the photo’s white-balance color temperature.
Researchers from Samsung Research America also presented interesting findings at the conference. Eric Luo’s study titled ‘Wavelet Synthesis Net: An Efficient Architecture for Disparity Estimation to Synthesize DSLR Calibre Bokeh Effect on Smartphones’ focused on key enablers to narrow the gap between DSLR and smartphone camera in terms of bokeh, the narrow depth of field (DoF).
Yilin Shen from Samsung Research America’s AI Center introduced a study on out-of-distribution (OoD) benchmarks for deep neural networks research. Shen’s study titled ‘Generalized ODIN: Detecting Out-Of-Distribution Image Without Learning From Out-Of-Distribution Data’ proposed the key machine learning algorithm of drastically improving the detection rate, one of major challenges in AI technology.
Additionally, the studies proposed by researchers from the Samsung Research’s Visual Technology team and Samsung R&D Institute India-Bangalore were also selected by CVPR.

Новая система искусственного интеллекта в мобильных устройствах Samsung сможет обойтись без обращений к облачным сервисам. Эффективность работы нейросетевого процессора (NPU) повышена в 8 раз по сравнению с аналогами.

Алгоритмы глубокого обучения являются ключевым элементом искусственного интеллекта (AI), поскольку они представляют собой процессы, с помощью которых компьютер способен мыслить и учиться, как это делает человек.
NPU - это нейронный процессор, оптимизированный для вычислений алгоритма глубокого обучения, разработанный для эффективной обработки тысяч подобных вычислений одновременно.
В прошлом месяце Samsung Electronics объявил о своей цели - укрепить лидерство в мировой индустрии полупроводниковых систем к 2030 году путём расширения своих собственных разработок технологии NPU. Недавно южнокорейский техногигант представил свои открытия в этой области на конференции по компьютерному зрению и распознаванию образов (CVPR), одной из ведущих научных конференций такого профиля.
Сотрудники передового технологического института Samsung (Samsung Advanced Institute of Technology или сокращённо SAIT), специализирующееся на разработке, тестировании и производстве новых чипов, сообщили, что им удалось добиться прорыва в алгоритме работы искусственного интеллекта. За счёт множества нововведений чипы Samsung будут в 8 раз производительнее, чем ныне существующие 32-разрядные серверные нейросетевые процессоры (NPU).
Разработка южнокорейского электронного гиагнта весьма многообещающа. Новый NPU назвали Quantification1 Interval Learning (QIL). Он преобразует данные в группы из менее 4 бит, сохраняя при этом точность их распознавания. Все вычисления происходят непосредственно внутри устройства без необходимости их отправки в облако. Технология занимает в 4 раза меньше памяти и работает в 8 раз быстрее предшественников.
QIL позволяет сократить необходимое количество вычислений и, соответственно, уменьшить число транзисторов в 120 раз. Метод обработки алгоритма глубокого обучения здесь гораздо быстрее и энергоэффективнее, чем в уже существующих решениях. В то же время оптимизация вычислений и упрощение чипов позволят в разы ускорить функции вроде разблокировки посредством сканера отпечатков пальцев.
Кроме того, отказ от облачных вычисление и наличие AI в устройстве обеспечат максимальную стабильность обработки данных. Например, в системах автопилотирования любая задержка обработки при отправке данных в облако может иметь трагические последствия. Но решение инженеров Samsung позволяет  устранить такую проблему.
Многие ведущие производители электроники уже обратили внимание на эту разработку Samsung, что в обозримой перспективе должно принести корпорации дополнительную прибыль, поскольку техногигант собирается использовать такое решение не только в своих устройствах, но и продавать новые NPU сторонним заказчикам.

Samsung Electronics Introduces A High-Speed, Low-Power NPU Solution for AI Deep Learning

Deep learning algorithms are a core element of artificial intelligence (AI) as they are the processes by which a computer is able to think and learn like a human being does. A Neural Processing Unit (NPU) is a processor that is optimized for deep learning algorithm computation, designed to efficiently process thousands of these computations simultaneously.
Samsung Electronics last month announced its goal to strengthen its leadership in the global system semiconductor industry by 2030 through expanding its proprietary NPU technology development. The company recently delivered an update to this goal at the conference on Computer Vision and Pattern Recognition (CVPR), one of the top academic conferences in computer vision fields.
This update is the company’s development of its On-Device AI lightweight algorithm, introduced at CVPR with a paper titled “Learning to Quantize Deep Networks by Optimizing Quantization Intervals With Task Loss”. On-Device AI technologies directly compute and process data from within the device itself. Over 4 times lighter and 8 times faster than existing algorithms, Samsung’s latest algorithm solution is dramatically improved from previous solutions and has been evaluated to be key to solving potential issues for low-power, high-speed computations.

Streamlining the Deep Learning Process

Samsung Advanced Institute of Technology (SAIT) has announced that they have successfully developed On-Device AI lightweight technology that performs computations 8 times faster than the existing 32-bit deep learning data for servers. By adjusting the data into groups of under 4 bits while maintaining accurate data recognition, this method of deep learning algorithm processing is simultaneously much faster and much more energy efficient than existing solutions.
Samsung’s new On-Device AI processing technology determines the intervals of the significant data that influence overall deep learning performance through ‘learning’. This ‘Quantization1 Interval Learning (QIL)’ retains data accuracy by re-organizing the data to be presented in bits smaller than their existing size. SAIT ran experiments that successfully demonstrated how the quantization of an in-server deep learning algorithm in 32 bit intervals provided higher accuracy than other existing solutions when computed into levels of less than 4 bits.
When the data of a deep learning computation is presented in bit groups lower than 4 bits, computations of ‘and’ and ‘or’ are allowed, on top of the simpler arithmetic calculations of addition and multiplication. This means that the computation results using the QIL process can achieve the same results as existing processes can while using 1/40 to 1/120 fewer transistors2.
As this system therefore requires less hardware and less electricity, it can be mounted directly in-device at the place where the data for an image or fingerprint sensor is being obtained, ahead of transmitting the processed data on to the necessary end points.

The Future of AI Processing and Deep Learning

This technology will help develop Samsung’s system semiconductor capacity as well as strengthening one of the core technologies of the AI era – On-Device AI processing. Differing from AI services that use cloud servers, On-Device AI technologies directly compute data all from within the device itself.
On-Device AI technology can reduce the cost of cloud construction for AI operations since it operates on its own and provides quick and stable performance for use cases such as virtual reality and autonomous driving. Furthermore, On-Device AI technology can save personal biometric information used for device authentication, such as fingerprint, iris and face scans, onto mobile devices safely.
“Ultimately, in the future we will live in a world where all devices and sensor-based technologies are powered by AI,” noted Chang-Kyu Choi, Vice President and head of Computer Vision Lab of SAIT. “Samsung’s On-Device AI technologies are lower-power, higher-speed solutions for deep learning that will pave the way to this future. They are set to expand the memory, processor and sensor market, as well as other next-generation system semiconductor markets.”
A core feature of On-Device AI technology is its ability to compute large amounts of data at a high speed without consuming excessive amounts of electricity. Samsung’s first solution to this end was the Exynos 9 (9820), introduced last year, which featured a proprietary Samsung NPU inside the mobile System on Chip (SoC). This product allows mobile devices to perform AI computations independent of any external cloud server.
Many companies are turning their attention to On-Device AI technology. Samsung Electronics plans to enhance and extend its AI technology leadership by applying this algorithm not only to mobile SoC, but also to memory and sensor solutions in the near future.

1 Quantization is the process of decreasing the number of bits in data by binning the given data into sections of limited number levels, which can be represented in certain bit values and are regarded as having the same value per section
2 Transistors are devices that control the flow of current or voltage in a semiconductor by acting as amplifiers or switches