QLED 8K: как искусственный интеллект и глубокое обучение помогают повысить качество изображения

В последнее время качество изображения на экранах телевизоров уже превосходит стандарт высокой чёткости (high definition, HD) – появились модели сверхвысокого разрешения (ultra-high definition, UHD), видео можно производить не только в формате 4K, но и в 8K. Однако, возможность снимать профессиональный контент в разрешении 8К появилась относительно недавно, а пользовательский контент 8К ещё только начинает появляться с выпуском мобильных трубок типа Galaxy S20, позволяющих создавать записи в таком разрешении. Отображать видео со сверхвысокой чёткостью позволяет существующая у Samsung технология масштабирования.
8K QLED-телевизоры 2020 года, использующие передовую операционную систему TIZEN, постоянно получают высокие оценки за инновационное качество изображения, отличный звук, современный дизайн и многое другое. В числе прочего, на примере этой линейки можно увидеть впечатляющую трансформацию технологий масштабирования видео, которые реализованы на базе интеллектуального процессора Quantum 8K, использующего алгоритмы искусственного интеллекта.
Команда разработчиков из лаборатории Picture Quality Solution Lab при подразделении Visual Display Business корпорации Samsung Electronics рассказала подробности об этой революционной технологии.

Улучшение алгоритмов глубокого обучения для оптимизации апскейлинга

При воспроизведении видео, записанного в низком разрешении, на дисплеях, работающих с высоким разрешением, качество изображения может оказаться ниже зрительских ожиданий. Технология масштабирования на базе искусственного интеллекта позволяет преобразовать видеоконтент с низким разрешением в видео более высокого качества, анализируя видеоданные и интеллектуально адаптируя их.
В 2018 году Samsung Electronics впервые внедрил технологию масштабирования на базе искусственного интеллекта для преобразования видеоконтента в формат 8K. Эта технология использует методы машинного обучения. При этом разработанный алгоритм анализирует различные параметры видео, в том числе количество линий, яркость и цвет, и улучшает изображение по каждому из этих аспектов, что позволяет повысить его разрешение. Подобные возможности глубинного обучения позволяют телевизору анализировать и обрабатывать детали видео, и одновременно с этим обучаться с помощью искусственной нейронной сети, принцип действия которой напоминает работу человеческого мозга.
Сотрудники Samsung Picture Quality Solution Lab сосредоточились на разработке алгоритмов глубокого обучения, благодаря которым телевизоры смогут всегда обеспечивать оптимальное качество видео без вмешательства человека. «Глубокое обучение позволяет добиться более точного и эффективного улучшения качества изображения, чем это возможно в ручном режиме», – отметил Хёнджун Лим (Hyungjun Lim), занимавшийся разработкой методов генерации текстур в технологии апскейлинга.
Именно это преимущество и привело команду к разработке технологии масштабирования на базе искусственного интеллекта, которая сочетает в себе машинное обучение с глубоким обучением. В основе этой технологии лежит Samsung AI Quantum Processor 8K. «Если прежняя технология на базе машинного обучения обеспечивала повышенную чёткость изображения, то теперь созданная нами технология способна предложить более точную проработку текстур, – отметил Хёнсунг Ли (Hyunseung Lee), который занимался разработкой алгоритмов для повышения резкости контуров объектов в AI Quantum Processor 8K. – Теперь процессор позволяет увеличить качество изображений со сложными текстурами, такими как горные пейзажи или изображения травы, до формата 8К, и сделать картинку ещё более естественной».

Решение проблем, связанных с глубинным обучением

Хотя технологии глубокого обучения имеют практически безграничный потенциал, тем не менее, существует целый ряд сложностей, которые необходимо преодолеть. В частности, команде лаборатории Picture Quality Solution Lab пришлось проиграть множество сценариев и провести огромное число экспериментов, прежде чем их технология была готова к выпуску на рынок. «Сначала нам было трудно детально отследить и понять принцип работы алгоритма, разрабатываемого искусственной нейронной сетью процессора, – говорит Чон Ли (Cheon Lee), разработчик структуры нейронной сети и метода обучения AI Quantum Processor 8K. – Кроме того, нам нужно было решить проблему высокого энергопотребления процессора, на котором была запущена нейронная сеть».
После длительного процесса разработки инженерам Samsung удалось решить возникшие проблемы, для чего им пришлось определённым образом адаптировать свои технологии. «Мы смогли добиться улучшения качества отображения в нашем процессоре благодаря внедрению функционально сложной гибридной технологии, которая сочетает в себе различные аспекты глубокого обучения и машинного обучения», – пояснил Чон Ли.

Мыслить шире, ярче и реалистичнее с помощью технологий искусственного интеллекта

Ещё совсем недавно повседневное применение технологий на базе искусственного интеллекта было несбыточной мечтой. Сегодня технологии быстро совершенствуются, что приводит к улучшению качества жизни людей во многих областях жизни.
«Теперь мы можем более детально классифицировать видео с различными уровнями качества, более того, мы можем вывести эти технологии категоризации на базе искусственного интеллекта на коммерческий рынок, – отметил Сунгхо Парк (Seungho Park), который работал над устранением шумов и улучшением диапазона контрастности в AI Quantum Processor 8K. – Благодаря подобным технологиям дисплеи нового поколения, такие как The Wall, способны отображать любой видеоконтент с максимальной реалистичностью и качеством, которые доступны сегодня».
Возможности этих инноваций, в основе которых лежит искусственный интеллект, не ограничиваются одними лишь технологиями масштабирования. Существует множество способов использования искусственного интеллекта для повышения качества изображения на дисплеях. К их числу относятся категоризация качества видео, устранение шумов, устранение искажений, обусловленных сжатием данных, восстановление пространственного или временного разрешения, – и это лишь только некоторые из них. «Наша цель заключается в том, чтобы сохранить наследие Samsung и продолжить обеспечивать наилучшие впечатления от просмотра за счёт объединения преимуществ наших дисплеев следующего поколения и технологий искусственного интеллекта, которые позволяют получить реалистичное и высококачественное изображение независимо от качества и разрешения исходного контента», – подытожил Пак. Будущее технологий QLED 8K выглядит весьма привлекательно.

QLED 8K: Where AI Upscaling Meets Deep Learning

In recent times, screen picture quality has transcended high definition – these days, it’s all about ultra-high definition. Although today’s hardware has been developed to support not just 4K content but 8K content as well, only recently has content begun to actually be produced to 8K quality standards. Therefore, in order to improve the video display quality of content made before 8K existed, upscaling technology exists to keep up with today’s ultra-high definition standard.
Samsung Electronics’ TIZEN-powered 2020 QLED 8K TV lineup continuously receives praise for its devices’ innovative display quality, sound, design and many other areas. In particular, the range showcases an impressive evolution with regards to its video upscaling technology, at the core of which is Samsung’s AI Quantum Processor 8K.
Samsung Newsroom interviewed the team from the Picture Quality Solution Lab of Samsung Electronics’ Visual Display Business to learn more about this revolutionary technology.

Leveling Up Deep Learning for Optimized Upscaling

When a low-resolution video plays on a high-resolution display, the resulting image quality can be below a viewer’s expectations. AI (artificial intelligence) upscaling is a technology that converts low-resolution videos into ones of more vivid and natural resolutions by analyzing the video data and adapting it intelligently.
In 2018, Samsung Electronics implemented its machine learning-based AI 8K upscaling technology for the first time. This technology harnesses machine learning wherein a human-designed algorithm intelligently analyzes the various video qualities, including line, light and color, and improves each of these for an improved display resolution. Such deep learning capabilities permit a TV to analyze and process video features whilst simultaneously learning thanks to an artificial neural network that acts in the same way as the human brain.
The members of Samsung’s Picture Quality Solution Lab focused on developing deep learning algorithms that enable displays to always showcase optimum video qualities without human intervention. “Deep learning enables more precise and efficient image quality improvements than can be achieved by humans alone,” noted Hyungjun Lim, who developed the AI upscaling technology’s texture generation method.
This operational advantage is what led the team to develop an AI upscaling technology that combines machine learning with deep learning – Samsung’s AI Quantum Processor 8K. “Previous machine learning technology brought about enhanced sharpness to display picture quality, but now our technology can also offer more delicate texturing,” noted Hyunseung Lee, who developed enhanced edge sharpness for the AI Quantum Processor 8K. “Images with complicated textures, like mountain or grass landscapes, can now be upscaled into 8K quality more naturally.”

Solving the Conundrum of Deep Learning

Although deep learning has limitless potential, there are still obstacles to be overcome. The Picture Quality Solution Lab team had to go through countless trial-and-error scenarios in order to make their technology market-ready. “It was difficult for us, at first, to clearly follow and comprehend the algorithm being developed by the artificial neural network of the processor,” highlighted Cheon Lee, the developer of the AI Quantum Processor 8K’s network structure and learning method. “The artificial neural network’s high hardware chip power consumption was an issue we had to solve, too.”
After a lengthy development process, Samsung was eventually able to solve the problems that had arisen thanks to its range of differentiated technologies. “We achieved the highly efficient display quality performance of our processor by making it a hybrid technology that combines complexity along with different aspects of deep learning and machine learning,” explained Lee.

Dreaming Bigger, Better and More Realistic with AI
       
It wasn’t that long ago that the day-to-day application of AI-powered technologies was but a distant dream to us. Nowadays, technology has improved rapidly to the end of improving the lives of people across many different areas of everyday life.
“We are now able to categorize videos of differing quality levels in a more detailed way while also bringing these AI categorization technologies to the commercial market,” noted Seungho Park, who worked the AI Quantum Processor 8K’s noise elimination and improving the detail contrast range. “Such technologies permit next-generation displays, such as The Wall, to be able to showcase all kinds of videos at the most realistic qualities possible today.”
This AI-powered innovation is not just limited to upscaling technologies. There exist a variety of ways to harness AI to improve the screen qualities of displays, including video quality categorization, noise elimination, data-compression-caused distortion restoration and spatial or time-based resolution restoration, to name just a few. “Our goal is to continue Samsung’s legacy of providing leading TV viewing experiences by combining the advantages of our next-generation displays with AI technologies that can restore videos to realistic-level qualities, regardless of their original qualities and resolutions,” affirmed Park. The future of QLED 8K is looking bright.

Samsung улучшит систему интеллектуального апскейлинга в новых моделях 8K-телевизоров

Samsung Electronics намеревается реализовать в новых моделях телевизоров ультравысокой чёткости 8К, работающих на операционной системе TIZEN, улучшенную технологию масштабирования AI Upscaling на базе искусственного интеллекта.
Уникальная система AI Upscaling разработана для повышения качества исходного изображения до уровня 8K. Для этого в современных ТВ-панелях Samsung стандарта 8К применяется фирменный чип Quantum Processor.
Технология основана на преобразовании исходных материалов, которые могут транслироваться из разных источников — со стримингового сервиса, игровой консоли, приставки с интерфейсом HDMI и даже со смартфона.
Более того, система AI Upscaling также включает функцию улучшения звука: специальные алгоритмы автоматически анализируют и совершенствуют аудиоконтент в каждой сцене, создавая глубокий звук для эффекта полного погружения.
Как теперь стало известно профильным СМИ, система AI Upscaling следующего поколения будет использовать средства глубокого обучения (deep learning). Это обеспечит ещё более высокое качество преобразования изображения и звука.
Ожидается, что улучшенные средства AI Upscaling будут применяться во всех 8К-телевизорах Samsung (в том числе на основе дисплеев MicroLED), произведённых с 2020 года. Скорее всего, технология будет впервые продемонстрирована на крупнейшей в мире выставке потребительской электроники CES 2020, которая пройдёт с 7 по 10 января в Лас-Вегасе (штат Невада, США).
По словам главных разработчиков технологии интеллектуального апскейлинга, инженеров Ай Тай-гюна и Пак Сэн-хо, экосистема формата 8K развивается в телевизионной индустрии быстрее, чем ожидалось, именно благодаря достижениям в области масштабирования, а также принятию единых стандартов для цифрового 8K-изображения, что принципиально важно при создании контента.
Начиная с 2016 года Samsung инвестировал в технологию AI Upscaling для 8K-телевизоров 85 миллионов долларов США.

Samsung to launch new AI-enhanced self-upscaling TVs next year

Samsung Electronics will apply self-upscaling program based on deep learning AI (artificial intelligence) technologies to all TIZEN-powered 8K TV products to be rolled out from next year. 
AI and machine learning algorithms are used to bridge the resolution gap between 4K and 8K TVs in the world where even 4K TV broadcasts are not widespread yet. Upscaling can make 1080p HD or lower resolution sources look better on larger screens such as 4K and 8K. Samsung has been putting a big focus on AI upscaling in its 8K TVs and it is leading the industry with an advanced commercial version in this area. 
Two principal engineers Ahn Tae-gyoung and Park Seung-ho at Samsung Electronics Visual Display (VD) Business Division are among those who are behind this technology development. They told Maeil Business Newspaper on Wednesday all of Samsung’s 8K TVs to be released next year will be equipped with advanced upscaling based on deep learning technologies. 
They claim the world’s first application of deep learning in image improvement, yielding higher-level optimization compared to machine learning. New 8K TV models powered by this technology will be showcased at the upcoming CES 2020. 
Samsung’s new Micro LED display may also rely on this technology. The 8K AI upscaling is able to provide optimized audio clarity by adjusting sound levels depending on images on the screen. Millions of images are studied by AI algorithms in advance to analyze correlation between image characteristics and audio quality and to make up for any insufficiency by reference. 
The 8K ecosystem is progressing in the TV industry faster than expected due to upscaling advances as well as image quality standard setting and content development, said Ahn. 
Samsung Electronics has invested more than 100 billion won ($85 million) since 2016 to obtain AI-based 8K upscaling technologies.

Samsung подчёркивает свою приверженность технологии 8K на QLED-саммите в Нью-Йорке

Samsung Electronics выступил спонсором 3-го ежегодного QLED-саммита (8K Display Summit), организованного компанией Insight Media, на котором основное внимание было уделено текущему состоянию и будущему технологии отображения 8K. Мероприятие прошло в Таймс-сквер Миллениум в Нью-Йорке.
На саммите была представлена ​​информация о планах Samsung и других отраслевых игроков в отношении дисплеев 8K, а также инновации в технологии AI-масштабирования и распространения стандарта HDR10+, что помогает продвигать 8K в мейнстрим.
В работе саммита приняли участие более 100 представителей, включая компании по производству дисплеев и оборудования, производителей видеоконтента, технические средства массовой информации и глобальные обозреватели технологий из США и Европы, которые проявили большой интерес к мероприятию. В центре внимания были технологии, связанные со съёмкой и демонстрацией фильмов ультравысокого качества, а также их передача посредством сетевых решений 5G, съёмочное оборудование и кодеки сжатия изображений.
В этом году насыщенные сессии QLED-саммита затрагивали такие темы как ▲ 8K-дисплеи, ▲ 8K и текущая рыночная ситуация, ▲ экосистемы контента 8K и технологий 8K.
Также достигнута договорённость об активизации деятельности Ассоциации 8K, поскольку она уже провела свой первый публичный семинар на мероприятии NAB Show в США по вещательному оборудованию в апреле. С тех пор Ассоциация 8K продолжила свою деятельность, в том числе обнародовала планы постепенного увеличения числа своих членов, включая производителей телевизоров, чтобы установить точку опоры для стандартизации и расширения экосистемы 8K.
«С быстрым расширением технологии беспроводной сети 5G рынок 8K-дисплеев, как ожидается, достигнет больших успехов», - сказала Соня Чен, директор по маркетингу дисплеев в Samsung Electronics Device Solutions America. «В частности, он будет в центре внимания поколения миллениалов, привыкшего к высокой скорости интернета и просмотру высококачественных изображений».
Профессор Юнг-Кюнг Парк, руководитель Исследовательского института цветового дизайна в университете Эвха, присутствовавший на саммите, рассказал об интересных результатах проведённого эксперимента: «Когда мы видим изображение со сверхвысоким разрешением, наша способность распознавать объекты имеет тенденцию к её увеличению».
«Технология отображения 8K - это не технология будущего, она уже здесь и сегодня доступна для зрителей в Японии и других регионах», - сказал Крис Чиннок, президент Insight Media. Он добавил: «В отличие от некоторых опасений по поводу нехватки контента 8K, развитие технологий и сотрудничество в отрасли идёт быстрыми темпами. Перспективы отрасли, согласно заключению экспертов, присутствовавших на саммите, весьма позитивные».
Тем временем гости мероприятия, среди которых были учёные, профессионалы отрасли и представители средств массовой информации, высоко оценили стремление Samsung продвигать индустрию 8K-дисплеев и отметили ценность опыта демонстрации технологии с помощью его QLED-телевизоров с разрешением 8K.
Хёгун Ли, исполнительный вице-президент Samsung Electronics Visual Display Business, выразил уверенность в распространении 8K-телевидения, заявив, что «для 4K-телевидения тоже были опасения по поводу нехватки контента в первые дни, но эти опасения исчезли после того, как люди испытали преимущество реалистичной картинки нового стандарта. В конце концов, потребители всегда будут выбирать лучшее качество изображения».

Для получения дополнительной информации о телевизорах Samsung QLED 8K посетите сайт http://samsung.com.
Для получения дополнительной информации о 8K Display Summit, пожалуйста, посетите http://displaysummit.com.

О Insight Media

Insight Media - это технологическая консалтинговая компания, ориентированная на новые технологии в индустрии ProAV, кино, вещания, бытовой электроники и дисплеев. Компания разрабатывает официальные документы и статьи на эти темы, предоставляет услуги по оценке технологий и рынка, а также проводит мероприятия для обсуждения ключевых технологических тенденций в этих сегментах.

Samsung Electronics Underscores Its Commitment to 8K Technology at QLED Summit in New York

Samsung Electronics sponsored the third annual QLED Summit (8K Display Summit) hosted by Insight Media, focusing on the current state and future of 8K display technology at Millennium Times Square, New York City. The Summit offered insights into Samsung’s and other industry experts’ plans for 8K displays, as well as innovations in AI upscaling technology and the advancement of HDR10+ that is helping to propel 8K into the mainstream.
At the Summit, hosted by Insight Media – a display focused consultancy, more than 100 attendees including display and equipment firms, video producers, tech media and global tech reviewers from the US and Europe showed strong interest in basic technologies related to filming and transmission of high-quality images such as 5G network technology, filming equipment and image compression codecs.
This year, the QLED summit was held under the theme of 8K display for one day with intensive sessions of ▲8K technology and current market situation ▲8K content ecosystem and ▲8K-related technologies.
At the event, experts from the 8K ecosystem along with market research firms – ranging from display panels, filming equipment, content production, as well as compression and transmission technology industry to academic circles – shared the recent direction of 8K-related technologies from various perspectives and discussed future prospects.
The activity progress of 8K Association was also shared as it held its first public seminar in the US Broadcasting equipment event NAB Show in April. Since then, the 8K Association continued their activities such as unveiling plans to gradually increase its members from the current orientation towards TV manufacturers to establish a foothold for standardization and expand the 8K ecosystem.
“With the rapid expansion of 5G wireless network technology, 8K display market is expected to make great strides,” said Sonia Chen, Director of Display Marketing at Samsung Electronics’ Device Solutions America. “In particular, it will receive the spotlight among the millennial generation who are familiar with fast internet speed and high-quality image viewing.”
Professor Yung-Kyung Park, Head of the Color Design Research Institute at Ewha Womans University attended the summit to present the experimental results stating, “When we are viewing an ultra-high resolution image, our ability to recognize objects comprehensively tend to increase.”
“8K display technology is not a future technology – it is here today- and is available to viewers in Japan and other regions,” said Chris Chinnock, the president of Insight Media, who co-hosted the summit. He added, “unlike some concerns over a lack of 8K content, the development of all technologies and cooperation in the industry are proceeding rapidly. The industry prospects from experts who attended the summit are very positive, too.”
Meanwhile, guests in attendance, which included academics, industry professionals and members of the media, praised Samsung’s commitment to moving the 8K display industry forward and found value in the demonstrations of the technology through its QLED 8K TVs.
Hyogun Lee, Executive Vice President of Samsung Electronics Visual Display Business, showed confidence in the mainstreaming of 8K TV, stating that “for 4K TV too, there were concerns over a lack of content in its early days, but these concerns faded away after people experienced the actual picture quality. The best picture quality experience will be chosen by consumers after all.”

For more information about Samsung’s QLED 8K TVs, please visit http://samsung.com.
For more information about the 8K Display Summit, please visit http://displaysummit.com.

About Insight Media

Insight Media is a technology consultancy focused on emerging technology in the ProAV, cinema, broadcast, consumer electronics and display industries. The company authors white papers and articles on these topics, provide technology and market assessment services and hosts events to discuss key technology trends in these market segments.