QLED 8K: как искусственный интеллект и глубокое обучение помогают повысить качество изображения

В последнее время качество изображения на экранах телевизоров уже превосходит стандарт высокой чёткости (high definition, HD) – появились модели сверхвысокого разрешения (ultra-high definition, UHD), видео можно производить не только в формате 4K, но и в 8K. Однако, возможность снимать профессиональный контент в разрешении 8К появилась относительно недавно, а пользовательский контент 8К ещё только начинает появляться с выпуском мобильных трубок типа Galaxy S20, позволяющих создавать записи в таком разрешении. Отображать видео со сверхвысокой чёткостью позволяет существующая у Samsung технология масштабирования.
8K QLED-телевизоры 2020 года, использующие передовую операционную систему TIZEN, постоянно получают высокие оценки за инновационное качество изображения, отличный звук, современный дизайн и многое другое. В числе прочего, на примере этой линейки можно увидеть впечатляющую трансформацию технологий масштабирования видео, которые реализованы на базе интеллектуального процессора Quantum 8K, использующего алгоритмы искусственного интеллекта.
Команда разработчиков из лаборатории Picture Quality Solution Lab при подразделении Visual Display Business корпорации Samsung Electronics рассказала подробности об этой революционной технологии.

Улучшение алгоритмов глубокого обучения для оптимизации апскейлинга

При воспроизведении видео, записанного в низком разрешении, на дисплеях, работающих с высоким разрешением, качество изображения может оказаться ниже зрительских ожиданий. Технология масштабирования на базе искусственного интеллекта позволяет преобразовать видеоконтент с низким разрешением в видео более высокого качества, анализируя видеоданные и интеллектуально адаптируя их.
В 2018 году Samsung Electronics впервые внедрил технологию масштабирования на базе искусственного интеллекта для преобразования видеоконтента в формат 8K. Эта технология использует методы машинного обучения. При этом разработанный алгоритм анализирует различные параметры видео, в том числе количество линий, яркость и цвет, и улучшает изображение по каждому из этих аспектов, что позволяет повысить его разрешение. Подобные возможности глубинного обучения позволяют телевизору анализировать и обрабатывать детали видео, и одновременно с этим обучаться с помощью искусственной нейронной сети, принцип действия которой напоминает работу человеческого мозга.
Сотрудники Samsung Picture Quality Solution Lab сосредоточились на разработке алгоритмов глубокого обучения, благодаря которым телевизоры смогут всегда обеспечивать оптимальное качество видео без вмешательства человека. «Глубокое обучение позволяет добиться более точного и эффективного улучшения качества изображения, чем это возможно в ручном режиме», – отметил Хёнджун Лим (Hyungjun Lim), занимавшийся разработкой методов генерации текстур в технологии апскейлинга.
Именно это преимущество и привело команду к разработке технологии масштабирования на базе искусственного интеллекта, которая сочетает в себе машинное обучение с глубоким обучением. В основе этой технологии лежит Samsung AI Quantum Processor 8K. «Если прежняя технология на базе машинного обучения обеспечивала повышенную чёткость изображения, то теперь созданная нами технология способна предложить более точную проработку текстур, – отметил Хёнсунг Ли (Hyunseung Lee), который занимался разработкой алгоритмов для повышения резкости контуров объектов в AI Quantum Processor 8K. – Теперь процессор позволяет увеличить качество изображений со сложными текстурами, такими как горные пейзажи или изображения травы, до формата 8К, и сделать картинку ещё более естественной».

Решение проблем, связанных с глубинным обучением

Хотя технологии глубокого обучения имеют практически безграничный потенциал, тем не менее, существует целый ряд сложностей, которые необходимо преодолеть. В частности, команде лаборатории Picture Quality Solution Lab пришлось проиграть множество сценариев и провести огромное число экспериментов, прежде чем их технология была готова к выпуску на рынок. «Сначала нам было трудно детально отследить и понять принцип работы алгоритма, разрабатываемого искусственной нейронной сетью процессора, – говорит Чон Ли (Cheon Lee), разработчик структуры нейронной сети и метода обучения AI Quantum Processor 8K. – Кроме того, нам нужно было решить проблему высокого энергопотребления процессора, на котором была запущена нейронная сеть».
После длительного процесса разработки инженерам Samsung удалось решить возникшие проблемы, для чего им пришлось определённым образом адаптировать свои технологии. «Мы смогли добиться улучшения качества отображения в нашем процессоре благодаря внедрению функционально сложной гибридной технологии, которая сочетает в себе различные аспекты глубокого обучения и машинного обучения», – пояснил Чон Ли.

Мыслить шире, ярче и реалистичнее с помощью технологий искусственного интеллекта

Ещё совсем недавно повседневное применение технологий на базе искусственного интеллекта было несбыточной мечтой. Сегодня технологии быстро совершенствуются, что приводит к улучшению качества жизни людей во многих областях жизни.
«Теперь мы можем более детально классифицировать видео с различными уровнями качества, более того, мы можем вывести эти технологии категоризации на базе искусственного интеллекта на коммерческий рынок, – отметил Сунгхо Парк (Seungho Park), который работал над устранением шумов и улучшением диапазона контрастности в AI Quantum Processor 8K. – Благодаря подобным технологиям дисплеи нового поколения, такие как The Wall, способны отображать любой видеоконтент с максимальной реалистичностью и качеством, которые доступны сегодня».
Возможности этих инноваций, в основе которых лежит искусственный интеллект, не ограничиваются одними лишь технологиями масштабирования. Существует множество способов использования искусственного интеллекта для повышения качества изображения на дисплеях. К их числу относятся категоризация качества видео, устранение шумов, устранение искажений, обусловленных сжатием данных, восстановление пространственного или временного разрешения, – и это лишь только некоторые из них. «Наша цель заключается в том, чтобы сохранить наследие Samsung и продолжить обеспечивать наилучшие впечатления от просмотра за счёт объединения преимуществ наших дисплеев следующего поколения и технологий искусственного интеллекта, которые позволяют получить реалистичное и высококачественное изображение независимо от качества и разрешения исходного контента», – подытожил Пак. Будущее технологий QLED 8K выглядит весьма привлекательно.

QLED 8K: Where AI Upscaling Meets Deep Learning

In recent times, screen picture quality has transcended high definition – these days, it’s all about ultra-high definition. Although today’s hardware has been developed to support not just 4K content but 8K content as well, only recently has content begun to actually be produced to 8K quality standards. Therefore, in order to improve the video display quality of content made before 8K existed, upscaling technology exists to keep up with today’s ultra-high definition standard.
Samsung Electronics’ TIZEN-powered 2020 QLED 8K TV lineup continuously receives praise for its devices’ innovative display quality, sound, design and many other areas. In particular, the range showcases an impressive evolution with regards to its video upscaling technology, at the core of which is Samsung’s AI Quantum Processor 8K.
Samsung Newsroom interviewed the team from the Picture Quality Solution Lab of Samsung Electronics’ Visual Display Business to learn more about this revolutionary technology.

Leveling Up Deep Learning for Optimized Upscaling

When a low-resolution video plays on a high-resolution display, the resulting image quality can be below a viewer’s expectations. AI (artificial intelligence) upscaling is a technology that converts low-resolution videos into ones of more vivid and natural resolutions by analyzing the video data and adapting it intelligently.
In 2018, Samsung Electronics implemented its machine learning-based AI 8K upscaling technology for the first time. This technology harnesses machine learning wherein a human-designed algorithm intelligently analyzes the various video qualities, including line, light and color, and improves each of these for an improved display resolution. Such deep learning capabilities permit a TV to analyze and process video features whilst simultaneously learning thanks to an artificial neural network that acts in the same way as the human brain.
The members of Samsung’s Picture Quality Solution Lab focused on developing deep learning algorithms that enable displays to always showcase optimum video qualities without human intervention. “Deep learning enables more precise and efficient image quality improvements than can be achieved by humans alone,” noted Hyungjun Lim, who developed the AI upscaling technology’s texture generation method.
This operational advantage is what led the team to develop an AI upscaling technology that combines machine learning with deep learning – Samsung’s AI Quantum Processor 8K. “Previous machine learning technology brought about enhanced sharpness to display picture quality, but now our technology can also offer more delicate texturing,” noted Hyunseung Lee, who developed enhanced edge sharpness for the AI Quantum Processor 8K. “Images with complicated textures, like mountain or grass landscapes, can now be upscaled into 8K quality more naturally.”

Solving the Conundrum of Deep Learning

Although deep learning has limitless potential, there are still obstacles to be overcome. The Picture Quality Solution Lab team had to go through countless trial-and-error scenarios in order to make their technology market-ready. “It was difficult for us, at first, to clearly follow and comprehend the algorithm being developed by the artificial neural network of the processor,” highlighted Cheon Lee, the developer of the AI Quantum Processor 8K’s network structure and learning method. “The artificial neural network’s high hardware chip power consumption was an issue we had to solve, too.”
After a lengthy development process, Samsung was eventually able to solve the problems that had arisen thanks to its range of differentiated technologies. “We achieved the highly efficient display quality performance of our processor by making it a hybrid technology that combines complexity along with different aspects of deep learning and machine learning,” explained Lee.

Dreaming Bigger, Better and More Realistic with AI
       
It wasn’t that long ago that the day-to-day application of AI-powered technologies was but a distant dream to us. Nowadays, technology has improved rapidly to the end of improving the lives of people across many different areas of everyday life.
“We are now able to categorize videos of differing quality levels in a more detailed way while also bringing these AI categorization technologies to the commercial market,” noted Seungho Park, who worked the AI Quantum Processor 8K’s noise elimination and improving the detail contrast range. “Such technologies permit next-generation displays, such as The Wall, to be able to showcase all kinds of videos at the most realistic qualities possible today.”
This AI-powered innovation is not just limited to upscaling technologies. There exist a variety of ways to harness AI to improve the screen qualities of displays, including video quality categorization, noise elimination, data-compression-caused distortion restoration and spatial or time-based resolution restoration, to name just a few. “Our goal is to continue Samsung’s legacy of providing leading TV viewing experiences by combining the advantages of our next-generation displays with AI technologies that can restore videos to realistic-level qualities, regardless of their original qualities and resolutions,” affirmed Park. The future of QLED 8K is looking bright.

История создания идеальной реальности в телевизорах Samsung QLED 8K

Корпорация Samsung Electronics установила множество мировых рекордов в области телевизионных технологий: выпустила самый тонкий LED телевизор, первый 3D телевизор с разрешением FHD, UHD-телевизор с самым широким экраном и первый телевизор с изогнутым экраном. На выставке IFA 2018 в Берлине вендор представил ещё одну инновационную новинку – первый в мире QLED телевизор с разрешением 8K.
Подробностями создания этой революционной модели телевизора, которая завораживает зрителей совершенством изображения и звука, делятся специалисты, работавшие над созданием продукта, – Бомгюн Ра (Beomkyun Rha) и Джонгхек Ким (Jonghyuk Kim) и разработчики Хёнсынг Ли (Hyunseung Lee) и Сонгхван Джанг (Sunghwan Jang).

Зрительский опыт, не имеющий мировых аналогов

Разрешение QLED 8K телевизоров составляет 7.680x4.320 пикселей, что в 16 раз превосходит разрешение телевизоров Full HD (FHD), и в 4 раза – 4K. Хёнсынг Ли поясняет, что за счёт увеличенного разрешения новая модель обеспечивает более высокую детализацию изображения и создаёт ощущение реалистичности и объёма картинки на экране, благодаря чему зритель полностью погружается в контент.
«В традиционных телевизорах со стандартным (SD) или высоким (HD) разрешением, если присмотреться к изображению с небольшого расстояния, то можно увидеть, что объекты на экране образованы группами пикселей, – говорит Ли. – Однако в случае с QLED 8K, разрешение настолько высокое, что пиксели становятся незаметны для человеческого глаза, и зрители просто не в состоянии отличить цифровые объекты от реальных».
Сонгхван Джанг отмечает, что столь высокая детализированность и реалистичность изображения достигается не только за счёт фантастического разрешения QLED 8K. Исключительный уровень яркости телевизора – до 4000 нит – позволяет с безупречной точностью отображать даже самые мельчайшие детали.
«Контент с высокой яркостью выглядит совсем иначе в разрешении 8K”, – рассказывает Джанг. – Поскольку в таких телевизорах используется в 4 раза больше пикселей, чем в 4K, то более яркие изображения и видео, содержащие больше деталей, отображаются на телевизорах 8K с большей точностью».

Как искусственный интеллект помогает добиться ещё большего эффекта погружения при просмотре контента

Samsung одним из первых начал использовать технологии искусственного интеллекта в своих QLED телевизорах. Машинное обучение позволяет автоматически масштабировать видео, изначально представленного в более низком качестве, до 8K, вне зависимости от разрешения исходного контента или от метода его передачи. Она построена на базе Quantum Processor 8K, который, по словам Бомгюна Ра, одного из разработчиков, был усовершенствован для ещё более качественной обработки деталей и подсветки изображения.
Как поясняет Хёнсынг Ли, эффект использования технологии масштабирования столь же очевиден, как разница между чёрным и белым цветами. «Когда вы смотрите контент в формате 4K и сравниваете его с контентом, улучшенным до 8К, сразу можно увидеть отличия в отображении тёмных областей, даже если вы находитесь в ярко освещённой комнате».
Различия особенно заметны при просмотре сцен с множеством деталей и высокой контрастностью. Когда вы смотрите, к примеру, документальные фильмы о природе, QLED 8K телевизоры способны создать чёткие и естественные цвета, которые с невероятной точностью передают как сияющие лучи солнца, так и изумрудные волны под ним.

Преодолевая сложности

Сонгхван Джанг – «Мы поставили перед собой цель обеспечить яркость 4000 нит. Оптимальная яркость обычных 4К телевизоров составляет 1500-2000 нит, и повышение этой цифры до 4000 представляло собой весьма непростую задачу».
Поскольку до этого времени на рынке не существовало моделей с яркостью 4000 нит, команде пришлось серьёзно поработать, чтобы добиться этого результата. Реализация поставленной цели по увеличению яркости была сопряжена с целым рядом сложностей, и команда изучала предложенные варианты решения от разных подразделений Samsung.
«Мы подробнейшим образом изучали мельчайшие детали, например, каким образом можно изменять количество света для поиска оптимального баланса производительности и надёжности, – продолжает Джонгхек Ким. – Если бы оно было слишком низким, яркости бы не хватало, а, если бы оно было слишком высоким, это негативным образом сказывалось бы на долговечности устройства».

Взгляд в будущее

В настоящее время технология масштабирования Samsung 8K, в основе которой лежит искусственный интеллект, способна улучшить контент за счёт повышения качества изображения и звука. Однако теперь перед разработчиками стоит задача научить искусственный интеллект анализировать условия окружающей среды, при которых осуществляется просмотр, чтобы обеспечить пользователям ещё более оптимизированный и персонализированный опыт.
«Мы хотим, чтобы у наших потребителей была возможность полностью погрузиться в контент на экране и просматривать любимые фотографии и видео с настолько высоким уровнем детализации, чтобы у них создавалось ощущение, что они сами присутствуют в это время в кадре, – говорит Бомгюн Ра. – В Samsung мы считаем это нашей основной задачей – создавать новые инновационные продукты, такие как QLED 8K, которые бы позволяли реализовать подобный пользовательский опыт».

На верхенм фото (слева направо): Хёнсынг Ли (Hyunseung Lee), Джонгхек Ким (Jonghyuk Kim), Бомгюн Ра (Beomkyun Rha) и Сонгхван Джанг (Sunghwan Jang) из подразделения устройств отображения информации (Visual Display Business) Samsung Electronics.

The Story Behind the ‘Perfect Reality’ of Samsung QLED 8K TV

Samsung Electronics has been behind many world firsts when it comes to TV technologies, including the world’s slimmest LED TV, the first FHD 3D TV, the largest UHD TV, and the first curved TV. At IFA 2018 in Berlin, the company unveiled another industry-first innovation with QLED 8K—the first 8K QLED TV.
To learn more about how the company’s latest groundbreaking TV mesmerizes viewers with virtually perfect picture quality and sound, Samsung Newsroom sat down with members of the team behind it, including product planners Beomkyun Rha and Jonghyuk Kim, and developers Hyunseung Lee and Sunghwan Jang.

Fostering a Viewing Experience Like Nothing Seen Before

QLED 8K boasts a resolution of 7,680 x 4,320 pixels—16 times more than a full HD (FHD) TV, and four times higher than 4K UHD display. As developer Hyunseung Lee explained, the TV’s added resolution allows detailed in images to be expressed more clearly, and creates a sense of reality and depth that keeps you immersed in your content.
“With conventional SD (standard definition) or HD (high definition) displays, when people look closely at depicted images, they can recognize them as a cluster of pixels,” said Lee. “However, with QLED 8K, the level of resolution is so high that pixels become invisible to the human eye, and viewers become incapable of distinguishing depicted objects from the real thing.”
As fellow developer Sunghwan Jang noted, however, it’s not just QLED 8K’s sky-high resolution that enables it to provide such textured, realistic images. The TV’s exceptional peak brightness—up to 4,000 nits—allows it to illuminate small details with impeccable precision.
“Bright content is expressed differently in 8K resolution,” said Jang. “Because 8K features four times more pixels than 4K, images and videos that are brighter and include more detail can be presented more accurately in 8K.”

Taking Immersion to Another Level with AI

Samsung is the first manufacturer to implement artficial intelligence (AI) technology into a QLED TV. Adding machine learning to the TV’s repertoire of immersion-enhancing features has made it easy for users to enjoy a wide range of content in crystal clear 8K.
Samsung’s exclusive machine-learning technology automatically upscales lower-resolution videos into 8K picture quality, regardless of the video’s native resolution or method of transmission. The technology is powered by the Quantum Processor 8K, which, according to product planner BeomKyun Rha, was enhanced to better process details and lighting.
As Lee explained, the difference that the upscaling technology makes is often as clear as black and white. “When you look at 4K content next to upscaled 8K video, black areas of the screen are where you can see a major difference, even under bright conditions.”
The difference is also especially noticeable when viewing scenes with lots of detail and contrast. When viewing a nature documentary, for example, QLED 8K ensures sharp, natural colors that depict both the beaming yellow sun and the emerald waves beneath it with vivid accuracy.

Dealing with Challenges

When developing QLED 8K, Samsung’s R&D team was encouraged by the 8K market’s rapid development, but found it difficult to agree upon how to improve on QLED TV’s specifications, given the TV’s status as the cornerstone of the company’s display offerings.
“The most difficult thing to do was to coordinate the opinions of all the related divisions,” explained Jang (pictured above). “For example, the goal was to achieve 4,000-nit brightness. Conventional 4K TVs feature an optimum brightness of 1,500 to 2,000-nits, so raising that figure to 4,000 presented a challenge.”
Because the market had never seen TVs that satisfied the 4,000-nit specification, the team set out to raise the bar by achieving that value. “We wanted to produce the world’s best TV,” said product planner Jonghyuk Kim. “A TV that would allow content to be depicted as faithfully to creators’ intention as possible.
Delivering on that brightness goal presented a number of difficulties, and the team sought the opinions of a various divisions to help address them. “Once the discussions were done, [we] tirelessly researched every detail, such as how to adjust the amount of light to find an optimal balance of performance and durability,” Kim (pictured above) continued. “We worked very hard to figure out just the right amount. If it was too little, the light would be insufficient, but if it was too much, it would impact the product’s durability.”

Looking Ahead

Of course, Samsung’s R&D team overcame the challenges it faced during QLED 8K’s development, eventually delivering a TV with the power to redefine standards for visual immersion. The team isn’t resting on its laurels, however, as there’s still more work to be done.
Currently, Samsung’s 8K AI Upscaling technology is capable of enhancing content with better picture quality and sound, but the goal is to enable the AI to analyze users’ viewing conditions and environments in order to provide a more optimized, personalized experience. This will eventually allow the technology to offer any viewer an optimal and immersive viewing experience.
“We want our consumers to be able to immerse themselves in their favorite content, and view photos and videos from their everyday lives at a level of detail that allows them to feel like they’re present in the moment or scene,” said Rha. “We consider it our duty at Samsung to create new, innovative products like QLED 8K, that can help consumers realize such experiences.”

Title photo (from left): Hyunseung Lee, Jonghyuk Kim, Beomkyun Rha and Sunghwan Jang, of Samsung’s Visual Display division.