Подобно человеческому глазу: как Samsung создаёт новые технологии для датчиков изображения

Йонгин Пак (Yongin Park), исполнительный вице-президент направления сенсоров в Samsung Electronics:

Мы привыкли фотографировать или снимать на видео моменты из нашей жизни и тут же делиться ими с друзьями. Это стало возможным благодаря инновациям в области камер смартфонов, и в основе этой революции – датчики изображения, мобильные чипы, которые преобразуют свет в цифровые данные.
Глаз человека – это своего рода «сенсор изображения», который мы используем для восприятия мира. Такой «биологический сенсор» обладает разрешением около 500 мегапикселей (Мп), что намного выше, чем у большинства современных зеркальных фотоаппаратов (40Мп) и смартфонов (12Мп). Индустрии предстоит пройти долгий путь, прежде чем качество фото сравняется с возможностями человеческого глаза.
Самым очевидным способом повысить качество снимков может показаться объединение максимально возможного числа пикселей в одном сенсоре, но в этом случае датчик будет слишком большим, размером с мобильный телефон. Чтобы интегрировать камеру со сверхвысоким разрешением в современный смартфон с «безрамочным» экраном в сверхтонком корпусе, датчик изображения должен быть максимально компактным.
С другой стороны, при использовании камер с небольшим количеством пикселей фотография может получаться тусклой или расплывчатой из-за того, что уменьшается площадь, с которой каждый пиксель поглощает световую информацию. Для того, чтобы найти идеальный баланс между числом пикселей и их размерами, необходимо технологическое мастерство высочайшего уровня.

Передовые технологии пикселей

Опираясь на технологическое лидерство и богатый опыт в сфере технологий памяти, Samsung удаётся находить эту грань, создавая сенсоры изображения. В мае 2019 года был представлен первый в отрасли датчик разрешением 64Мп, а всего через полгода – 108Мп. Тогда же вендор представил сенсоры изображения с минимальным в отрасли размером пикселя 0,7 мкм(1).
В новейшем сенсоре ISOCELL Bright HM1 с разрешением 108Мп Samsung применил запатентованную технологию Nonacell, которая значительно повышает уровень поглощения света пикселями.

Сенсоры, опережающие органы чувств

Большинство современных камер могут снимать только изображения, видимые человеческому глазу, на волнах длиной от 450 до 750 нанометров. Датчики, способные обнаруживать световые волны за пределами этого диапазона, мало распространены, но, несмотря на это, они могут быть полезны в широком спектре отраслей. Например, датчики изображения, способные воспринимать ультрафиолет, могут использоваться для диагностики рака кожи, поскольку на снятых на них кадрах цвет здоровых клеток будет отличаться от поражённых раком. Инфракрасные датчики изображения могут использоваться для эффективного контроля качества продукции.
До настоящего времени датчики изображения применялись, в основном, в смартфонах, но в ближайшем будущем они будут активно использоваться и в других стремительно развивающихся областях, таких как автономные транспортные средства, Интернет вещей (IoT) и дроны. Возможно, в будущем появятся и сенсоры, которые смогут снимать микробы, невидимые взгляду.
Специалисты Samsung не ограничиваются разработкой датчиков изображения – они изучают и другие типы сенсоров, например, способных воспринимать запахи или вкусы. Датчики, способные воспринимать даже то, что не улавливают человеческие органы чувств, скоро станут частью повседневной жизни.

1. До этого 0,8 мкм считался минимальным возможным размером пикселя.

[Editorial] Rivalling the Human Eye: How Samsung is Opening Up the Possibilities for Image Sensor Technology

by Yongin Park (EVP, Head of Sensor Business Team, System LSI Business)

Taking pictures or videos throughout the day has become part of our normal lifestyles and no longer done just to capture special events. Whip out your mobile camera to immortalize a delectable-looking meal, to record your latest dance moves, or even just when you’re having a good hair day, and you’re ready to share your images with friends right away. These seamless experiences have become possible thanks to remarkable advancements in recent mobile photography, and at the very heart of this revolution is the mobile chips that transform light into digital data – image sensors.
The image sensors we ourselves perceive the world through – our eyes – are said to match a resolution of around 500 megapixels (Mp). Compared to most DSLR cameras today that offer 40Mp resolution and flagship smartphones with 12Mp, we as an industry still have a long way to go to be able to match human perception capabilities.
Simply putting as many pixels as possible together into a sensor might seem like the easy fix, but this would result in a massive image sensor that takes over the entirety of a device. In order to fit millions of pixels in today’s smartphones that feature other cutting-edge specs like high screen-to-body ratios and slim designs, pixels inevitably have to shrink so that sensors can be as compact as possible.
On the flip side, smaller pixels can result in fuzzy or dull pictures, due to the smaller area that each pixel receives light information from. The impasse between the number of pixels a sensor has and pixels’ sizes has become a balancing act that requires solid technological prowess.

Cutting-Edge Pixel Technologies

Drawing from the technology leadership and experience our memory business possesses, Samsung has been managing to expertly navigate this balance in our image sensors. In May 2019, we were able to announce the industry’s first 64Mp sensor, and just six months later, brought 108Mp sensors to the market.
For our latest 108Mp image sensor, the ISOCELL Bright HM1, we implemented our proprietary ‘Nonacell technology’, which dramatically increases the amount of light absorption pixels are capable of. Compared to previous Tetracell technology which features a 2×2 array, the 3×3 pixel structure of Nonacell technology allows, for instance, nine 0.8μm pixels to function as one 2.4-μm pixel. This also mitigates the issue raised by low-light settings where light information is often scarce.
In 2019, Samsung was also the first to introduce image sensors based on 0.7μm pixels. The industry had considered 0.8μm as the smallest possible size pixels could be reduced to, but to our engineers, ‘technological limitations’ are just another challenge that motivates their innovation.

Sensors that Go Beyond Our Senses

Most cameras today can only take pictures that are visible to the human eye at wavelengths between 450 and 750 nanometers (nm). Sensors able to detect light wavelengths outside of that range are hard to come by, but their use can benefit a wide range of areas. For example, image sensors equipped for ultraviolet light perception can be used for diagnosing skin cancer by capturing pictures to showcase healthy cells and cancerous cells in different colors. Infrared image sensors can also be harnessed for more efficient quality control in agriculture and other industries. Somewhere in the future, we might even be able to have sensors that can see microbes not visible to the naked eye.
Not only are we developing image sensors, but we are also looking into other types of sensors that can register smells or tastes. Sensors that even go beyond human senses will soon become an integral part of our daily lives, and we are excited by the potential such sensors have to make the invisible visible and help people by going beyond what our own senses are capable of.

Aiming for 600Mp for All

To date, the major applications for image sensors have been in the smartphones field, but this is expected to expand soon into other rapidly-emerging fields such as autonomous vehicles, IoT and drones. Samsung is proud to have been leading the small-pixel, high-resolution sensor trend that will continue through 2020 and beyond, and is prepared to ride the next wave of technological innovation with a comprehensive product portfolio that addresses the diverse needs of device manufacturers. Through relentless innovation, we are determined to open up endless possibilities in pixel technologies that might even deliver image sensors that can capture more detail than the human eye.

Samsung ISOCELL Bright HM1 - сенсор с разрешением 108Мп, построенный на уникальной технологии Nonacell

Усовершенствованная технология слияния пикселей позволяет собирать их в группы 3×3 для захвата большего светового потока

Samsung Electronics, мировой лидер в сфере передовых полупроводниковых технологий, представляет 108-мегапиксельный сенсор нового поколения Samsung ISOCELL Bright HM1. Благодаря целому набору инновационных технологий усиления светового потока, куда вошли технологии Nonacell, Smart-ISO и расширение динамического диапазона в реальном времени (real-time HDR), новый сенсор ISOCELL Bright HM1 позволяет получать высокодетализированные 108-мегапиксельные фотоснимки и кристально чистые видеоролики с разрешением 8K и частотой 24 кадра в секунду даже при неблагоприятных условиях освещения.
«Samsung непрерывно совершенствует инновационные технологии в сфере цифровой фотосъёмки и обработки изображений, чтобы дать пользователям возможность запечатлеть самые важные и захватывающие моменты их жизни и получать безупречные снимки независимо от времени суток и условий освещения, — сказал исполнительный вице-президент подразделения фотосенсоров в Samsung Electronics, Ён-хи Пак (Yongin Park). — Благодаря внедрению технологий Nonacell и Smart-ISO новая 108-мегапиксельная матрица ISOCELL Bright HM1 гарантирует безупречное качество фотографий и видео в самом широком диапазоне вариантов освещения».
Сенсор ISOCELL Bright HM1 с диагональю 1/1,33 дюйма имеет 108 миллионов пикселей, размер каждого из которых составляет всего 0,8 нм. Впервые в отрасли этот сенсор получил передовую технологию Nonacell, которая позволяет получать яркие снимки при слабом освещении.
В 2017 году Samsung представил технологию слияния пикселей Tetracell, которая формирует группы размером 2×2 пикселя, заставляя их работать как один большой пиксель. Технология Nonacell — это усовершенствованная версия Tetracell, формирующая группы 3×3 пикселя. Благодаря ей в сенсоре HM1 9 соседних 0,8 нанометровых пикселей объединяются в один большой пиксель с шириной каждой грани в 2,4 нм, что позволяет захватывать, как минимум, в 2 раза больше света по сравнению с технологий Tetracell.
С увеличением количества пикселей в группе, возрастают искажения при передаче цветов, что делает технологию более сложной в реализации. Samsung решил эту проблему с внедрением технологии ISOCELL Plus, которая значительно уменьшает перекрёстные помехи и минимизирует оптические потери и отражение света.
Чтобы гарантировать безупречный результат при любых условиях съёмки, сенсор HM1 сочетает Nonacell с технологией Smart-ISO, которая обеспечивает яркость и реалистичность снимка за счёт интеллектуального подбора чувствительности сенсора. Высокие значения чувствительности используются при съёмке в темноте, а низкие — для сильно освещённых объектов.
Для съёмки сложных сюжетов, сочетающих в одном кадре тёмные и ярко освещённые фрагменты, сенсор HM1 предлагает технологию расширения динамического диапазона в реальном времени (real-time HDR), которая оптимизирует экспозицию, обеспечивая более натуралистичные фотоснимки и видео. Возможность устанавливать экспозицию индивидуально для каждого пикселя позволяет снимать сложные многоплановые сцены, «на лету» генерируя изображения с расширенным динамическим диапазоном, причём как для предварительного просмотра на экране смартфона, так и для съёмки кадра. Для повышения чёткости фотографий HM1 оснащён системой электронной гироскопической стабилизации изображения (EIS) и передовой технологией фазовой автофокусировки Super-PD.
Сенсор HM1 позволяет видеть кадры в режиме предварительного просмотра, делать полнокадровые снимки и без потери качества приближать объекты съёмки с помощью 3-кратного зума. Это стало возможным благодаря тому, что сенсор преобразует пиксели самостоятельно, с помощью встроенного аппаратного процессора изображений, а не передаёт эту задачу процессору мобильного устройства. Благодаря высочайшему разрешению 108Мп сенсор способен также делать 12-мегапиксельные снимки с 3-кратным приближением без апскейлинга.
Сенсор Samsung ISOCELL Bright HM1 уже поступил в массовое производство.

Samsung’s 108Mp ISOCELL Bright HM1 Delivers Brighter Ultra-High-Res Images with Industry-First Nonacell Technology

Enhanced pixel-binning technology, Nonacell, features 3x3 pixel structure for maximum light absorption

Samsung Electronics, a world leader in advanced semiconductor technology, today introduced its next-generation 108-megapixel (Mp) image sensor, Samsung ISOCELL Bright HM1. With a spectrum of light-enhancing technologies spanning from Nonacell and Smart-ISO to real-time HDR, ISOCELL Bright HM1 allows brighter and more detailed 108Mp photographs and crystal-clear 8K videos at 24 frames per second (fps), even under extreme lighting conditions.
“To capture meaningful moments in our lives, Samsung has been driving innovations in pixel and logic technologies that enable ISOCELL image sensors to take astounding photographs even when lighting conditions aren’t ideal,” said Yongin Park, executive vice president of the sensor business at Samsung Electronics. “By adopting Nonacell and Smart-ISO technologies, the 108Mp ISOCELL Bright HM1 helps take vivid high-resolution pictures across a wide range of lighting environments.”
At a 1/1.33” scale with 108-million 0.8μm pixels, the ISOCELL Bright HM1 features the industry’s first state-of-the-art Nonacell technology, which delivers brighter images in low-light settings. In 2017, Samsung introduced Tetracell, a pixel-binning technology with a special two-by-two array that merges four neighboring pixels to work as a single large pixel. Nonacell is an enhanced version of Tetracell with a three-by-three pixel structure. In the HM1, Nonacell merges nine neighboring 0.8μm pixels to mimic a large 2.4μm pixel, more than doubling Tetracell’s light absorption.
As the number of adjoined cells increase, so does color interference, making pixel-binning technologies more challenging, While such difficulties had limited Nonacell to a theory, the HM1 was able to realize the method by adopting Samsung’s ISOCELL Plus technology, which dramatically reduces crosstalk and minimizes optical loss as well as light reflection.
For ultimate results under any lighting condition, the HM1 supplements Nonacell with several other advanced pixel technologies. For example, the HM1’s Smart-ISO technology produces vivid and vibrant images by intelligently selecting the optimal ISO. High ISOs are used in darker settings while low ISOs are better for brighter environments to control light saturation.
In challenging mixed-light environments for photo-taking, the HM1’s real-time HDR technology optimizes exposures, producing more natural looking videos and still photographs. By assigning the most appropriate exposure lengths to each pixel, the HM1 is able to capture scenes in multiple exposures simultaneously, generating HDR images in real-time for both preview and capture modes. For sharper results, the HM1 supports a gyro-based electronic image stabilization (EIS) and Super-PD, an advanced phase detection technology for fast and accurate auto-focus.
The HM1 allows users to preview and capture full shots and close-ups of the subject at up to 3x lossless zoom, preserving the quality of the image. This is made possible by the sensor directly converting the pixels using an embedded hardware IP, rather than having the task delegated to the mobile processor. With 108-million pixels, the sensor is also able to produce images up to 3x zoom at a 12Mp resolution without upscaling.
Samsung ISOCELL Bright HM1 is currently in mass production.

* Samsung first announced its ISOCELL technology in 2013, which reduces color crosstalk between pixels by placing a physical barrier, allowing small-sized pixels to achieve higher color fidelity. Based on this technology, Samsung introduced the industry’s first 1.0um-pixel image sensor in 2015 and a 0.9-pixel sensor in 2017. In June 2018, Samsung introduced an upgraded pixel isolation technology, the ISOCELL Plus.