Подобно человеческому глазу: как Samsung создаёт новые технологии для датчиков изображения

Йонгин Пак (Yongin Park), исполнительный вице-президент направления сенсоров в Samsung Electronics:

Мы привыкли фотографировать или снимать на видео моменты из нашей жизни и тут же делиться ими с друзьями. Это стало возможным благодаря инновациям в области камер смартфонов, и в основе этой революции – датчики изображения, мобильные чипы, которые преобразуют свет в цифровые данные.
Глаз человека – это своего рода «сенсор изображения», который мы используем для восприятия мира. Такой «биологический сенсор» обладает разрешением около 500 мегапикселей (Мп), что намного выше, чем у большинства современных зеркальных фотоаппаратов (40Мп) и смартфонов (12Мп). Индустрии предстоит пройти долгий путь, прежде чем качество фото сравняется с возможностями человеческого глаза.
Самым очевидным способом повысить качество снимков может показаться объединение максимально возможного числа пикселей в одном сенсоре, но в этом случае датчик будет слишком большим, размером с мобильный телефон. Чтобы интегрировать камеру со сверхвысоким разрешением в современный смартфон с «безрамочным» экраном в сверхтонком корпусе, датчик изображения должен быть максимально компактным.
С другой стороны, при использовании камер с небольшим количеством пикселей фотография может получаться тусклой или расплывчатой из-за того, что уменьшается площадь, с которой каждый пиксель поглощает световую информацию. Для того, чтобы найти идеальный баланс между числом пикселей и их размерами, необходимо технологическое мастерство высочайшего уровня.

Передовые технологии пикселей

Опираясь на технологическое лидерство и богатый опыт в сфере технологий памяти, Samsung удаётся находить эту грань, создавая сенсоры изображения. В мае 2019 года был представлен первый в отрасли датчик разрешением 64Мп, а всего через полгода – 108Мп. Тогда же вендор представил сенсоры изображения с минимальным в отрасли размером пикселя 0,7 мкм(1).
В новейшем сенсоре ISOCELL Bright HM1 с разрешением 108Мп Samsung применил запатентованную технологию Nonacell, которая значительно повышает уровень поглощения света пикселями.

Сенсоры, опережающие органы чувств

Большинство современных камер могут снимать только изображения, видимые человеческому глазу, на волнах длиной от 450 до 750 нанометров. Датчики, способные обнаруживать световые волны за пределами этого диапазона, мало распространены, но, несмотря на это, они могут быть полезны в широком спектре отраслей. Например, датчики изображения, способные воспринимать ультрафиолет, могут использоваться для диагностики рака кожи, поскольку на снятых на них кадрах цвет здоровых клеток будет отличаться от поражённых раком. Инфракрасные датчики изображения могут использоваться для эффективного контроля качества продукции.
До настоящего времени датчики изображения применялись, в основном, в смартфонах, но в ближайшем будущем они будут активно использоваться и в других стремительно развивающихся областях, таких как автономные транспортные средства, Интернет вещей (IoT) и дроны. Возможно, в будущем появятся и сенсоры, которые смогут снимать микробы, невидимые взгляду.
Специалисты Samsung не ограничиваются разработкой датчиков изображения – они изучают и другие типы сенсоров, например, способных воспринимать запахи или вкусы. Датчики, способные воспринимать даже то, что не улавливают человеческие органы чувств, скоро станут частью повседневной жизни.

1. До этого 0,8 мкм считался минимальным возможным размером пикселя.

[Editorial] Rivalling the Human Eye: How Samsung is Opening Up the Possibilities for Image Sensor Technology

by Yongin Park (EVP, Head of Sensor Business Team, System LSI Business)

Taking pictures or videos throughout the day has become part of our normal lifestyles and no longer done just to capture special events. Whip out your mobile camera to immortalize a delectable-looking meal, to record your latest dance moves, or even just when you’re having a good hair day, and you’re ready to share your images with friends right away. These seamless experiences have become possible thanks to remarkable advancements in recent mobile photography, and at the very heart of this revolution is the mobile chips that transform light into digital data – image sensors.
The image sensors we ourselves perceive the world through – our eyes – are said to match a resolution of around 500 megapixels (Mp). Compared to most DSLR cameras today that offer 40Mp resolution and flagship smartphones with 12Mp, we as an industry still have a long way to go to be able to match human perception capabilities.
Simply putting as many pixels as possible together into a sensor might seem like the easy fix, but this would result in a massive image sensor that takes over the entirety of a device. In order to fit millions of pixels in today’s smartphones that feature other cutting-edge specs like high screen-to-body ratios and slim designs, pixels inevitably have to shrink so that sensors can be as compact as possible.
On the flip side, smaller pixels can result in fuzzy or dull pictures, due to the smaller area that each pixel receives light information from. The impasse between the number of pixels a sensor has and pixels’ sizes has become a balancing act that requires solid technological prowess.

Cutting-Edge Pixel Technologies

Drawing from the technology leadership and experience our memory business possesses, Samsung has been managing to expertly navigate this balance in our image sensors. In May 2019, we were able to announce the industry’s first 64Mp sensor, and just six months later, brought 108Mp sensors to the market.
For our latest 108Mp image sensor, the ISOCELL Bright HM1, we implemented our proprietary ‘Nonacell technology’, which dramatically increases the amount of light absorption pixels are capable of. Compared to previous Tetracell technology which features a 2×2 array, the 3×3 pixel structure of Nonacell technology allows, for instance, nine 0.8μm pixels to function as one 2.4-μm pixel. This also mitigates the issue raised by low-light settings where light information is often scarce.
In 2019, Samsung was also the first to introduce image sensors based on 0.7μm pixels. The industry had considered 0.8μm as the smallest possible size pixels could be reduced to, but to our engineers, ‘technological limitations’ are just another challenge that motivates their innovation.

Sensors that Go Beyond Our Senses

Most cameras today can only take pictures that are visible to the human eye at wavelengths between 450 and 750 nanometers (nm). Sensors able to detect light wavelengths outside of that range are hard to come by, but their use can benefit a wide range of areas. For example, image sensors equipped for ultraviolet light perception can be used for diagnosing skin cancer by capturing pictures to showcase healthy cells and cancerous cells in different colors. Infrared image sensors can also be harnessed for more efficient quality control in agriculture and other industries. Somewhere in the future, we might even be able to have sensors that can see microbes not visible to the naked eye.
Not only are we developing image sensors, but we are also looking into other types of sensors that can register smells or tastes. Sensors that even go beyond human senses will soon become an integral part of our daily lives, and we are excited by the potential such sensors have to make the invisible visible and help people by going beyond what our own senses are capable of.

Aiming for 600Mp for All

To date, the major applications for image sensors have been in the smartphones field, but this is expected to expand soon into other rapidly-emerging fields such as autonomous vehicles, IoT and drones. Samsung is proud to have been leading the small-pixel, high-resolution sensor trend that will continue through 2020 and beyond, and is prepared to ride the next wave of technological innovation with a comprehensive product portfolio that addresses the diverse needs of device manufacturers. Through relentless innovation, we are determined to open up endless possibilities in pixel technologies that might even deliver image sensors that can capture more detail than the human eye.

Как ISOCELL Bright HM1 повышает детализацию на фотографиях

В прошлом году Samsung представил ISOCELL Bright HMX – первый в отрасли сенсор изображения для мобильных устройств с разрешением 108Мп. В этом году вышел ISOCELL Bright HM1, он обладает лучшим в отрасли разрешением и включает в себя ряд функций, открывающих много возможностей для съёмки в различных условиях.

Новый уровень детализации

ISOCELL Bright HM1 преобразует световую информацию в изображения, состоящие из 108 млн эффективных пикселей, что сравнимо со съёмкой на профессиональные камеры. Полученные с использованием нового сенсора кадры настолько детализированы, что не теряют чёткости даже при увеличении и кадрировании.
Это стало возможным благодаря тому, что ISOCELL Plus изолирует отдельные пиксели с помощью физических барьеров, позволяя им собирать больше света. Такое решение максимизирует эффективность пикселей, несмотря на их небольшой размер, значительно сокращая перекрёстные помехи, оптические потери и отражение света.

Зум нового поколения

ISOCELL Bright HM1 позволяет увеличивать изображение без ущерба для качества. Технология даёт возможность делать снимки высокого качества на камеру с разрешением 12Мп с трёхкратным приближением без апскейлинга.
Этот тип «масштабирования без потерь» становится возможным, прежде всего, благодаря огромному числу пикселей на сенсоре, которое позволяет укрупнять часть изображения, сохраняя его высокое разрешение. Функция дополняется способностью датчика комбинировать пиксели в массивах 3×3, без необходимости передавать задачу на обработку мобильному процессору. Прямое преобразование пикселей возможно благодаря встроенному в сенсор процессору изображений (IP).
Интеллектуальный выбор светочувствительности для каждого кадра
Функция Native-ISO отвечает за определение светочувствительности (ISO) сенсора изображения. Однако одного фиксированного значения ISO для матрицы недостаточно, поскольку она должна адаптироваться к различному освещению. Для того, чтобы решить эту задачу, в ISOCELL Bright HM1 используется технология Smart-ISO, которая позволяет датчику изображения интеллектуально подбирать уровень светочувствительности для каждой уникальной среды освещения.
Smart-ISO обеспечивает оптимальный динамический диапазон и пониженный уровень шумов при съёмке в различных условиях. Низкий уровень ISO подходит для съёмки при ярком освещении, а высокий – при слабом. Малая светочувствительность расширяет динамический диапазон на светлых участках, чтобы запечатлеть все их детали. Если камера обладает высоким показателем ISO при ярком освещении, сигнал чрезмерно усиливается, что приводит к потере информации о цвете – иначе говоря, «засвеченности». В условиях низкой освещённости высокая светочувствительность расширяет динамический диапазон на тёмных участках кадра, демонстрируя больше деталей.

Инновационное преобразование пикселей

Pixel-binning – это процесс, который позволяет сенсору изображения объединять смежные пиксели, чтобы улучшить поглощение ими света. Это означает, что датчик изображения делает снимки сверхвысокого разрешения днем, а в условиях низкой освещённости, например, ночью, – создает более яркие и чёткие изображения со сниженным уровнем шумов.
В сенсоре ISOCELL Bright HM1 применяется технология Nonacell. Подробнее о ней можно прочитать здесь.

How the ISOCELL Bright HM1 Raises the Bar as Far as Detail and Definition

Gone are the days of low-resolution, grainy photos taken with your cellphone camera. These days, users expect to be able to use their smartphones to take ultra-high resolution photographs with vivid colors in all conditions, and Samsung ISOCELL image sensors are enabling this innovation.
The release of Samsung’s ISOCELL Bright HMX in 2019 marked the introduction of the industry’s first 108MP mobile image sensor, but the innovation didn’t stop there. In 2020, Samsung introduced the ISOCELL Bright HM1, which has set a new standard for mobile image sensors. Enabling industry-leading pixel counts, the ISOCELL Bright HM1 produces such fine detail that even zoomed-in-upon sections of pictures remain crisp and clear. The image sensor additionally includes a range of features that allow its outstanding performance to be brought to a wide range of capturing environments.

A Whole New Standard of Detail

When it comes to taking crisp, intricately detailed pictures, pixel-count is of enormous importance. An image sensor is responsible for detecting and converting light into image information, and the ISOCELL Bright HM1 is capable of converting light information into images that are comprised of 108 million effective pixels. This means that smartphone cameras are now capable of taking pictures with a standard of resolution that would usually only be seen in photos taken with a professional-grade camera. The images produced are so intricately detailed that, even when one smaller section of the picture is enlarged due to zooming or cropping, that individual section still appears extremely sharp.
But the ISOCELL Bright HM1 doesn’t just produce a lot of pixels – it incorporates innovative pixel isolation technology to make those pixels act intelligently as well. ISOCELL Plus technology allows for individual pixels to be isolated with physical barriers, thus allowing them to gather in more light. This advanced technology also allows for pixel performance to be maximized despite the pixels’ small size, while significantly reducing crosstalk, optical loss and light reflection.

Innovative Pixel Transformation

Pixel-binning is a process that allows an image sensor to combine adjoining pixels in order to improve light absorption capabilities. This process means that the image sensor can take ultra-high resolution shots during the day, and then, in low-light environments such as at night, it can combine adjacent pixels into a single larger pixel to produce brighter, clearer images with reduced noise.
Following Samsung’s success with Tetracell binning technology – which involves merging four pixels together into a two-by-two array – the ISOCELL Bright HM1 has introduced Nonacell technology. Nonacell involves combining nine neighboring pixels into one to more than double the light absorption capabilities offered by Tetracell technology, and ensure that photos taken at night are bright, lack noise, and maintain excellent resolution.

Zoom Like Never Before

The ISOCELL Bright HM1 allows you to see up close without compromising on quality. With the use of Samsung’s innovative new image sensor, users can capture close-up images at up to 3X zoom without upscaling. Images caught at 3X zoom will maintain high-quality 12MP resolution, and zoomed in sections can additionally be previewed on-screen without upscaling.
This kind of ‘lossless zoom’ is made possible, firstly, by the image sensor’s ultra-high resolution, by which the sheer number of pixels in each individual shot allows a zoomed-in-upon section to maintain excellent resolution. The feature is additionally enabled by the image sensor’s ability to remap pixels in three-by-three arrays into RGB patterns itself, instead of having to outsource the task to a mobile processor. This direct pixel remapping is enabled by embedded hardware IP built right into the image sensor.

Intelligent ISO Selection for Each Unique Moment

Native-ISO is responsible for determining the sensitivity of the image sensor. However, simply incorporating one fixed-native-ISO into an image sensor limits the solution’s ability to adapt to a range of lighting situations. Thus, the ISOCELL Bright HM1 incorporates ‘Smart-ISO’ technology, which allows the image sensor to intelligently cater ISO selection to each unique lighting environment it is faced with.
With the use of Smart-ISO technology, optimal dynamic range and reduced noise can be brought to a vast range of shooting environments. While low ISO is effective in well-lit environments, high ISO is better suited to low-light settings. For brightly lit shots, low ISO extends a wider dynamic range towards bright sections in order to capture them in far more detail. If the camera was forced to utilize a higher native-ISO in a bright setting, the signal would be over-amplified, meaning that color information with values close to white could be lost. In low-light conditions, high native-ISO extends a greater dynamic range towards the dark sections of the shot, illuminating more detail in those areas.

Take Professional-Grade Photography into Your Hands

While delivering industry-leading pixel counts and innovative new pixel optimization technology, the ISOCELL Bright HM1 equips your smartphone camera with lossless zoom and intelligently caters its settings to ensure that you capture great photos in a wide range of settings.
Enjoy intelligent, industry-leading photography right in your pocket as the ISOCELL Bright HM1 takes smartphone photography to new heights.

Samsung ISOCELL Bright HM1 - сенсор с разрешением 108Мп, построенный на уникальной технологии Nonacell

Усовершенствованная технология слияния пикселей позволяет собирать их в группы 3×3 для захвата большего светового потока

Samsung Electronics, мировой лидер в сфере передовых полупроводниковых технологий, представляет 108-мегапиксельный сенсор нового поколения Samsung ISOCELL Bright HM1. Благодаря целому набору инновационных технологий усиления светового потока, куда вошли технологии Nonacell, Smart-ISO и расширение динамического диапазона в реальном времени (real-time HDR), новый сенсор ISOCELL Bright HM1 позволяет получать высокодетализированные 108-мегапиксельные фотоснимки и кристально чистые видеоролики с разрешением 8K и частотой 24 кадра в секунду даже при неблагоприятных условиях освещения.
«Samsung непрерывно совершенствует инновационные технологии в сфере цифровой фотосъёмки и обработки изображений, чтобы дать пользователям возможность запечатлеть самые важные и захватывающие моменты их жизни и получать безупречные снимки независимо от времени суток и условий освещения, — сказал исполнительный вице-президент подразделения фотосенсоров в Samsung Electronics, Ён-хи Пак (Yongin Park). — Благодаря внедрению технологий Nonacell и Smart-ISO новая 108-мегапиксельная матрица ISOCELL Bright HM1 гарантирует безупречное качество фотографий и видео в самом широком диапазоне вариантов освещения».
Сенсор ISOCELL Bright HM1 с диагональю 1/1,33 дюйма имеет 108 миллионов пикселей, размер каждого из которых составляет всего 0,8 нм. Впервые в отрасли этот сенсор получил передовую технологию Nonacell, которая позволяет получать яркие снимки при слабом освещении.
В 2017 году Samsung представил технологию слияния пикселей Tetracell, которая формирует группы размером 2×2 пикселя, заставляя их работать как один большой пиксель. Технология Nonacell — это усовершенствованная версия Tetracell, формирующая группы 3×3 пикселя. Благодаря ей в сенсоре HM1 9 соседних 0,8 нанометровых пикселей объединяются в один большой пиксель с шириной каждой грани в 2,4 нм, что позволяет захватывать, как минимум, в 2 раза больше света по сравнению с технологий Tetracell.
С увеличением количества пикселей в группе, возрастают искажения при передаче цветов, что делает технологию более сложной в реализации. Samsung решил эту проблему с внедрением технологии ISOCELL Plus, которая значительно уменьшает перекрёстные помехи и минимизирует оптические потери и отражение света.
Чтобы гарантировать безупречный результат при любых условиях съёмки, сенсор HM1 сочетает Nonacell с технологией Smart-ISO, которая обеспечивает яркость и реалистичность снимка за счёт интеллектуального подбора чувствительности сенсора. Высокие значения чувствительности используются при съёмке в темноте, а низкие — для сильно освещённых объектов.
Для съёмки сложных сюжетов, сочетающих в одном кадре тёмные и ярко освещённые фрагменты, сенсор HM1 предлагает технологию расширения динамического диапазона в реальном времени (real-time HDR), которая оптимизирует экспозицию, обеспечивая более натуралистичные фотоснимки и видео. Возможность устанавливать экспозицию индивидуально для каждого пикселя позволяет снимать сложные многоплановые сцены, «на лету» генерируя изображения с расширенным динамическим диапазоном, причём как для предварительного просмотра на экране смартфона, так и для съёмки кадра. Для повышения чёткости фотографий HM1 оснащён системой электронной гироскопической стабилизации изображения (EIS) и передовой технологией фазовой автофокусировки Super-PD.
Сенсор HM1 позволяет видеть кадры в режиме предварительного просмотра, делать полнокадровые снимки и без потери качества приближать объекты съёмки с помощью 3-кратного зума. Это стало возможным благодаря тому, что сенсор преобразует пиксели самостоятельно, с помощью встроенного аппаратного процессора изображений, а не передаёт эту задачу процессору мобильного устройства. Благодаря высочайшему разрешению 108Мп сенсор способен также делать 12-мегапиксельные снимки с 3-кратным приближением без апскейлинга.
Сенсор Samsung ISOCELL Bright HM1 уже поступил в массовое производство.

Samsung’s 108Mp ISOCELL Bright HM1 Delivers Brighter Ultra-High-Res Images with Industry-First Nonacell Technology

Enhanced pixel-binning technology, Nonacell, features 3x3 pixel structure for maximum light absorption

Samsung Electronics, a world leader in advanced semiconductor technology, today introduced its next-generation 108-megapixel (Mp) image sensor, Samsung ISOCELL Bright HM1. With a spectrum of light-enhancing technologies spanning from Nonacell and Smart-ISO to real-time HDR, ISOCELL Bright HM1 allows brighter and more detailed 108Mp photographs and crystal-clear 8K videos at 24 frames per second (fps), even under extreme lighting conditions.
“To capture meaningful moments in our lives, Samsung has been driving innovations in pixel and logic technologies that enable ISOCELL image sensors to take astounding photographs even when lighting conditions aren’t ideal,” said Yongin Park, executive vice president of the sensor business at Samsung Electronics. “By adopting Nonacell and Smart-ISO technologies, the 108Mp ISOCELL Bright HM1 helps take vivid high-resolution pictures across a wide range of lighting environments.”
At a 1/1.33” scale with 108-million 0.8μm pixels, the ISOCELL Bright HM1 features the industry’s first state-of-the-art Nonacell technology, which delivers brighter images in low-light settings. In 2017, Samsung introduced Tetracell, a pixel-binning technology with a special two-by-two array that merges four neighboring pixels to work as a single large pixel. Nonacell is an enhanced version of Tetracell with a three-by-three pixel structure. In the HM1, Nonacell merges nine neighboring 0.8μm pixels to mimic a large 2.4μm pixel, more than doubling Tetracell’s light absorption.
As the number of adjoined cells increase, so does color interference, making pixel-binning technologies more challenging, While such difficulties had limited Nonacell to a theory, the HM1 was able to realize the method by adopting Samsung’s ISOCELL Plus technology, which dramatically reduces crosstalk and minimizes optical loss as well as light reflection.
For ultimate results under any lighting condition, the HM1 supplements Nonacell with several other advanced pixel technologies. For example, the HM1’s Smart-ISO technology produces vivid and vibrant images by intelligently selecting the optimal ISO. High ISOs are used in darker settings while low ISOs are better for brighter environments to control light saturation.
In challenging mixed-light environments for photo-taking, the HM1’s real-time HDR technology optimizes exposures, producing more natural looking videos and still photographs. By assigning the most appropriate exposure lengths to each pixel, the HM1 is able to capture scenes in multiple exposures simultaneously, generating HDR images in real-time for both preview and capture modes. For sharper results, the HM1 supports a gyro-based electronic image stabilization (EIS) and Super-PD, an advanced phase detection technology for fast and accurate auto-focus.
The HM1 allows users to preview and capture full shots and close-ups of the subject at up to 3x lossless zoom, preserving the quality of the image. This is made possible by the sensor directly converting the pixels using an embedded hardware IP, rather than having the task delegated to the mobile processor. With 108-million pixels, the sensor is also able to produce images up to 3x zoom at a 12Mp resolution without upscaling.
Samsung ISOCELL Bright HM1 is currently in mass production.

* Samsung first announced its ISOCELL technology in 2013, which reduces color crosstalk between pixels by placing a physical barrier, allowing small-sized pixels to achieve higher color fidelity. Based on this technology, Samsung introduced the industry’s first 1.0um-pixel image sensor in 2015 and a 0.9-pixel sensor in 2017. In June 2018, Samsung introduced an upgraded pixel isolation technology, the ISOCELL Plus.