Недавно редакция Samsung Newsroom встретилась с командой разработчиков департамента мобильных коммуникаций Samsung Electronics, который отвечает за создание камеры в смартфонах Galaxy S9 и S9+. Донсу Ким (Dongsoo Kim) и Сэнвук Чой (Sungwook Choi) занимаются непосредственно разработкой камеры, а Юнмин Нам (Youngmin Nam) и Юнмо Ким (Junmo Kim) работают в группе по продуктовому планированию. На встрече они рассказали о возможностях камеры, не имеющей аналогов на рынке, в частности, о режиме сверхзамедленной съёмки, с помощью которой пользователи могут снимать видео кинематографического качества с частотой 960 кадров в секунду. Появление режима стало возможно благодаря разработке сенсорных технологий, кардинально улучшивших объектив камеры.
Трёхслойная светочувствительная матрица состоит из датчика, электронной схемы и DRAM памяти для съемки в режиме Super Slow-mo, а также в условиях недостаточной освещённости
«Нам удалось добиться в четыре раза более высокой скорости считывания с сенсора по сравнению с традиционными сенсорными технологиями, и все это благодаря его трехслойной конструкции, которая включает в себя CMOS детектор, электронную схему для быстрой записи данных и специальный чип DRAM – динамическую память с произвольным доступом, который впервые появился в составе сенсоров, – поясняет Донсу Ким. – Интеграция DRAM памяти в сенсор позволила нам решить целый ряд проблем, в частности, справиться с ограничениями скорости передачи данных между сенсором и прикладным процессором при работе в режиме высокоскоростной съёмки с частотой 960 кадров в секунду».
Использование улучшенного сенсора в камере обеспечивает ряд полезных преимуществ. Усовершенствованный сенсор в Galaxy S9 поддерживает работу в режиме сверхзамедленной съёмки при хорошей освещённости и уменьшает цифровой шум при съёмке в условиях недостаточной освещённости. «Уровень шумов при съёмке в плохом освещении в Galaxy S9 снижен на 30% по сравнению с предыдущей моделью. Низкий уровень шумов и объектив с переменной диафрагмой, который автоматически сужается или расширяется в соответствии с условиями съёмки подобно зрачку человеческого глаза, дополняют исключительную функциональность камеры Galaxy S9», – говорит Сунвук Чой.
Благодаря этому пользователи получают принципиально новый опыт работы со смартфоном. Например, теперь они могут снимать даже самые короткие видео продолжительностью всего 0,2 с в режиме Super Slow-mo или делать снимки красивейших пейзажей, которые будут оставаться чёткими и красочными даже в условиях плохой освещённости.
Добиваясь желаемого путем тщательных испытаний
Когда прототип режима сверхзамедленной съёмки уже был создан, разработчики продолжали работать над его улучшением и проводили многочисленные тесты, подготавливая продукт к запуску в коммерческое производство. Сначала этот режим был доступен только на компьютере. Команде пришлось не раз брать с собой пару-тройку ноутбуков в корейские парки развлечений, где они тестировали функцию обнаружения движения, позволяющую автоматически начинать записывать те мгновения, которые хотели бы запечатлеть пользователи.
«Было весьма непросто тестировать функцию обнаружения движения для режима сверзамедленной съёмки, когда вы пытаетесь снять видео, как на полной скорости скатываетесь с горки. Тем не менее, все мы очень постарались, чтобы сделать эту функцию точно такой, какой она и задумывалась», – говорить Донсу Ким.
«Кроме того, нам пришлось снимать видео в условиях морозной ночи в горах, чтобы отточить работу камеры в условиях низкой освещённости», – вспоминает Сунвук Чой.
Как “выжать максимум” из камеры своего смартфона
Учитывая, что смартфоны сегодня являются неотъемлемой частью современной жизни, разработка технологий, с помощью которых пользователи могли бы «выжать» все возможности из камер своих смартфонов, была для Samsung одной из ключевых задач. «При создании камеры Galaxy S9 мы сосредоточились на том, чтобы сделать всю работу с режимом сверхзамедленной съёмки максимально простой и удобной, начиная с записи видео и заканчивая его публикацией. В частности, мы предусмотрели возможность создания GIF файлов размером от 3 до 15Мб, в которых можно показать видео продолжительностью примерно 6 секунд, при этом созданные файлы оптимизированы для публикации и просмотра.
Что касается анимоджи, AR стикеры можно отправлять собеседникам через различные мессенджеры. Кроме того, мы доработали фронтальную камеру, улучшили пользовательский интерфейс и добавили новые забавные функции с более высоким качеством видео. В качестве примера можно привести добавление функции Selfie Focus во фронтальную камеру, которая способна выделить лица на фоне общего изображения, используя алгоритмы глубокого обучения. Благодаря этому камера Galaxy S9 создаёт идеальные сэлфи, в том числе с возможностью создания эффекта «размытия» заднего плана», – поясняет Юнмин Нам.
Эволюция камер в смартфонах идёт в правильном направлении. «Мы намерены продолжать добиваться идеальных снимков профессионального качества. Более того, наша задача заключается в том, чтобы сделать для пользователей работу с нашими высокотехнологичными камерами максимально удобной. Конечная цель состоит в том, чтобы создать камеру, которая бы при любых условиях обеспечивала наилучшее качество изображения для пользователей, и при этом им не приходилось бы ломать голову с настройками, чтобы добиться нужного эффекта при фото- и видеосъёмке», – говорит Юнмо Ким.
Meet the Team Behind the Galaxy S9’s Super Fast Camera
The Galaxy S9’s Super Slow-mo and low-light camera features have been made possible thanks to a camera sensor that’s four times faster than conventional technologies.
Samsung Newsroom recently sat down with members of Samsung Electronics’ Mobile Communications Business team, who were behind the development of the Galaxy S9 and S9+’s camera. They include Dongsoo Kim and Sungwook Choi of the Camera Development team, and Youngmin Nam and Junmo Kim of the Product Planning team. The team discussed the camera’s unique-to-market features including Super Slow-mo, which enables users to record cinematic videos at 960fps (frames per second), and was made possible by the development of image sensor technologies that dramatically enhance the ‘eye’ of the camera.
A Three-layer Stacked Image Sensor, including the Sensor itself, a Circuit, and a DRAM for Super Slow-mo and Low-light Capabilities
“We were able to achieve a readout speed that is four times faster than conventional cameras thanks to a three-layer stacked image sensor that includes the CMOS image sensor itself, a fast readout circuit, and a dedicated dynamic random-access (DRAM) memory chip, which previously was not added to image sensors,” explained Dongsoo Kim. “Integrating DRAM allowed us to overcome obstacles such as speed limits between the sensor and application processor (AP) in a high-speed camera with 960fps features.”
An enhanced camera sensor delivers useful benefits. The improved image sensor on the Galaxy S9 supports the Super Slow-mo feature in bright environments, and also decreases noise in dark environments. “The Galaxy S9 reduces noise by 30 percent under low light, compared to the previous model. Low noise, coupled with the Dual Aperture lens, which automatically adjusts to lighting conditions just as the human eye would, completes the superb low-light capabilities of the Galaxy S9’s camera,” said Sungwook Choi.
Enhancements to the image sensor, the Dual Aperture lens, and other camera features foster completely new experiences for consumers. For example, users can now capture a 0.2 second moment via the Super Slow-mo feature, and record beautiful scenery that is bright and clear even in low-light conditions.
Getting it Right through the Most Comprehensive Testing
While the Super Slow-mo prototype was already available, the developers continued to work on enhancements as well as subject the prototype to rigorous tests to prepare for commercialization. In the beginning, the function was only available through computers. So, in multiple instances, the team carted two or three laptops around Korean amusement parks in scorching summer heat. There, they tested the function’s Motion Detection feature, which automatically records the fleeting moment that the user wishes to capture.
“It wasn’t easy testing out Motion Detection for Super Slow-mo, especially with people staring at us when we brought our laptops to these amusement parks and took videos of fast-moving rides. However, we were all committed to getting the feature exactly right,” said Dongsoo Kim.
“We also shot for two hours in the middle of a mountain range, on a freezing night, to complete the low-light camera function,” recalled Sungwook Choi.
Enabling Users to Get the Most Out of their Smartphone Camera
With smartphones so intrinsic to people’s everyday lives, developing technologies that enable users to get the most of their camera was key. “The Galaxy S9’s camera focuses on ease of use of the Super Slow-mo function, from simple video generation to seamless sharing; a final GIF file typically ranges from three to 15 MBs, which is approximately six seconds in length and optimized for users to share and enjoy.
In the case of AR Emoji, My Emoji stickers can be shared via various messenger platforms. We’ve also enhanced the front camera, improving the user experience and adding fun features on top of advanced image quality. An example of this is the Selfie Focus function on the front camera, which recognizes faces from scenery based on deep learning features to provide an ideal selfie, and enables a background-blurring effect,” explained Youngmin Nam.
The future of smartphone camera development is headed in the right direction. “We will continue to strive for perfect, professional-quality images. But even more than that, our aim is to make it easier for users to share the results of our sophisticated camera technology. The ultimate goal is to develop a camera that always produces the best pictures for all users without tinkering with settings, allowing them to take photos and videos that satisfy their needs,” said Junmo Kim.
