Чтобы узнать подробности об этой уникальной функции, корреспондент портала samsung Newsroom встретился с участниками команды создателей AR Emoji: это Вонхён Чо (Wonhyung Cho) и Хай-Бон Ким (Hye-Bong Kim) из глобальной группы планирования продукта и Хойк Хван (Hoik Hwang) и Джиюн Ким (Jiyoun Kim) из группы разработки пользовательского интерфейса.
Что послужило для вас вдохновением при работе над анимоджи в Galaxy S9?
Вонхён Чо: Люди всё чаще и чаще используют смартфоны для общения. В то же время, многие из нас ищут новые способы для выражения своих эмоций. В этом контексте эмоджи становятся одним из наиболее популярных способов выразить нашу индивидуальность. Мы решили объединить недавно появившуюся технологию дополненной реальности с эмоджи, сконструировав, таким образом, новую форму визуальных коммуникаций.
Что делает анимоджи в Galaxy S9 особенными?
Чо: Мы довольно долго обдумывали, что в сегодняшнем понимании означает слово «коммуникация» или «общение», и пришли к выводу, что в значительной степени коммуникации означают ни что иное как самовыражение. Мы хотели сделать эту функцию настолько индивидуальной, насколько это возможно, и научиться запечатлевать наши эмоции с помощью инновационной технологии дополненной реальности. Функция My Emoji фиксирует характерные черты лица и мимику пользователя, позволяя самовыражаться в прямом смысле этого слова.
Хай-Бон Ким: Для создания 3D аватара камера смартфона использует технологию распознавания лиц и анализирует более 100 параметров лица владельца смартфона. Используя опорные точки, фиксирующие очертания лица, создаётся виртуальное объёмное 3D изображение и на его основе 18 стикеров анимоджи.
Какой была реакция пользователей на появление этой функции?
Чо: Анимоджи вызвали немало любопытства – ведь это забавная функция, и многим хотелось увидеть, как будет выглядеть их собственный 3D аватар.
Хойк Хван: Вообще, пользователям было в меньшей степени интересно, насколько их аватар будет соответствовать их реальной внешности. Их больше волновал вопрос, нравится ли им то, каким их изобразил анимоджи. Эта функция позволяет создавать два типа анимоджи: реалистичные эмодзи, или эмодзи, больше похожие на мультипликационного персонажа. Кому-то нравится первый вариант, а кто-то предпочитает второй.
Мы хотим, чтобы анимоджи воплощали всё самое лучшее, что есть в человеке. При разработке этой функции мы не ограничивались лишь тем, чтобы сделать изображение только похожим на реального пользователя. Наша задача заключалась в том, чтобы с помощью своих анимоджи пользователи могли выражать себя и выглядели именно так, как они бы этого хотели.
В настоящее время мы работаем над тем, чтобы предложить пользователям возможность с помощью My Emojis лучше выражать свое настроение.
Что было самым важным при разработке пользовательского интерфейса?
Джиоюн Ким: Работа с анимоджи подразумевает использование камеры, поэтому при проектировании пользовательского интерфейса мы руководствовались принципом, что интерфейс My Emoji, а следовательно, пользовательский опыт должен быть простым и увлекательным. Анимоджи позволяют нам по-новому рассказать наши истории, поэтому мы посчитали важным сделать анимоджи доступными на множестве различных платформ.
Мы создали 18 стикеров, каждый из которых служит для выражения какой-то отдельной эмоции. Их можно хранить на вашем смартфоне в галерее, можно использовать в самых различных приложениях и мессенджерах, а стикеры доступны как в формате PNG, так и GIF файлов.
Расскажите о своей работе по созданию стикеров My Emoji.
Хван: Перед нами стояла задача создать эмодзи-стикеры, которые значили бы одно и то же в любой стране мира. Поскольку мы хотели классифицировать человеческие эмоции и найти визуальное представление фундаментальных человеческих чувств – радости, злости, печали, удовольствия – нам пришлось ознакомиться с большим количеством различных исследований.
Со временем число стикеров увеличится до 54, и с их помощью можно будет выразить ещё больше различных эмоций.
С какими сложностями вы столкнулись при создании функции анимоджи?
Хвань: Технологии дополненной реальности – это инновационный пласт технологий и весьма новое направление. Мы собирали множество данных по всему миру, проводили многочисленные интервью, чтобы узнать предпочтения пользователей и убедиться в том, что создаваемая функция удовлетворяет их потребностям. Мы продолжаем работать над тем, чтобы сделать анимоджи еще лучше. Обратная связь, которую мы получаем от наших пользователей, позволяет нам понять, как нам необходимо усовершенствовать эту технологию.
Не могли бы вы рассказать поподробнее о вашем опыте работы со студией Disney по созданию анимоджи с Микки и Минни Маус?
Хван: Как и многие, я вырос на Микки Маусе. Но я никогда не мог и представить, что когда я вырасту, мне посчастливится работать вместе с Disney над совместным большим проектом. Когда мы только начали сотрудничество, это был очень волнительный момент, и я не переставал думать: «Неужели это всё действительно происходит со мной?»
В ходе проекта с Disney мы использовали наши разработки и знания. Например, у нас есть функция Blend Shape, которая позволяет воссоздать 75 основных выражений лица пользователя. И если вы, к примеру, возьмёте два выражения лица и объедините их, то получите новое, третье выражение лица. Для того, чтобы объяснить, как работает эта функция, потребовалось немало времени. Но, работая вместе, мы смогли создать эти уникальные анимоджи Микки Мауса и Минни Маус.
Будучи разработчиками функции AR Emoji, не могли бы вы рассказать, как создать анимоджи?
Джиоюн Ким: Во-первых, необходимо много света: чем ярче – тем лучше, примерно как при съёмке сэлфи. Убедитесь, что лицо не скрыто за волосами или какими-либо объектами. Направьте камеру таким образом, чтобы лицо полностью оказалось внутри круглой рамки на экране, и сделайте фото. Просто расслабьтесь и будьте самими собой. После того, как система создаст ваш аватар, вы сможете внести необходимые изменения в ручном режиме: поправить тон кожи, прическу, цвет волос, выбрать одежду и прочие параметры на ваш вкус.
Можете ли вы дать совет, как извлечь из этой функции максимум? Может быть, расскажете о каких-то необычных способах использования этой функции?
Хван: Я видел, как люди снимают целые истории – записывают их своим голосом и иллюстрируют диалоги с помощью AR Emojis, и такое видео, действительно, интересно смотреть. Это новый и инновационный способ использования My Emoji. С их помощью вы можете показать какой-то сюжет от своего имени, и при этом оставаться практически анонимными.
Хай-Бон Ким: Вовсе необязательно ограничиваться лишь одним анимоджи. Вы можете создать сразу несколько персонажей, по своему настроению. Сделайте своему анимоджи новую причёску, причудливо оденьте его в то, что вы никогда не надели бы в обычной жизни. Создайте анимоджи для членов семьи и друзей и обменивайтесь ими друг с другом.
Мы даже придумали игру, в которой вы можете менять причёску или вносить другие изменения в My Emojis, а потом предложить другим членам команды угадать, кому принадлежит этот анимоджи – довольно занятная получилась игра.
Расскажите, каким образом предполагается использовать таких персонажей как Микки Маус?
Чо: Подобные персонажи идеально подходят для создания ваших собственных мультфильмов. Поскольку они копируют выражение человеческого лица, вы можете использовать этих персонажей для выражения самых разных эмоций и создавать с их помощью целые истории.
The Galaxy S9’s AR Emoji Designers: Creating New Tools for Visual Communication
“The essence of communication is self-expression, so we are making continual improvements to the AR Emoji feature so that it caters to our consumers' unique qualities.”
As people search for even more ways to express their distinct personalities using their smartphones, Samsung has created the Galaxy S9’s AR Emoji feature as a new tool for visual communication. Generated from the image of an individual user, the customizable My Emojis and their stickers reflect and mimic a user’s facial features and movements, creating a personal 3D avatar that is exclusive to them and personalized stickers they can use in messenger applications.
To learn more about this fun and unique new feature, we sat down with members of the AR Emoji’s design team, Wonhyung Cho and Hye-Bong Kim, from the Global Product Planning Group, and Hoik Hwang and Jiyoun Kim, from the UX Design Group.
Q. What was the inspiration behind the Galaxy S9’s AR Emoji feature?
Wonhyung Cho: People are communicating more and more through their smartphones, sending messages to each other throughout the day. Many of us are also looking for new ways to express a range of emotions in the short messages we send each other, and in this context, emoticons and emojis have become one of the most popular ways to express ourselves. As a next step, we wanted to go further and blend the emerging technology of AR with emoticon and emoji tools for a new form of visual communication.
Q. What makes the Galaxy S9’s AR Emoji special?
Cho: We thought for a long time about what the word ‘communication’ means today and it became clear that a large part of communication is ‘self-expression’. As a team, we wanted to make the feature as personal as possible by capturing our unique emotions, using an innovative technology like AR. In creating a My Emoji which captures your own distinct facial features, AR Emojis can provide a truer form of self-expression.
Hye-Bong Kim: The camera uses facial recognition technology to analyze a photo of your face and map more than 100 facial features. Using these data points, a 3D modeling form specialized for the contours of the human face creates a 3D My Emoji and 18 My Emoji stickers which reflect your unique facial features.
Q. How have users reacted to the feature?
Cho: AR Emoji has generated a lot of curiosity – it’s such a fun feature and many people want to see how their My Emoji looks.
Hoik Hwang: For everyone, the question is not ‘does this look like me?’, but rather ‘does this look like I want it to?’ AR Emoji actually creates two types of My Emoji: one that is realistic and one that is more like a cartoon. Some people like the first kind, while others prefer the second.
We want AR Emoji to be the best it can be. A close resemblance to the user isn’t the only thing we considered when developing the feature. Our goal was for creators to be able to use the AR Emoji to express themselves, however they want to look.
We’re currently working to allow users to make their My Emojis better express the mood they want them to.
Q. When it came to UX design, what was your key consideration?
Jiyoun Kim: AR Emoji uses the Galaxy S9’s camera, so we wanted to integrate it with the camera’s UX. From start to finish, the user’s journey while creating their My Emoji and My Emoji stickers has to be simple and engaging.
Then we thought about how people might want to use the feature to express themselves in their daily lives. AR Emoji offers a new way tell our stories and because of that we felt that making it available across many platforms was important.
We created 18 stickers, which each communicate a different emotion. They can be stored in your smartphone Gallery application, can be used freely in your different applications and messaging services and are available as both PNG and GIF files.
Q. How did you go about designing the 18 My Emoji stickers?
Hwang: Our goal was to create emoji stickers that would communicate the same emotions across the world – and would mean the same thing in any country. We read a lot of research as we tried to categorize human emotions and to determine what the visual representations of fundamental human feelings – things like joy, anger, sorrow and pleasure – should be.
In time, the number of stickers will increase to 54 so that even more emotions will be expressed using the emoji stickers.
Q. Did you encounter any difficulties while designing AR Emoji?
Hwang: AR is an innovative technology and the AR field is quite new. We collected data from people around the world, interviewing them to discover their needs and ensure that the feature delivered on those needs.
As a team, we continue to collect this data so that we can make AR Emojis even better. User feedback helps us discover not only what consumers really want, but how we can make adjustments to this new technology.
Q. Can you elaborate on your experiences working with Disney to create the Mickey and Minnie Mouse AR Emojis?
Hwang: Like lots of people, I grew up with Mickey Mouse. I never thought that I would be working on a project like this with Disney when I grew up. When we first started I was really excited and couldn’t stop thinking, “Is this really happening?”
Throughout the project, we engaged in a great deal of knowledge sharing with Disney. For example, there’s a feature known as Blend Shape that allows the feature to recreate 75 basic user facial expressions – for example, if you combine two different facial expressions, you will produce a completely new one – explaining how this feature worked was time-intensive. But by working together, we were able to create these unique Mickey Mouse and Minnie Mouse AR Emojis.
Q. As AR Emoji designers, can you share some tips for creating an AR Emoji?
Jiyoun Kim: First, you need to be in a place with plenty of light – the brighter the better – like when you want to take a selfie. Make sure your face is not hidden by your hair or any other objects. Position your face fully inside the circular frame on the screen and take a photo. Just relax and be natural. After your My Emoji has been created, you can make manual adjustments to skin tone, hair style and color, clothing and other features, to your liking.
Q. Do you have any advice for making the most of the feature?
Hwang: I have seen videos where people create stories by recording their own voice for the dialogue, and use AR Emojis to act out the parts, which are really fun to watch. It’s a new and innovative way to use My Emoji. You can use them to present something your own behalf and remain almost anonymous at the same time.
Hye-Bong Kim: You don’t have to make just one AR Emoji. You can make several characters, as the mood takes you. Give your My Emoji a hairstyle you want try or a funky outfit you would never normally wear. Create AR Emojis of family or friends and share them with each other.
We like to make a game out of changing the hair styles and other features of the My Emojis, then guessing which one belongs to which team member, which is quite amusing.
Q. Can you suggest how users can get the most out characters like Mickey Mouse?
Cho: They are perfect for creating your own cartoon or animation. Since they are designed to mirror human facial expressions, you can make your characters express a range of emotions and make up a whole story using them.
