Samsung Research, научно-исследовательское подразделение направления потребительских продуктов Samsung Electronics, заняло первые места в двух крупнейших международных конкурсах по качеству восприятия текста искусственным интеллектом (AI).
Samsung Research одержал победу в конкурсе Machine Reading Comprehension (MS MARCO), проводимом компанией Microsoft, а также показал лучший результат на конкурсе TriviaQA, который был организован Университетом Вашингтона[1].
По мере того, как мировая конкуренция в сфере технологий искусственного интеллекта обостряется, такие конкурсы как MS Marco стремительно набирают популярность. MS MARCO и TriviaQA – одни из самых известных и уважаемых конкурсов AI (Artifical Intelligence), наряду с SQuAD Стэнфордского университета и NarrativeQA компании DeepMind. В них принимают участие лучшие мировые университеты и глобальные компании, специализирующиеся на AI, в том числе и Samsung Electronics.
Машинное понимание текста означает, что алгоритм искусственного интеллекта получает задание проанализировать текстовые данные и самостоятельно выбирает оптимальный ответ из предложенных вариантов. На конкурсах MS MARCO и TriviaQA тестируется способность AI-алгоритмов обрабатывать естественную письменную речь в различных типах документов, например, в новостных заметках или постах и блогах.
Например, в ходе конкурса MS MARCO AI-алгоритму предоставляется 10 вэб-документов поисковой выдачи, из которых необходимо выбрать оптимальный вариант. Фразы случайным образом выбираются из миллиона запросов пользователей поисковой системы Microsoft Bing. Ответы алгоритма оцениваются на основании того, насколько близки они к ответам человека. Этот тест был разработан для оценки способности AI-алгоритмов решать практические задачи.
Samsung Research на соревновании представлял AI-алгоритм ConZNet, разработанный Центром искусственного интеллекта южнокорейского техногиганта. Навыки решения задач алгоритм приобрёл, используя технику «Reinforcement Learning»[2] – в ней AI развивается, получая обратную связь в ответ на каждое его действие.
В последнее время в связи с усилением глобальной конкуренции по разработке AI-технологий стали широко распространены соревнования в области компьютерного зрения (технологии для анализа символов и изображений), а также визуальных вопросов и ответов. Это способствует совершенствованию алгоритма распознавания текста машинами.
Пекинское подразделение Samsung Research одержало победу на Международной конференции по анализу и распознаванию документов (ICDAR), проведённой Международной ассоциацией распознавания образов (IAPR) в марте 2018 года. Этот успех сделал Samsung игроком высочайшего уровня на глобальных тестах компьютерного зрения. ICDAR – самый влиятельный конкурент корпорации в области оптических технологий распознавания символов (OCR).
«Мы разрабатываем AI-алгоритм, который предоставит ответы на запросы пользователей простым и удобным способом и который можно применять в реальной жизни, – отметила Джи Хи Ким, глава лаборатории по восприятию естественного языка в Центре искусственного интеллекта Samsung Research. – Сейчас в Samsung ведётся активное обсуждение возможностей применения AI-алгоритма ConZNet в продуктах, сервисах, обслуживании клиентов и технологическом развитии».
[1] В таких соревнованиях как MS MARCO и TriviaQA можно принимать участие в любое время, рейтинги устанавливаются в реальном времени в зависимости от результатов прошедших тестов.
[2] «Reinforcement Learning» (обучение с подкреплением) – самый продвинутый алгоритм машинного обучения искусственного интеллекта, где возможности машины совершенствуются благодаря таким прорывным AI-технологиям как AlphaGo.
Samsung Electronics Wins at Two Top Global AI Machine Reading Comprehension Challenges
Samsung Research, the advanced R&D hub of Samsung Electronics’ SET (end-products) business, has ranked first in two of the world’s top global artificial intelligence (AI) machine reading comprehension competitions.
Samsung Research recently placed first in the MAchine Reading COmprehension (MS MARCO) Competition held by Microsoft (MS), as well as showing the best performance in TriviaQA* hosted by the University of Washington, proving the excellence of its AI algorithm.
With intense competition in developing AI technologies globally, machine reading comprehension competitions such as MS MARCO are booming around the world. MS MARCO and TriviaQA are among the actively researched and used machine reading comprehension competitions along with SQuAD of Stanford University and NarrativeQA of DeepMind. Distinguished universities around the world and global AI firms including Samsung are competing in these challenges.
Machine reading comprehension is where an AI algorithm is tasked with analyzing data and finding an optimum answer to a query on its own accord. For MS MARCO and TriviaQA, AI algorithms are tested in their capabilities of processing natural language in human Q&As and also providing written text in various types of documents such as news articles and blog posts.
For example in MS MARCO, ten web documents are presented for a certain query to let an AI algorithm create an optimum answer. Queries are randomly selected from a million queries from Bing (MS search engine) users. Answers are evaluated statistically by estimating how close they are with human answers. This is a test designed to apply an AI algorithm to solve real-world problems.
Samsung Research took part in the competitions with ConZNet, an AI algorithm developed by the company’s AI Center. ConZNet features skillful capabilities through adopting the Reinforcement Learning** technique, which advances machine intelligence by giving reasonable feedback for outcomes, similar to a stick-and-carrot strategy in a learning process.
With the recent acceleration in global competition to develop AI technologies, contests are widespread in areas of computer vision (technologies to analyze characters and images) and visual Q&A to solve problems using recognized images of characters as well as machine reading comprehension. The Beijing branch of Samsung Research won the International Conference on Document Analysis and Recognition (ICDAR) hosted by the International Association of Pattern Recognition (IAPR) in March, putting them in a top-tier group for global computer vision tests. The ICDAR is the most influential competition in Optical Character Recognition (OCR) technologies.
“We are developing an AI algorithm to provide answers to user queries in a simpler and more convenient manner, for real life purposes,” said Jihie Kim, Head of Language Understanding Lab at Samsung Research. “Active discussion is underway in Samsung to adopt the ConZNet AI algorithm for products, services, customer response and technological development.”
* Competitions such as MS MARCO and TriviaQA allow contestants to participate at any time, and rankings are altered according to real-time test results.
** The Reinforcement Learning is the most advanced Machine Learning AI algorithm, and cutting-edge AI technologies including AlphaGo are upgrading machine intelligence by applying this technique.
