Samsung Electronics unveils in-memory processing solutions for AI power leadership

Samsung Electronics Co., the world’s largest memory chip maker, on Tuesday unveiled new solutions for mainstream DRAM modules and mobile memory empowering artificial intelligence (AI) capabilities with hopes to take the lead in bourgeoning AI chip market.

At Hot Chips 33 – a leading next-generation semiconductor conference – held online on Tuesday, Samsung Electronics introduced multiple solutions and cases applied with processing-in-memory (PIM) technology. PIM is a next-generation intelligent semiconductor that converges memory and system chips enabling computing task inside memory.

PIM is regarded as the core in AI innovations. It enables dramatic improvement in memory performance to boost energy efficiency and performance of AI system such as image classification, voice recognition, and machine translation.

In traditional computing method that involves central processing unit and DRAM, CPU brings DRAM data and sends back to DRAM after computing process for storage to process data. A surge in data volume for processing can cause bottleneck, restricting high-performance, high-efficient AI system. PIM technology combines memory chip and AI processor and allows self-computing process without going through CPU to resolve the bottleneck issue.

At the conference, Samsung Electronics unveiled actual system application examples of PIM-enabled High Bandwidth Memory (HBM-PIM), Acceleration DIMM (AXDIMM) loaded with AI engine on DRAM module, and LPDDR5-PIM technology that combines mobile DRAM and PIM.

AXDIMM, a solution that applies AI engine to DRAM module, expands PIM technology unit from chip to module. AXDIMM enhances energy efficiency and accelerates speed as it requires less data movement between CPU and DRAM module. It can be applied to existing system without alteration.

A test on corporate software company SAP showed that AXDIMM offers approximately twice the performance in AI-based recommendation applications and 40 percent decrease in system-wide energy use, the company said.

Samsung Electronics also unveiled LPDDR5-PIM technology that stretches PIM technology to mobile sector. Based on a simulation, LPDDR5-PIM can more than double performance while reducing energy usage by over 60 percent in applications like voice recognition, translation, and chatbot.

At the conference, the tech giant also presented its test result of applying HBM-PIM unveiled in February to actual system. Samsung Electronics said that applying HBM-PIM to U.S. Xilinx Virtex Ultrascale+ AI accelerator delivered 2.5 times greater system performance and more than 60% cut in energy consumption.

Samsung Electronics plans to diversify its PIM product portfolio and partner with various global enterprises to solidify its control over next-generation memory chip ecosystem. It is aiming to shift memory market paradigm with AI and memory integration.

“HBM-PIM is the industry’s first AI-tailored memory solution being tested in customer AI-accelerator systems, demonstrating tremendous commercial potential,” said Kim Nam-sung, senior vice president of DRAM product and technology at Samsung Electronics. “Through standardization of the technology, applications will become numerous, expanding into HBM3 for next-generation supercomputers and AI applications, and even into mobile memory for on-device AI as well as for memory modules used in data centers.”

The AI application sector, meanwhile, that includes metaverse, voice recognition, machine translation, and autonomous driving, has been expanding, leaving room for growth in AI chip sector.

According to Korea Information Society Development Institute, global AI chip market is projected to reach $117.9 billion in 2030, up from $18.45 billion last year.

Samsung Electronics представляет решения для обработки данных внутри модуля памяти, чтобы стать лидером в области искусственного интеллекта

Samsung Electronics Co., крупнейший в мире производитель микросхем памяти, во вторник представил новые решения для основных модулей DRAM и мобильной памяти, расширяющие возможности искусственного интеллекта (AI), в надежде занять лидирующие позиции на растущем рынке AI-микросхем.

На Hot Chips 33, ведущей конференции по полупроводникам нового поколения, которая прошла 24 августа в режиме онлайн, Samsung представил несколько решений и корпусов, в которых используется технология обработки в памяти (PIM), сообщает портал PulseNews. PIM - это интеллектуальный полупроводник нового поколения, который объединяет память и системные микросхемы, позволяя выполнять вычислительные задачи внутри модуля памяти.

PIM считается ядром инноваций в области искусственного интеллекта. Это позволяет значительно улучшить производительность памяти для повышения энергоэффективности и быстродействия AI-систем, например, при классификации изображений, распознавании голоса и машинном переводе.

В традиционном методе вычислений, который включает центральный процессор и DRAM, CPU передаёт данные DRAM и отправляет их обратно в DRAM после вычислительного процесса для хранения для обработки данных. Резкое увеличение объёма данных для обработки может оказаться узким местом, что ограничивает возможности систем искусственного интеллекта. Технология PIM устраняет эту проблему, поскольку сочетает в себе микросхему памяти и AI-процессор, а это позволяет производить самостоятельные вычисления без обращения к центральному процессору (ЦП).

На конференции Samsung Electronics представил примеры реальных системных приложений, таких как High Bandwidth Memory (HBM-PIM) с поддержкой PIM, Acceleration DIMM (AXDIMM) в сочетании с движком AI в модуле DRAM, и технологию LPDDR5-PIM, которая объединяет мобильные DRAM и PIM.

AXDIMM, решение, которое применяет движок AI к модулю DRAM, расширяет технологический блок PIM от чипа к модулю. AXDIMM повышает энергоэффективность и увеличивает скорость, поскольку требует меньшего перемещения данных между ЦП и модулем DRAM. Его можно применять к существующей системе без изменений.

Тестирование корпоративного программного обеспечения компании SAP показало, что AXDIMM обеспечивает примерно вдвое большую производительность в рекомендательных приложениях на основе искусственного интеллекта и на 40% снижает энергопотребление в масштабах всей системы, говорится в сообщении корпорации.

Samsung также представил технологию LPDDR5-PIM, которая позволяет использовать PIM в мобильном секторе. Основываясь на моделировании, LPDDR5-PIM может более чем в 2 раза нарастить производительность при снижении потребления энергии более чем на 60% в таких приложениях, как распознавание голоса, перевод и чат-бот.

На конференции техногигант также обнародовал результаты своих испытаний применения HBM-PIM, представленных в феврале, в реальной системе. Samsung заявил, что применение HBM-PIM к ускорителю Xilinx Virtex Ultrascale + AI в США обеспечило в 2,5 раза более высокую производительность системы и более чем на 60% снизило энергопотребление.

Samsung Electronics планирует диверсифицировать свой портфель продуктов PIM и сотрудничать с различными глобальными предприятиями, чтобы укрепить свой контроль над экосистемой микросхем памяти следующего поколения. Эти усилия направлены на изменение парадигмы рынка памяти с AI и интеграции памяти.

«HBM-PIM - это первое решение в на рынке памяти, адаптированное для AI, которое тестируется в клиентских системах AI-ускорителей и демонстрирует огромный коммерческий потенциал», - сказал Ким Нам Сен, старший вице-президент по продуктам и технологиям DRAM в Samsung Electronics. «Благодаря стандартизации технологии, это найдёт применение в широком диапазоне - от HBM3 для суперкомпьютеров следующего поколения и приложений искусственного интеллекта, до мобильной памяти с AI на компактном персональном устройстве, а также для модулей памяти, используемых в центрах обработки данных».

Сектор приложений AI, который включает в себя зрительное восприятие, распознавание голоса, машинный перевод и автономное вождение, расширяется, оставляя место для дальнейшего роста в секторе AI-чипов.

По данным Корейского института развития информационного общества, прогнозируется, что в 2030 году мировой рынок AI-микросхем достигнет 117,9 миллиарда долларов США по сравнению с 18,45 миллиарда в прошлом году.

Samsung разрабатывает первую в отрасли память с высокой пропускной способностью и возможностями для AI-вычислений

Samsung Electronics объявляет о разработке первой в отрасли памяти с высокой пропускной способностью (HBM), интегрированной с вычислительной мощностью искусственного интеллекта (AI) —HBM-PIM. Новая архитектура обработки (PIM) позволяет использовать возможности AI для ускорения обработки больших объёмов данных в ЦОД, систем высокопроизводительных вычислений (HPC) и при использовании мобильных приложений с поддержкой искусственного интеллекта.

«Инновационная память HBM-PIM — первое в отрасли программируемое решение PIM, адаптированное для задач различных уровней сложности с использованием AI, таких как высокопроизводительные вычисления, обучение и логические процессы. Мы планируем развивать эту технологию за счёт дальнейшего сотрудничества с поставщиками AI-решений, чтобы создавать ещё более совершенные продукты на базе PIM», — отметил Квангил Парк, старший вице-президент по планированию продуктов памяти в Samsung Electronics.

«Я рад видеть, что Samsung решает проблемы пропускной способности и большого энергопотребления памяти для высокопроизводительных вычислений и искусственного интеллекта. Конструкция HBM-PIM продемонстрировала впечатляющую производительность и прирост эффективности при работе с важными типами AI-вычислений, поэтому мы с нетерпением ждём возможности оценить её способность решать дополнительные задачи, представляющие интерес для Аргоннской национальной лаборатории», — прокомментировал Рик Стивенс, заместитель директора Аргоннской национальной лаборатории Министерства энергетики США по вычислениям, окружающей среде и естественным наукам о жизни.

Большинство современных вычислительных систем основаны на архитектуре фон Неймана, использующей отдельные блоки процессора и памяти для выполнения миллионов сложных задач при обработке данных. Такой подход к последовательной обработке требует, чтобы данные постоянно перемещались туда и обратно, что приводит к замедлению работы системы, особенно при обработке постоянно растущих объёмов информации.

Вместо этого HBM-PIM передаёт вычислительную мощность непосредственно туда, где хранятся данные, поскольку оптимизированный для DRAM AI-движок помещён в каждый банк памяти (подблок хранения), обеспечивая параллельную обработку и минимизируя перемещение данных. С решением Samsung HBM2 Aquabolt новая архитектура способна вдвое повысить производительность системы при снижении энергопотребления более чем на 70%. HBM-PIM также не требует каких-либо изменений в аппаратном или программном обеспечении, что позволяет ускорить её интеграцию в существующие системы.

Документ Samsung о HBM-PIM будет представлен на Международной конференции по твердотельным схемам (ISSCC) 22 февраля. В настоящее время память Samsung HBM-PIM тестируется ведущими партнёрами по AI-решениям в ускорителях искусственного интеллекта. Ожидается, что эта работа будет завершена в первой половине 2021 года.

Samsung Develops Industry’s First High Bandwidth Memory with AI Processing Power

Samsung Electronics, the world leader in advanced memory technology, today announced that it has developed the industry’s first High Bandwidth Memory (HBM) integrated with artificial intelligence (AI) processing power — the HBM-PIM. The new processing-in-memory (PIM) architecture brings powerful AI computing capabilities inside high-performance memory, to accelerate large-scale processing in data centers, high performance computing (HPC) systems and AI-enabled mobile applications.

Kwangil Park, senior vice president of Memory Product Planning at Samsung Electronics stated, “Our groundbreaking HBM-PIM is the industry’s first programmable PIM solution tailored for diverse AI-driven workloads such as HPC, training and inference. We plan to build upon this breakthrough by further collaborating with AI solution providers for even more advanced PIM-powered applications.”

Rick Stevens, Argonne’s Associate Laboratory Director for Computing, Environment and Life Sciences commented, “I’m delighted to see that Samsung is addressing the memory bandwidth/power challenges for HPC and AI computing. HBM-PIM design has demonstrated impressive performance and power gains on important classes of AI applications, so we look forward to working together to evaluate its performance on additional problems of interest to Argonne National Laboratory.”

Most of today’s computing systems are based on the von Neumann architecture, which uses separate processor and memory units to carry out millions of intricate data processing tasks. This sequential processing approach requires data to constantly move back and forth, resulting in a system-slowing bottleneck especially when handling ever-increasing volumes of data.

Instead, the HBM-PIM brings processing power directly to where the data is stored by placing a DRAM-optimized AI engine inside each memory bank — a storage sub-unit — enabling parallel processing and minimizing data movement. When applied to Samsung’s existing HBM2 Aquabolt solution, the new architecture is able to deliver over twice the system performance while reducing energy consumption by more than 70%. The HBM-PIM also does not require any hardware or software changes, allowing faster integration into existing systems.

Samsung’s paper on the HBM-PIM has been selected for presentation at the renowned International Solid-State Circuits Virtual Conference (ISSCC) held through Feb. 22. Samsung’s HBM-PIM is now being tested inside AI accelerators by leading AI solution partners, with all validations expected to be completed within the first half of this year.