Samsung Electronics Co., the world’s largest memory chip maker, on Tuesday unveiled new solutions for mainstream DRAM modules and mobile memory empowering artificial intelligence (AI) capabilities with hopes to take the lead in bourgeoning AI chip market.
At Hot Chips 33 – a leading next-generation semiconductor conference – held online on Tuesday, Samsung Electronics introduced multiple solutions and cases applied with processing-in-memory (PIM) technology. PIM is a next-generation intelligent semiconductor that converges memory and system chips enabling computing task inside memory.
PIM is regarded as the core in AI innovations. It enables dramatic improvement in memory performance to boost energy efficiency and performance of AI system such as image classification, voice recognition, and machine translation.
In traditional computing method that involves central processing unit and DRAM, CPU brings DRAM data and sends back to DRAM after computing process for storage to process data. A surge in data volume for processing can cause bottleneck, restricting high-performance, high-efficient AI system. PIM technology combines memory chip and AI processor and allows self-computing process without going through CPU to resolve the bottleneck issue.
At the conference, Samsung Electronics unveiled actual system application examples of PIM-enabled High Bandwidth Memory (HBM-PIM), Acceleration DIMM (AXDIMM) loaded with AI engine on DRAM module, and LPDDR5-PIM technology that combines mobile DRAM and PIM.
AXDIMM, a solution that applies AI engine to DRAM module, expands PIM technology unit from chip to module. AXDIMM enhances energy efficiency and accelerates speed as it requires less data movement between CPU and DRAM module. It can be applied to existing system without alteration.
A test on corporate software company SAP showed that AXDIMM offers approximately twice the performance in AI-based recommendation applications and 40 percent decrease in system-wide energy use, the company said.
Samsung Electronics also unveiled LPDDR5-PIM technology that stretches PIM technology to mobile sector. Based on a simulation, LPDDR5-PIM can more than double performance while reducing energy usage by over 60 percent in applications like voice recognition, translation, and chatbot.
At the conference, the tech giant also presented its test result of applying HBM-PIM unveiled in February to actual system. Samsung Electronics said that applying HBM-PIM to U.S. Xilinx Virtex Ultrascale+ AI accelerator delivered 2.5 times greater system performance and more than 60% cut in energy consumption.
Samsung Electronics plans to diversify its PIM product portfolio and partner with various global enterprises to solidify its control over next-generation memory chip ecosystem. It is aiming to shift memory market paradigm with AI and memory integration.
“HBM-PIM is the industry’s first AI-tailored memory solution being tested in customer AI-accelerator systems, demonstrating tremendous commercial potential,” said Kim Nam-sung, senior vice president of DRAM product and technology at Samsung Electronics. “Through standardization of the technology, applications will become numerous, expanding into HBM3 for next-generation supercomputers and AI applications, and even into mobile memory for on-device AI as well as for memory modules used in data centers.”
The AI application sector, meanwhile, that includes metaverse, voice recognition, machine translation, and autonomous driving, has been expanding, leaving room for growth in AI chip sector.
According to Korea Information Society Development Institute, global AI chip market is projected to reach $117.9 billion in 2030, up from $18.45 billion last year.
Samsung Electronics представляет решения для обработки данных внутри модуля памяти, чтобы стать лидером в области искусственного интеллекта
Samsung Electronics Co., крупнейший в мире производитель микросхем памяти, во вторник представил новые решения для основных модулей DRAM и мобильной памяти, расширяющие возможности искусственного интеллекта (AI), в надежде занять лидирующие позиции на растущем рынке AI-микросхем.
На Hot Chips 33, ведущей конференции по полупроводникам нового поколения, которая прошла 24 августа в режиме онлайн, Samsung представил несколько решений и корпусов, в которых используется технология обработки в памяти (PIM), сообщает портал PulseNews. PIM - это интеллектуальный полупроводник нового поколения, который объединяет память и системные микросхемы, позволяя выполнять вычислительные задачи внутри модуля памяти.
PIM считается ядром инноваций в области искусственного интеллекта. Это позволяет значительно улучшить производительность памяти для повышения энергоэффективности и быстродействия AI-систем, например, при классификации изображений, распознавании голоса и машинном переводе.
В традиционном методе вычислений, который включает центральный процессор и DRAM, CPU передаёт данные DRAM и отправляет их обратно в DRAM после вычислительного процесса для хранения для обработки данных. Резкое увеличение объёма данных для обработки может оказаться узким местом, что ограничивает возможности систем искусственного интеллекта. Технология PIM устраняет эту проблему, поскольку сочетает в себе микросхему памяти и AI-процессор, а это позволяет производить самостоятельные вычисления без обращения к центральному процессору (ЦП).
На конференции Samsung Electronics представил примеры реальных системных приложений, таких как High Bandwidth Memory (HBM-PIM) с поддержкой PIM, Acceleration DIMM (AXDIMM) в сочетании с движком AI в модуле DRAM, и технологию LPDDR5-PIM, которая объединяет мобильные DRAM и PIM.
AXDIMM, решение, которое применяет движок AI к модулю DRAM, расширяет технологический блок PIM от чипа к модулю. AXDIMM повышает энергоэффективность и увеличивает скорость, поскольку требует меньшего перемещения данных между ЦП и модулем DRAM. Его можно применять к существующей системе без изменений.
Тестирование корпоративного программного обеспечения компании SAP показало, что AXDIMM обеспечивает примерно вдвое большую производительность в рекомендательных приложениях на основе искусственного интеллекта и на 40% снижает энергопотребление в масштабах всей системы, говорится в сообщении корпорации.
Samsung также представил технологию LPDDR5-PIM, которая позволяет использовать PIM в мобильном секторе. Основываясь на моделировании, LPDDR5-PIM может более чем в 2 раза нарастить производительность при снижении потребления энергии более чем на 60% в таких приложениях, как распознавание голоса, перевод и чат-бот.
На конференции техногигант также обнародовал результаты своих испытаний применения HBM-PIM, представленных в феврале, в реальной системе. Samsung заявил, что применение HBM-PIM к ускорителю Xilinx Virtex Ultrascale + AI в США обеспечило в 2,5 раза более высокую производительность системы и более чем на 60% снизило энергопотребление.
Samsung Electronics планирует диверсифицировать свой портфель продуктов PIM и сотрудничать с различными глобальными предприятиями, чтобы укрепить свой контроль над экосистемой микросхем памяти следующего поколения. Эти усилия направлены на изменение парадигмы рынка памяти с AI и интеграции памяти.
«HBM-PIM - это первое решение в на рынке памяти, адаптированное для AI, которое тестируется в клиентских системах AI-ускорителей и демонстрирует огромный коммерческий потенциал», - сказал Ким Нам Сен, старший вице-президент по продуктам и технологиям DRAM в Samsung Electronics. «Благодаря стандартизации технологии, это найдёт применение в широком диапазоне - от HBM3 для суперкомпьютеров следующего поколения и приложений искусственного интеллекта, до мобильной памяти с AI на компактном персональном устройстве, а также для модулей памяти, используемых в центрах обработки данных».
Сектор приложений AI, который включает в себя зрительное восприятие, распознавание голоса, машинный перевод и автономное вождение, расширяется, оставляя место для дальнейшего роста в секторе AI-чипов.
По данным Корейского института развития информационного общества, прогнозируется, что в 2030 году мировой рынок AI-микросхем достигнет 117,9 миллиарда долларов США по сравнению с 18,45 миллиарда в прошлом году.
