Samsung разрабатывает первую в отрасли память с высокой пропускной способностью и возможностями для AI-вычислений

Samsung Electronics объявляет о разработке первой в отрасли памяти с высокой пропускной способностью (HBM), интегрированной с вычислительной мощностью искусственного интеллекта (AI) —HBM-PIM. Новая архитектура обработки (PIM) позволяет использовать возможности AI для ускорения обработки больших объёмов данных в ЦОД, систем высокопроизводительных вычислений (HPC) и при использовании мобильных приложений с поддержкой искусственного интеллекта.

«Инновационная память HBM-PIM — первое в отрасли программируемое решение PIM, адаптированное для задач различных уровней сложности с использованием AI, таких как высокопроизводительные вычисления, обучение и логические процессы. Мы планируем развивать эту технологию за счёт дальнейшего сотрудничества с поставщиками AI-решений, чтобы создавать ещё более совершенные продукты на базе PIM», — отметил Квангил Парк, старший вице-президент по планированию продуктов памяти в Samsung Electronics.

«Я рад видеть, что Samsung решает проблемы пропускной способности и большого энергопотребления памяти для высокопроизводительных вычислений и искусственного интеллекта. Конструкция HBM-PIM продемонстрировала впечатляющую производительность и прирост эффективности при работе с важными типами AI-вычислений, поэтому мы с нетерпением ждём возможности оценить её способность решать дополнительные задачи, представляющие интерес для Аргоннской национальной лаборатории», — прокомментировал Рик Стивенс, заместитель директора Аргоннской национальной лаборатории Министерства энергетики США по вычислениям, окружающей среде и естественным наукам о жизни.

Большинство современных вычислительных систем основаны на архитектуре фон Неймана, использующей отдельные блоки процессора и памяти для выполнения миллионов сложных задач при обработке данных. Такой подход к последовательной обработке требует, чтобы данные постоянно перемещались туда и обратно, что приводит к замедлению работы системы, особенно при обработке постоянно растущих объёмов информации.

Вместо этого HBM-PIM передаёт вычислительную мощность непосредственно туда, где хранятся данные, поскольку оптимизированный для DRAM AI-движок помещён в каждый банк памяти (подблок хранения), обеспечивая параллельную обработку и минимизируя перемещение данных. С решением Samsung HBM2 Aquabolt новая архитектура способна вдвое повысить производительность системы при снижении энергопотребления более чем на 70%. HBM-PIM также не требует каких-либо изменений в аппаратном или программном обеспечении, что позволяет ускорить её интеграцию в существующие системы.

Документ Samsung о HBM-PIM будет представлен на Международной конференции по твердотельным схемам (ISSCC) 22 февраля. В настоящее время память Samsung HBM-PIM тестируется ведущими партнёрами по AI-решениям в ускорителях искусственного интеллекта. Ожидается, что эта работа будет завершена в первой половине 2021 года.

Samsung Develops Industry’s First High Bandwidth Memory with AI Processing Power

Samsung Electronics, the world leader in advanced memory technology, today announced that it has developed the industry’s first High Bandwidth Memory (HBM) integrated with artificial intelligence (AI) processing power — the HBM-PIM. The new processing-in-memory (PIM) architecture brings powerful AI computing capabilities inside high-performance memory, to accelerate large-scale processing in data centers, high performance computing (HPC) systems and AI-enabled mobile applications.

Kwangil Park, senior vice president of Memory Product Planning at Samsung Electronics stated, “Our groundbreaking HBM-PIM is the industry’s first programmable PIM solution tailored for diverse AI-driven workloads such as HPC, training and inference. We plan to build upon this breakthrough by further collaborating with AI solution providers for even more advanced PIM-powered applications.”

Rick Stevens, Argonne’s Associate Laboratory Director for Computing, Environment and Life Sciences commented, “I’m delighted to see that Samsung is addressing the memory bandwidth/power challenges for HPC and AI computing. HBM-PIM design has demonstrated impressive performance and power gains on important classes of AI applications, so we look forward to working together to evaluate its performance on additional problems of interest to Argonne National Laboratory.”

Most of today’s computing systems are based on the von Neumann architecture, which uses separate processor and memory units to carry out millions of intricate data processing tasks. This sequential processing approach requires data to constantly move back and forth, resulting in a system-slowing bottleneck especially when handling ever-increasing volumes of data.

Instead, the HBM-PIM brings processing power directly to where the data is stored by placing a DRAM-optimized AI engine inside each memory bank — a storage sub-unit — enabling parallel processing and minimizing data movement. When applied to Samsung’s existing HBM2 Aquabolt solution, the new architecture is able to deliver over twice the system performance while reducing energy consumption by more than 70%. The HBM-PIM also does not require any hardware or software changes, allowing faster integration into existing systems.

Samsung’s paper on the HBM-PIM has been selected for presentation at the renowned International Solid-State Circuits Virtual Conference (ISSCC) held through Feb. 22. Samsung’s HBM-PIM is now being tested inside AI accelerators by leading AI solution partners, with all validations expected to be completed within the first half of this year.

Контрактный производитель чипов Samsung Foundry объявил о совместной разработке с китайской Baidu в области искусственного интеллекта

Построенный на базе 14-нм техпроцесса и технологии упаковки I-CubeTM от Samsung, процессор Baidu KUNLUN призван расширить экосистему искусственного интеллекта и трансформировать пользовательский опыт

Компания Baidu, Inc., крупнейшая китайская поисковая система, и Samsung Electronics, мировой лидер в области передовых полупроводниковых технологий, объявляют о создании первого ускорителя искусственного интеллекта – процессора Baidu KUNLUN, который предназначен для работы в самых различных платформах, от облака до периферии. Партнёры готовы запустить его в массовое производство уже в начале следующего года.
В основе чипа Baidu KUNLUN лежит передовая разработка Baidu XPU – собственная архитектура нейронных процессоров для облачных и граничных вычислений, в нём используется 14-нм техпроцесс и технология пакетирования I-Cube™ от Samsung.
Новый процессор обеспечивает пропускную способность памяти на уровне 512 гигабайт в секунду (Гб/с) и позволяет осуществлять до 260 тераопераций в секунду (TOPS) при энергопотреблении 150Вт. Кроме того, в чипе поддерживается Ernie, предварительно обученная нейронная модель для обработки данных на естественном языке, которая осуществляет построение логических выводов втрое быстрее, чем традиционная модель ускорения GPU / FPGA.
Благодаря большой вычислительной мощности и низкому энергопотреблению новый процессор позволит Baidu с высокой эффективностью выполнять самые различные задачи, в том числе запускать масштабные рабочие нагрузки с использованием искусственного интеллекта, например, ранжировать поисковые результаты, распознавать речь, изображения и естественные языки, а также разрабатывать системы автономного вождения и реализовывать платформы глубокого обучения, такие как PaddlePaddle.
В рамках пилотного сотрудничества Baidu предоставит свои передовые платформы искусственного интеллекта для обеспечения максимальной производительности, а Samsung запустит производство на своих полупроводниковых фабриках процессоров для высокопроизводительных вычислений (HPC), предназначенных для работы в облаке и на периферии.
«Мы рады оказаться в числе лидеров индустрии высокопроизводительных вычислений вместе с Samsung Foundry, – говорит Оуянг Цзянь (OuYang Jian), ведущий специалист по архитекторе полупроводников в Baidu. – Baidu KUNLUN – это чрезвычайно сложный проект. Он не только обеспечивает высокий уровень надёжности и производительности, но и задействует самые передовые технологии в полупроводниковой отрасли. Благодаря инновационным технологическим процессам Samsung и высоким компетенциям специалистов, работающих на полупроводниковых фабриках корпорации, мы смогли достичь нашей цели и даже превзойти её, предложив более качественный пользовательский опыт при работе с искусственным интеллектом».
«Проект Baidu KUNLUN представляет собой важную веху для Samsung Foundry, поскольку теперь мы расширяем сферу нашей деятельности и производим не только микросхемы для мобильных устройств, но и процессоры для центров обработки данных, разрабатывая и запуская в массовое производство чипы для ускорения задач искусственного интеллекта. Samsung предоставит комплексные решения для всего цикла полупроводникового производства, начиная с оказания помощи в проектировании чипов и заканчивая передовыми техпроцессами, такими как 5LPE, 4LPE, а также технологией 2,5D упаковки», – говорит Райан Ли (Ryan Lee), вице-президент по маркетингу полупроводниковых решений Samsung Electronics.
Поскольку в различных приложениях, таких как рабочие нагрузки искусственного интеллекта или HPC-вычисления, постоянно требуется более высокая производительность, особую актуальность сегодня приобретают технологии пакетирования (chip integration technology). Представленная Samsung технология интеграции I-Cube™, соединяющая логический чип и память с высокой пропускной способностью (HBM2) с подложкой (interposer), позволяет добиться ещё более высокой плотности и пропускной способности при минимальном размере за счёт использования дифференцированных решений Samsung.
По сравнению с предыдущими разработками новые решения позволяют значительно увеличить производительность процессора и обеспечивают прирост вычислительной мощности / целостности сигнала более чем на 50%. Считается, что внедрение I-CubeTM ознаменует начало новой эпохи на рынке гетерогенных вычислений. Кроме того, Samsung разрабатывает более совершенные технологии пакетирования, такие как технологию RDL-подложки (redistribution layers), а также интегрированные корпуса с 4x и 8x HBM памяти.

Baidu and Samsung Electronics Ready for Production of Leading-Edge AI Chip for Early Next Year

Designed based on Samsung’s 14nm process and I-Cube TM package technology, 
Baidu KUNLUN chip to expand AI ecosystem and transform the user experience

Baidu, a leading Chinese-language Internet search provider, and Samsung Electronics, a world leader in advanced semiconductor technology, today announced that Baidu’s first cloud-to-edge AI accelerator, Baidu KUNLUN, has completed its development and will be mass-produced early next year.
Baidu KUNLUN chip is built on the company’s advanced XPU, a home-grown neural processor architecture for cloud, edge, and AI, as well as Samsung’s 14-nanometer (nm) process technology with its I-Cube™ (Interposer-Cube) package solution.
The chip offers 512 gigabytes per second (GBps) memory bandwidth and supplies up to 260 Tera operations per second (TOPS) at 150 watts. In addition, the new chip allows Ernie, a pre-training model for natural language processing, to infer three times faster than the conventional GPU/FPGA-accelerating model.
Leveraging the chip’s limit-pushing computing power and power efficiency, Baidu can effectively support a wide variety of functions including large-scale AI workloads, such as search ranking, speech recognition, image processing, natural language processing, autonomous driving, and deep learning platforms like PaddlePaddle.
Through the first foundry cooperation between the two companies, Baidu will provide advanced AI platforms for maximizing AI performance, and Samsung will expand its foundry business into high performance computing (HPC) chips that are designed for cloud and edge computing.
“We are excited to lead the HPC industry together with Samsung Foundry,” said OuYang Jian, Distinguished Architect of Baidu. “Baidu KUNLUN is a very challenging project since it requires not only a high level of reliability and performance at the same time, but is also a compilation of the most advanced technologies in the semiconductor industry. Thanks to Samsung’s state of the art process technologies and competent foundry services, we were able to meet and surpass our goal to offer superior AI user experience. ”
“We are excited to start a new foundry service for Baidu using our 14nm process technology,” said Ryan Lee, vice president of Foundry Marketing at Samsung Electronics. “Baidu KUNLUN is an important milestone for Samsung Foundry as we’re expanding our business area beyond mobile to datacenter applications by developing and mass-producing AI chips. Samsung will provide comprehensive foundry solutions from design support to cutting-edge manufacturing technologies, such as 5LPE, 4LPE, as well as 2.5D packaging.”
As higher performance is required in diverse applications such as AI and HPC, chip integration technology is becoming more and more important. Samsung’s I-Cube™ technology, which connects a logic chip and high bandwidth memory (HBM) 2 with an interposer, provides higher density/ bandwidth on minimum size by utilizing Samsung’s differentiated solutions.
Compared to previous technology, these solutions maximize product performance with more than 50% improved power/signal integrity. It is anticipated that I-Cube™ technology will mark a new epoch in the heterogeneous computing market. Samsung is also developing more advanced packaging technologies, such as redistribution layers (RDL) interposer and 4x, 8x HBM integrated package.