Nvidia мало возможностей обычной памяти HBM, и она разработала собственный вариант. Память NVHBM включает контроллер внутри кристалла
Компания Nvidia, заработавшая за квартал почти 100 млрд долларов, сама разработала высокоскоростную память для ИИ-ускорителей. Память называется NVHBM и по сравнению с HBM4E предлагает на 30% большую пропускную способность и на 15% меньшее энергопотребление.
Обычно он установлен в вычислительном
Судя по описанию и названию, это не полностью новая архитектура памяти, а изменённая HBM. В традиционных вариантах HBM контроллер памяти размещается на кристалле XPU, занимая ценную площадь кристалла, которая могла бы быть выделена под вычисления. NVHBM интегрирует собственный контроллер памяти в базовый кристалл HBM.
Фото Nvidia
Как сказано в пресс-релизе, благодаря интеграции контроллера памяти в 3D-стек HBM, технология NVHBM обеспечивает до 30% большую пропускную способность памяти и на 15% меньшее энергопотребление HBM, а также освобождает до 25% больше площади на вычислительном кристалле по сравнению со стандартной HBM4E.
Всё это создано для расширения своей фирменной технологии NVLink Fusion, которую компания ранее сделала доступной для сторонних клиентов. Судя по всему, новая память будет доступна только тем компаниям, которые используют NVLink Fusion. В пресс-релизе сказано, что первой новую память будет использовать подразделение Annapurna Labs компании Amazon.