Qualcomm и AMD добрались до ОЗУ в формате SOCAMM2

По сообщениям отраслевых источников, Qualcomm и AMD рассматривают возможность интеграции памяти SOCAMM2 в свои линейки ИИ-продуктов, чтобы увеличить объём и скорость работы памяти. После появления процессора NVIDIA Vera, который использует LPDDR5X в форм-факторе SOCAMM и обеспечивает пропускную способность памяти до 1,2 ТБ/сек при поддержке до 1,5 ТБ LPDDR5X, Qualcomm и AMD хотят пойти по схожему пути для создания высокоскоростных и ёмких ИИ-систем. Таким системам необходима быстрая память, расположенная максимально близко к ИИ-ускорителям, и SOCAMM может эффективно дополнять большой объём HBM-памяти, установленной на самих ускорителях. Она выступает в роли быстрого пула памяти с достаточной ёмкостью, позволяя хранить целые модели целиком в оперативной памяти и снижать необходимость обращения к SSD-накопителям.

Подход NVIDIA с SOCAMM предполагает размещение вокруг процессора сразу нескольких модулей SOCAMM, и именно такую схему, как ожидается, Qualcomm и AMD могут применить в своих ИИ-решениях. В случае AMD первыми кандидатами на подобную интеграцию могут стать ускорители Instinct MI в связке с процессорами EPYC, либо компания может пойти ещё дальше и разработать полностью новую систему. Qualcomm уже предлагает ИИ-решения вроде ускорителей инференса AI200 и AI250, которые оснащаются до 768 ГБ LPDDR5 на одну карту. В перспективе они также могут получить поддержку SOCAMM, что позволит расширять память по стандарту SOCAMM вместо распайки отдельных чипов прямо на плате.