Marvell公司提出了一种新方案，旨在从GPU中分离内存，通过光纤连接形成一个可共享的32TB内存池，供多达16块GPU使用。这一设计使得运算能力的提升可仅通过增加内存来实现，而无需全新购买GPU，预计将显著降低资本支出。英伟达对于这一变化并未置身事外，他们一方面对Marvell进行投资，另一方面同步研发自己的解决方案。
在现代大模型应用中，GPU是一种重要的计算单元，而高速内存则负责存储数据。这两者的紧密结合导致了内存需求的高成本和严重依赖。在传统架构中，为了增加内存，用户通常需要再次购买GPU，这在短缺情况下更是让成本飙升。此外，大模型在处理长文本时产生的工作记忆也不断增长，容纳这些数据成为新挑战。
Marvell的创新是利用光纤技术将内存集中化，为多个处理器提供共享，理论上采用的光子织物内存模块将各个内存单元连接成一个高效的共享池。该模块允许多达16个处理器使用总共32TB的DDR5及少量HBM3e内存。通过这一方式，可以显著降低系统的插槽需求，提升内存的独立性，从而节省成本。
然而，这一构想尚处于早期阶段，距离实际应用还有很长的路要走。同时，当前的内存短缺可能影响其实施效果，且相关省钱承诺缺乏实际数据支持。此外，Marvell的创新与Celestial AI早期展示的方案相似，存在一定的市场竞争压力，尤其是在高标价的市场环境中。
英伟达对此的反应是多方面的，除了大额投资Marvell外，他们也在积极开发自有解决方案，以应对不断变化的市场需求，如推出大容量内存和专用存储层等创新产品。这一市场竞争将成为未来AI基础设施的重要一环。
发表评论