大模型端侧部署激战！GPGPU创企亮出AI加速卡，小体积跑70亿参数大模型

从这一加速卡出发，芯东西与芯动力创始人、CEO李原进行了深入交流，探讨了大模型产业发展至今产生的显著变化，以及大模型在端侧部署过程中，芯动力科技在其中扮演的角色以及手持的杀手锏是什么。01.体积小、性能强、功耗低端侧跑大模型三大关键AI PC已经成为大模型落地端侧设备的一个重要载体。从去年年底至今，AI PC的热潮正在涌起。前有英特尔启动AI PC加速计划、高通推出专为AI研发的PC芯片骁龙X Rlite、上周英伟达发布全新一代RTX 500和1000显卡，支持笔记本电脑等端侧设备上运行生成式AI应用……根据市研机构IDC发布的最新报告，预估AI PC出货量2024年逼近5000万台，到2027年将增长到1.67亿台，占全球PC总出货量的60%左右。AI PC这一新物种正在加速大模型的规模化落地。与此同时，拥有庞大参数规模的大模型也对端侧设备可承载的算力提出了更高的需求。在端侧往往只有一个独立设备。以PC为例，作为人们日常生活、工作的常用设备，其体积并不大且足够轻便，因此需要AI加速卡足够小且不会因体积牺牲性能上的优势。以M.2加速卡的形式进入AI PC的市场就是很有优势的产品形态。可以看到，当下大模型的发展路线不再唯参数论，越来越多参数规模小性能强大的模型出现，如开源的Llama 2模型系列参数在70亿到700亿不等，为大模型在端侧的落地提供了机会。即便如此，大模型想要成功部署在端侧对于芯片玩家而言仍然具有挑战，需要其突破端侧设备有限的计算和存储能力，因此芯片玩家亟需找到芯片体积小与性能强大的平衡点。李原谈道，端侧设备还有一大特点是，GPU是其最主要的元件。这背后的风险在于，企业全部围绕GPU来做设备，就会造成一旦产品的开发周期变长，其未来的开发路线会受到一定限制。由于边缘设备上接口的可选择性不多，很多设备需要针对不同的芯片进行接口定制，企业就需要承担接口受限的风险。这些新的变化及需求为这家GPGPU创企带来了新的机遇。02.已适配Llama 2创新封装技术兼顾体积与性能优势芯动力科技的AzureBlade L系列M.2加速卡，就是面对这一市场变化的最佳解决方案之一。M.2加速卡搭载了4个DDR内存，总容量达到16GB，除了支持传统的视觉网络，如YOLO等，现在更已经实现了与Llama 2、Stable Diffusion等模型的适配。李原解释道，M.2加速卡目前可以支持70亿、130亿参数规模的Llama 2模型，以及最多可以支持300亿。目前，70亿参数规模的Llama 2在M.2加速卡上的计算速度可达到十几tokens每秒。正与当下端侧的玩家承接大模型能力的核心痛点相对应，M.2加速卡的优势正是体积小、性能强，功耗低。李原谈道，一般的GPU,NPU如果要处理大模型，因为算力要求高、功耗大，芯片面积也会比较大，很难集成在端侧设备狭小的空间内。M.2加速卡的大小仅为80mmx22mm，刚好能做到这一点。达到这一优势的关键在于，芯动力科技为M.2加速卡集成了一颗芯片——AE7100，这颗芯片以17mmx17mm的面积实现了32 TOPs的算力与60GB/s的内存带宽。

为了打造这颗足够薄且小的芯片，芯动力科技研发了一种创新的封装方案。他们一开始就在这个方向布局，去掉了芯片中的ABF材料，在无基板的情况下制造完成了芯片，还能满足其散热需求。“这也是我们第一次尝试这一封装工艺，并打造出了这颗业界最小、最薄的GPU。”李原说。M.2加速卡兼顾了体积与性能优势。由于端侧设备的接口有限，芯动力科技为M.2加速卡选择了更为普及的闪存硬盘接口，这种接口已经普遍存在于PC等设备中，因此更容易被企业所接受，无需针对芯片进行接口定制就能快速实现相应的功能。目前已经有诸多客户注意到了M.2加速卡，芯动力科技M.2加速卡的通用接口可以帮助企业规避定制风险，同时为其适配市面上的不同产品扩大可选择性。与此同时，这一加速卡采用完全可编程设计，兼容CUDA+ONNX，可以广泛应用于AI PC、机器视觉、泛安防、内容过滤等领域。03.“六边形战士”处理器为支撑M.2加速卡已出货在当下大模型逐渐迈向端侧设备、AI PC等新物种的热潮初现，支撑芯动力科技能够迅速推出创新的M.2加速卡，其关键基石在于——可重构并行处理器架构（RPP）。这正是M.2加速卡的核心AE7100背后的杀手锏。