01 - 头条 - 编辑判断

AI推理技术进展

来自 InfoQ

近日，伯克利和MIT合作推出的FreeToken开源MoE推理引擎引发关注。该技术通过动态调度和内存管理，显著提升了稀疏MoE模型的解码速度，使其在边缘AI应用中更具实用性，降低了技术门槛。