淘宝MNN开源0.3B手机模型，离线达350token/s

驱动中国11月6日消息，淘宝旗下MNN团队发布并开源MNN-Pocket-0.3B模型，面向手机应用中的任务需求与资源限制，在算力、内存和能耗约束下平衡任务能力、响应速度和持续运行表现。

围绕淘宝等综合型手机应用，团队提出“手机应用原生大模型”的四项设计目标。速度方面，在指定设备与上下文配置下，解码吞吐需超过200token/s，参考高速云端模型服务生成吞吐，以改善本地生成流畅度。

内存方面，在指定测试条件下，峰值内存需低于300MB。手机通常配备8至16GB内存，并由系统与多个应用共同占用；以约500MB模型模块预算为例，将推理峰值控制在300MB以下，可为上下文增长和集成开销留出空间。

功耗方面，在输入512至1024token、输出128token的典型推理负载下，单次推理增量能耗目标不超过参考手机电池能量的万分之一，即100次推理耗能不超过电池总能量1%，以降低高频调用对续航的影响。

能力方面，团队以在指定业务场景达到8B级模型效果为目标，兼顾中英文理解、世界知识、数学与代码推理能力，并强化指令遵循，同时为长上下文和多步骤任务保留扩展空间。

该模型由团队从零设计并训练，参数规模约3亿，重点支持中文与英文。模型结构、词表、训练数据、预训练与后训练方法，以及量化和推理引擎被纳入协同优化，为淘宝业务和开源社区开发者提供任务理解、快速响应、便于适配与集成的模型底座。

实测显示，MNN-Pocket-0.3B在苹果iPhone 18 Pro上通过MNN推理引擎完全离线运行，平均Decode速度约为350token/s。其INT4 MNN部署文件体积为173MB，包含模型权重、分词器、计算图和推理配置。

在iPad Pro M5、Metal后端、512token测试配置下，模型加载与推理期间的峰值Metal驻留内存相对加载前基线增加228MB。同一测试中，Qwen3-0.6B部署文件体积为340MB，峰值内存增量为427MB；MNN-Pocket-0.3B部署体积减少约49%，峰值内存增量减少约47%。

从应用集成角度看，较小部署体积可降低模型下载与更新成本，较低运行内存可为页面、图片、视频等业务模块保留更多空间，减轻应用集成的资源负担。

推理吞吐评估覆盖苹果与Android设备，后端包括Metal、OpenCL和CPU。测试采用MNN 3.6.2、INT4量化及统一运行设置，每组配置预热一次、测量五次，取吞吐中位数，Prefill与Decode分别测量。

在iPad Pro M5、Metal后端、512token测试配置下，MNN-Pocket-0.3B的Prefill吞吐达到8721token/s，Decode吞吐达到466token/s，约为同条件下Qwen3-0.6B 286token/s的1.63倍。在Snapdragon 8 Gen 5的CPU后端，Decode吞吐达到251token/s。

面向手机应用原生大模型，团队将峰值内存低于300MB、解码吞吐高于200token/s作为架构选型目标，并围绕该目标构建覆盖约50M至1.3B参数的稠密模型配置。