来源:
科创板日报
端侧 AI 经过两年多的发展,大模型正向更轻量化方向演进。当前,3B 模型正逐步取代 7B 模型,成为端侧 AI 应用的主流选择。
在 2025 vivo 开发者大会上,vivo 发布了专为端侧智能体打造的 3B 多模态推理大模型,该模型具备 128K 长上下文处理能力,极限出词速度超过每秒 200 个 token。OpenAI 也持续布局轻量化,不久前推出的轻量语音模型 GPT-realtime-mini,适用于移动端与边缘设备。
展望未来,手机 AI 与操作系统的深度融合,将为用户打造高度 「个人化」 的服务体验。然而,实现这一愿景也对手机的算力、内存和功耗提出了更高要求。此外,端侧 AI 还需进一步融入日常刚性场景,并解决安全授权等行业标准不完善等问题。
端侧大模型从 7B 走向 3B
vivo AI 全球研究院院长周围在接受 《科创板日报》 采访时表示,今年 vivo 重点聚焦于 3B 模型上进行各种多模态的实现和聚合。相较 13B 和 7B 模型,3B 模型所占用的内存更少,对高端机性能影响更小。
「去年我们做了 13B 和 7B 端侧模型的实现,发现其实只有 7B 勉强能上线,但是 7B 模型在手机上跑得不太理想,因为占的内存比较大。直到今年发现 3B 端侧模型效果不错,我们把内存做到只占 2G,并大幅度增强推理能力,几乎可以用于做意图中控和任务拆解的中台。」
除了 3B 模型外,vivo 还在探索更低功耗的 1B 模型。「3B 的模型在运行时要 750 毫安 (功耗)。而端侧大模型对手机的应用远比我们想象要广得多,需要一个大模型 24 小时都在线,实现对本机的实时监测和记忆,这可以交给 1B 模型。」
周围透露,vivo 正在推动图像识别、声音识别,包括同传、方言识别等全部端侧化,这对于手机内存提出了更高的要求。「端侧化有一个问题,就是平台的算力要够,内存配置要够,至少达到 8G 以上的配置。如果 4G 内存的中低端手机,用户可能用的是云端功能,而云端功能在某种意义上是要消耗大量的成本。」
模型参数量与性能指标如何取得平衡?
一名手机业内人士表示,大模型落地到端侧,最关键的难点在于模型的参数量与性能指标之间的平衡。「手机端的硬件资源非常有限,包括芯片算力、内存都很有限。而手机的功耗也是非常重要的指标。模型参数量越大,就意味着消耗的计算量越大,对功耗也就越高。」
「如何平衡模型效果与手机上的这些体验指标,是一大问题。如果把模型参数量选的非常大,那么计算量就很高,直接带来的问题是速度变慢,用户体验的延迟就会非常久。另外,内存占用也会很大,比如 7B 模型的内存占用可能在 3-4GB 左右,这会导致系统的流畅性会受到一些影响,功耗随之升高,手机掉电非常快,发热也会变严重。」 上述业内人士称。
《科创板日报》 注意到,为了推动 AI 落地,苹果最新发布的 iPhone 17 系列的 Air、Pro、Pro Max 三款机型升级至 12GB,以实现更强大的端侧 AI 支持。
IDC 中国研究经理郭天翔表示,手机厂商这几年已逐渐从最开始的 7B 端侧模型,转换到 3B 模型,原因就在于该量级的模型对算力的要求、功耗、输出速度等可以获得更好的均衡。
AI 与操作系统逐步融合
除了 vivo 外,OPPO、荣耀等厂商也在积极推动端侧 AI 的落地。荣耀在今年 7 月发布的 Magic V5 是搭载了阿里通义大模型和飞猪旅行、高德地图等 AI 智能体手机。
周围认为,端侧 AI 的终局是 Agent(智能体)。vivo 希望进一步深化 AI 和操作系统的融合,深度理解用户个人情景和偏好,创造 「个人化」 服务体验。
vivo AI 产品总经理关岩冰透露,目前正在与高德、百度、支付宝、飞猪等互联网企业在智能体方面开展合作,未来一个月原系统 6(OriginOS 6) 会有大量智能体逐步上线。
不过,智能体在安全授权方面仍存在权责界定不清的问题,尤其在用户隐私保护、数据使用规范以及权限边界划分等方面尚缺乏明确标准,相关行业规范仍有待逐步建立与完善。
「当智能体,特别是手机智能体要做任务的时候,如果只做厂商自己的功能和应用,比如说秀一下是否流畅、调一下亮度、连接一下 Wi-Fi。都没有问题,但是想跨应用,那么安全授权的标准仍有待探讨。我们作为终端厂商,也在积极推动行业标准的建立。」 周围说。
此外,关岩冰也坦言,智能体在响应用户需求方面,尚未能有效解决用户的实际问题。「我们正将资源和精力集中于为用户解决问题的场景上,并持续加大投入。」
郭天翔认为,端侧模型的应用将主要通过 Agent 来体现,但是对于消费者来说使用感知依然不是特别明确,并没有完全融入到日常的刚性使用场景中。他表示,未来手机 AI 将与 OS 完全融合,由一个经过训练的个性化的私人 Agent 作为手机使用者的助手,可以给使用者主动提出建议,执行多重复杂任务。
(科创板日报)
文章转载自东方财富