← 回新闻

端侧大模型推理成本继续下探,手机厂商开始预装

多家厂商在新系统里预装本地模型,离线摘要、通话转写成为第一批落地功能。

端侧大模型的推理成本继续下降,多家手机厂商在新系统里预装本地模型,优先落地离线摘要、通话转写和相册搜索。和云端方案相比,本地推理更快,也不依赖网络。

目前的限制主要在内存和功耗:模型常驻会占用一部分运行内存,长时间推理也会带来发热。厂商普遍采用按需加载,只在高频场景常驻小模型。

这条是演示数据,用来确认新闻详情页的版式;接入真实新闻后,正文会由接口提供。

← 回新闻列表 同栏目更多 →