在 E 系列上使用 llama.cpp 和 千问3.5 运行 OpenCode
demi 在 周四, 10/08/2026 - 14:01 提交
随着边缘 AI 从单次提示演变为持久化、会使用工具的助手,这种灵活性与加速能力的结合变得越来越重要。我们还计划将开发的优化方案回流到 llama.cpp 中,以便更广泛的社区能够从这些性能优化中受益,并在各个平台上在此基础上进行扩展。

随着边缘 AI 从单次提示演变为持久化、会使用工具的助手,这种灵活性与加速能力的结合变得越来越重要。我们还计划将开发的优化方案回流到 llama.cpp 中,以便更广泛的社区能够从这些性能优化中受益,并在各个平台上在此基础上进行扩展。

驾驭边缘人工智能领域需要工程团队转变思维模式。成功不再仅仅取决于最大化理论峰值计算能力,而是要在芯片寿命和软件快速迭代之间取得平衡。

Imagination没有因为AI的到来而弱化GPU,反而进一步强化“GPU-First”战略:把矩阵计算、低精度AI、神经渲染等能力更深地融入GPU架构,希望让GPU从传统的图形处理器,进一步成为一个在端侧能够同时承载图形、通用计算和AI的可编程计算中心。

在边缘侧,没有无限的功耗预算,也没有无限的带宽冗余。谁能用更少的资源做更多的事,谁就能在端侧AI的长跑中胜出。E系列的发布,正是Imagination对这一逻辑的极致践行……

本文与ST专家Giuseppe Desoli探讨了以内存为中心的芯片设计、存内计算,以及在人工智能真正融入微控制器、传感器或机器人灵巧手之前,芯片硬件层面需要做出哪些方面的改变。

边缘AI能力在设备市场上并非均匀分布。不同档次的NPU性能差异显著,而这种差异决定了设备能支撑哪些边缘AI工作负载——以及支撑到什么程度。

如果边缘人工智能加速发展,这是否会降低以人工智能为中心的数据中心的重要性?

Imagination提出了一种新颖的方法,可在不同数值格式之间扩展算术性能。新款E系列GPU中采用的多精度点积单元,能够加速上述所有数值格式的矩阵乘法运算。

随着AI进入医疗、教育、制造、金融、企业服务以及个人助手等更多真实应用场景,一个新的问题逐渐浮现:仅依赖部署前训练获得的知识,已经难以满足长期、复杂且个体化的应用需求。

Imagination深耕并行处理架构近40年,Rob Fisher与我们深入探讨了Imagination在芯片架构层面的底层创新、软件生态的破局之道,以及在汽车与具身智能领域的最新布局。