Imagination出席2020中关村论坛,领先AI技术助力边缘推理应用加快发展

Imagination出席2020中关村论坛,领先AI技术助力边缘推理应用加快发展

9月17-19日,2020中关村论坛在北京举行。为期三天的论坛上,来自全球数百位全球产学研界的大咖共聚一堂,围绕“合作创新·共迎挑战”这一主题,展开了全面的思想碰撞和交流分享。Imagination Technologies受邀出席本次论坛,公司高管Andrew Grant在9月18日由旷视主办的“人工智能开源开放与生产力促进论坛”上发表主题演讲。

人工智能(AI)作为当前最热门的科技话题之一,得到了半导体、工业、医疗、消费等几乎所有领域的关注,Imagination也不例外,一直以来都在不断加大对AI领域的投入,并且推出了可支持多种AI应用的图形处理器(GPU)和神经网络加速器(NNA)知识产权(IP)产品,以及AI协同(AI Synergy)等创新性AI支持技术。

Imagination出席2020中关村论坛,领先AI技术助力边缘推理应用加快发展
Imagination高管Andrew Grant发表演讲

由于无法亲自来到大会现场,Imagination高管Andrew Grant以视频的方式,为参会者带来了“在边缘侧神经网络处理器IP中使用开源的AI框架”的主题分享。分享中,他首先介绍了边缘侧推理的发展趋势和典型应用,然后阐释了Imagination的NNA和GPU如何支持边缘推理应用及各种开源AI框架。

Andrew Grant说道:“根据ABI Research的预测,随着越来越多应用案例的实现,AI芯片的销售正在持续增长,尤其是在边缘AI推理方面。边缘侧推理从根本上承担了以前仅适用于云的工作负载,现在可以在嵌入式设备上运行AI计算,这为移动、工业、安全、物联网和汽车等领域的各类应用带来了新的机遇,例如面部识别/验证、零售自助结账、机场旅客出入管理、智能工厂、先进驾驶辅助系统(ADAS)和自动驾驶等应用。”

Imagination出席2020中关村论坛,领先AI技术助力边缘推理应用加快发展
边缘AI推理为各类应用带来了新的机遇

关于Imagination的NNA和GPU如何支持边缘侧推理,Andrew Grant作了重点讲解。他表示:“对于AI 边缘推理工作负载,灵活、可编程的并行流水线式GPU或GPGPU是非常理想的,而超快速的NNA则可以提供进一步增强的性能,根据工作量的不同,NNA可以提供比CPU快10-100倍的处理速度,这是数量级上的差距。”

Imagination出席2020中关村论坛,领先AI技术助力边缘推理应用加快发展
Imagination的NNA拥有众多优异特性

Imagination的NNA具有4-16位的可变位宽度,使用动态定点数据类型,可以支持用户对精度进行优化;它可以为Android NN提供过滤器目数选择,也可以为Tensorflow Lite带来兼容性和更好的量化特性。总体来说,NNA具有很高的PPA(性能、功耗、面积)效率,可以扩展并且支持多实例。

Imagination的GPU拥有强大的多任务并行处理能力,利用Hyperlane技术,GPU可以同时运行8个独立的工作负载,这意味着可以执行不同的图形处理或计算任务。此外,Hyperlane还支持Imagination创新性的AI协同技术,可以利用GPU的备用资源去配合NNA进行AI计算。

Imagination出席2020中关村论坛,领先AI技术助力边缘推理应用加快发展
用户可以通过IMG DNN API同时对GPU和NNA进行优化

Andrew Grant还对Imagination如何支持开源AI框架进行了介绍:“Imagination非常欢迎开源社区,并希望支持开发人员更轻松地将其模型转移至边缘侧。大家知道,基于各种典型网络的任务应用,可以在PyTorch、Tensorflow、PaddlePaddle等不同框架下实现,再利用ONNX等交换环境导出模型,就可以在边缘侧进行部署。而Imagination提供了一个组合式的DNN API,这样只需要通过一个API,用户的网络就可以同时针对GPU和NNA进行优化。无论用户使用哪种框架或模型,我们都可以支持其进行部署,从而提高效率,加快上市速度。”

最新文章