作为现代信息技术的基础和核心，计算技术的发展目前已步入创新变革期，对产业能级跃升和经济社会发展的驱动作用日益凸显。2021年9月17-18日，由世界计算机大会“蝶变”而来的世界计算大会在湖南长沙举行，来自全球计算领域的“最强大脑”齐聚星城共商“计算”大事。
Imagination Technologies作为全球图形处理和人工智能（AI）计算领域领先的半导体知识产权（IP）供应商，长期致力于计算技术的研发，并拥有大量的相关专利和备受业界赞誉的先进产品。本次大会Imagination也受邀参加，公司AI研发技术负责人James Imber在“硬件技术与集成电路”主题峰会上发表了题为“适用于高性能推理的精简操作集计算（ROSC）”的演讲。
ROSC是Imagination为了充分发挥其神经网络加速器（NNA）功能而打造的灵活、高效的神经网络推理新范式。简单而言，ROSC类似用于NNA的精简指令集计算（RISC）。提到Imagination的NNA，业内很多人应该已经了解甚至熟悉，它是专门用于神经网络推理的处理器，相比其他运行神经网络的方案，NNA的效率要高出几个数量级。
James Imber在演讲中列举了两方面的数据来说明NNA的高效率：“首先是计算密度，即在单位面积上每秒可以进行多少次运算，以60 nm制造工艺下的3NX NNA为例，其可实现每平方毫米面积上每秒1.6万亿次运算。其次是功率效率， Imagination将最大限度地降低功耗视为一项关键考量因素，我们的NNA能够实现每瓦每秒4.1万亿次运算。”
针对高度优化的固定功能构建的NNA可以很好地满足网络的绝大多数计算需求，但是也存在一些相对不常见的运算无法处理，如softmax、argmax、3D卷积等，虽然这些运算通常只占计算需求的一小部分，但是也需要一个好的方法来进行处理。一些常见的解决方案，如为部分或全部运算添加固定功能硬件或使用高度可编程的硬件从效率角度看并不可取，因此Imagination开发了ROSC技术来解决这一问题。
ROSC提供了一种更简单的方式，即复用既有的固定功能硬件来支持广泛的运算类型。ROSC可以通过配置复杂的模块来处理许多简单的运算，例如，可配置卷积引擎来处理众多类型的运算。这里的关键因素在于将复杂性和可配置性结合起来，从而实现对各种运算的支持。
大家都很熟悉RISC范式，其低层级的运算有助于更大程度的重用。在CPU中，RISC占绝对主导地位。然而，对于高度并行的张量处理器，规则是非常不同的，这也是Imagination推出ROSC的原因。“ROSC可以将NNA的灵活性远远扩展至其主要应用之外，它为NNA带来了 RISC 的许多优点，例如操作重用、通用性以及将复杂性转移至编译器上，而且无需引入新的硬件。”James Imber介绍道。
演讲最后，James Imber还以softmax和3D卷积运算为例，介绍了ROSC如何处理这些运算，并介绍了Imagination如何通过创新的张量分块技术来解决ROSC生成的图中运算和中间数据张量较多的问题，从而使整个解决方案更加完善。
