预言家采访系列:Paul Brasnett,PowerVR视觉与AI事业部高级研究经理

作者: Benny Har-Even

我们再次为大家带来了预言家采访系列,本次任务是Imagination内部一名富有远见的思想者,他就是Paul Brasnett,PowerVR视觉与AI部分的高级研究经理。在Imagination Paul一共领导三个团队,其中两个研究神经网络加速的最新发展,第三个关注公司的芯片设计。在目前科技最热门的领域,Paul在机器学习方面具有独特的洞察力和见解。

预言家采访系列:Paul Brasnett,PowerVR视觉与AI事业部高级研究经理

首先,Paul,请你向大家介绍你的背景以及你是如何加入Imagination的

我在英国布里斯托大学攻读了工程数据的本科学位,之后我又获取了该学校的计算机视觉博士学位,我的课题专注于视频中对象的跟踪。在我博士毕业后我入职了三菱电机公司,主要在位于英国Surrey的一个研究实验室做一些研究性工作。那时我参与过一系列的产品设计,但我所做的主要工作是图像和视频中对象重复性检测,同时还参与了MPEG-7标准的制定,主要是关于多媒体内容的原始数据分析,因此可以查看图像中包含哪些内容或者为多媒体内容增加某些特性。大约在2011年我加入了Imagination,当时Series6系列GPU正在开发过程中,它是第一款面向计算和图形而设计的PowerVR GPU。

除了图形技术,我关注的另一件事情是我们还能使用GPU做哪些其他工作?这项工作就是要理解工作负载是怎样分配的,我们可否借助算法将它们移植到GPU上来?我们怎样才能够将这些算法实现的更好?我们也尝试参与到GPU的开发工作中,帮助提升GPU各方面的性能——看看我们如何使硬件做得更好。

从那以后,我采用一系列技术进行测试和研究,比如人脸识别、视频处理等,后来我们开始研究我们能够实现哪些任务比如对象追踪和识别等。接下来我们研究GPU或专用硬件用于特定案例的正确方式,比如在嵌入式平台上如何高效的执行对象检测操作。

正是在那个时候,CNN(卷积神经网络)开始流行起来,最初我们一直在研究传统的计算机视觉技术比如HOG和SVM——一种采用梯度表示且支持向量的直方图。

然后我们开始越来越多的研究卷积神经网络,它们在推理精度方面看起来更有前途,比如AlexNet这样的卷积网络能够提供比传统技术更高的精度。然而其中一个问题是计算机的负载看起来非常的高。当时的问题是如果把这些移植到GPU上来,我们应该选择什么规格的GPU才能够实时的运行这些工作负载?这些负载看起来非常的高。

下一个问题是我们如何才能开发卷积神经网络的专用硬件?最终我们实现了PowerVR Series2NX NNA神经网络加速器,并且在去年9月正式发布。

可以说这是近几年来工作的高潮,最初研究GPU然后建立和完善团队的技能和知识储备,最终我们开发出了PowerVR Series2NX。

你是否一直都在致力于专用硬件的开发或者在你的研究过程中你是否意识到专用硬件才是正确的出路?

当我们与客户讨论问题时我们明确了一些性能指标,而且我们意识到在某些情况下GPU也不可能达到每平方毫米性能或每瓦特功耗等性能要求。因此我们觉得有机会采用不同的方式利用GPU来实现一些任务,我们开始围绕架构设计提出一些想法,很快我们就明确如果硬件能够将CNN占用空间优化得更好我们就能够实现更好的解决方案。

为什么CNN处理不能够放在云端来执行?为什么我们需要一个终端设备来实现?

我认为有一系列的原因,这和市场有关。例如,就智能手机而言,我认为在隐私和数据保护方面会有很多要求,将大量的数据从你的手机发送到云端进行处理是不理想的,而在本地设备中进行处理有助于保护用户的隐私。

此外,如果你向云端发送大量的数据,那么无论你在云端使用什么服务都会增加巨大的成本,因此实际上还是在本地进行数据处理方便一些。同样的,如果你家中的智能相机实时监测你的前门,而你不想7天24小时都将视频流传输到云端,因此就需要在设备中进行一些智能化的处理,并且在云端远程处理做一些备份。

对于自动驾驶而言重要的是低延迟,如果你想通过摄像机了解车辆周围的环境,那么涉及的操作反应越快越好。如果你不得不把数据流传输到云端进行处理然后在传递回来,那么对于自动驾驶而言一系列的响应延迟会很高。

预言家采访系列:Paul Brasnett,PowerVR视觉与AI事业部高级研究经理

那么你和你的团队每天都在做哪些工作呢?

实际上保持技术的领先需要付出巨大的努力,在世界范围内对于机器学习和CNN的研究一直都在进行中,跟上最新的研究和发展成果也需要花费大量的时间,但是我们一直都在尝试去理解从某种新的特性或新的训练方式中能够得到哪些好处?真正能够带来些什么?作为一家公司我们一直都关注效率——我们对是十倍成本的增量收益不感兴趣,更确切的说给定一个性能指标,你能够以较低的成本或给定的预算成本实现相同的精度吗?这些才是我们感兴趣的东西。

我们会用一定的时间来理解别人做的内容,同时我们也会有自己的新想法,如果我们想实现某个算法,我们也会试图了解这些对于我们的产品意味着什么。在开发硬件和软件的过程中,我们需要做什么才能够支持这些内容?因此我们也在进行自己的算法研究,并且集成到现有的算法中。这些会有助于实现我们正在开发的硬件和软件的需求。

那么你们是如何影响最终的芯片设计的呢?

除了领导研究团队,我还管理着一个架构团队,他们之间会进行密切的合作,架构设计是在算法深入理解的基础上进行的。通过深入理解也有助于我们关注硬件设计比较重要的部分。如果只是增量的问题那么就不需要在硬件中增加特定的功能。

我们也有来自客户的反馈信息,因此可能会有一些他们要求的特定功能和网络直接引入到产品中,研究团队会与其他团队密切合作理解需求并确定是否真的需要引入特定的网络或者在这些网络上运行哪些应用程序。可能有更好的方法可以帮助客户使用我们提供的硬件更加高效的获得相同的性能。

视觉和AI市场发展如此之快,你们是怎么应对的?

这非常有挑战性,对吧?这是一个发展非常迅速的领域。当开发硬件时我们尝试不再设计单一的解决方案。我的意思是我们不想为一个特定的网络或一个非常特定的要求开发硬件,我们试图实现能够解决一系列相关需求的通用解决方案。我们试图了解和预测在哪里可以增加一些灵活性或者一些选项,这样可以在将来提供更多的功能。

我们不一定要把设计局限在当前的需求上,我们试图看的更远,最终增加的灵活性其实是设计、性能和成本预算之间的权衡。

从神经网络的角度来看现在我们实现的是否是人工智能(AI)一直争论不休,你对此有什么看法?如果不是的话那么我们现在面临的挑战是什么?

我觉得我们现在拥有的还不是真正的AI,我们现在实现的是一些机器学习算法和大量的计算性能。它可能具备一定的人工智能特征,但是我认为现在缺少的基本东西是总结学习的能力,比如可以学习识别一只猫,但是如果出现一只不一样的猫,我们现在的机器学习算法就不一定能够很好的处理了。

从这个意义上讲,这种算法的应用范围太窄了,你可以训练它来识别某个物体,但除此之外它就无法胜任了。我认为这就是我们所面临的挑战,世界范围内的很多工程师都在从事这项研究,但是我们仍然还有很长的一段路要探索。

我们知道,史蒂芬霍金和伊隆马斯克都对AI敲醒了警钟,当我们真正实现人工智能时我们是否会觉得害怕?你对此有何感想?

有些威胁可以用不同的方式来看待, 我在攻读博士期间专注的是传统计算机视觉领域,很多工作都是基于对信号处理的理论理解,只是借助了一点点人工智能来解决当时的问题,你可以开发一个算法,最后你还要对这个算法进行测试。

然而如果你看过去五年时间机器学习领域的发展,我之前所做的工作就已经被机器取代了,这可以被看成是一种威胁,这就像是在超市里顾客自助结账,他们使用机器进行扫描商品然后自己进行打包。这无疑是一种进步,并且效率得到了提升,但是那些自助扫描的机器对于超市的工作人员则是一种威胁,他们会因此而失业。不可避免的是在当今需要人工监管的工作在人工智能时代可能需要人类了。

这就是我对机器学习最初的感觉,它对传统的计算机视觉领域无疑是一种冲击。

另一个例子就是交通运输行业,有数百万辆卡车是由人来驾驶的,但是人类只能工作一定的时间并且成本相对较高。在我看来这个行业是采用自动驾驶技术来提高效率的一个典范。你可以让卡车在道路上连续行驶24小时,并尽可能提高燃油效率,我预计在这种行业会产生大量的失业情况,这只是一个例子。

我猜想另一个威胁就是机器深入并接管我们的世界!我不确定这种情况是否会发生。我认为我们离一般的人工智能程度还有很长的路要探索.

预言家采访系列:Paul Brasnett,PowerVR视觉与AI事业部高级研究经理

嗯,这就让人放心了,你所看到的AI最酷的用途是什么?

最酷的用途?我的回答可能有些书呆子气,但是训练神经网络需要很多的灵感,比如选择正确的参数从而获得正确的数据集合。现在我们正在训练机器学习算法来自动训练机器学习算法,使用机器学习来训练机器学习!我认为这是该行业目前发展的一个方向,而且看起来很酷。

这听起来像是机器自己制造机器?

好吧,也许有一天它们会接管整个世界!但是我认为AI可以让人类做更多更有效的事情,从而减少人类所需要付出的努力。从这个意义上讲,这好比是下一场机械革命。有了机器甚至可以取代十个人,这无疑会推动生产效率的巨大提升,最终会为我们每一个人都带来好的结果。

机器学习、深度学习、AI以及卷积神经网络之间的区别是什么?

我认为AI是一个通用的解决方案,如果你了解维恩图就会清楚AI可以解决很多问题。机器学习是AI领域的一部分,但是目前还有很多功能它不支持,比如归纳总结的能力。深度学习是机器学习领域的一项具体技术,卷积神经网络是深度学习的一个例子,你可以把它看成是一个严格的领域。卷积神经网络最近非常受人们关注,这一领域已经取得了巨大的进步,但是要想实现真正的人工智能还有很长的路要走。

那么你认为AI发展的下一个趋势是什么呢?除了CNN之外下一步会是什么?

好问题,其中一个关键领域我认为有趣的是强化学习,如果你看过自动驾驶汽车,就会发现有很多任务要执行,卷积神经网络帮助你感知周围环境、理解周围的事物以及事物所在的位置——建立一个地图。然而它们并不会告诉你需要采取什么行动——刹车、加速或移动等。它们只是帮助建立关于正在发生的事情的一些信息,然后我们需要强化学习技术从而可以真正了解周围环境的状态,从而让机器帮助我们确定下一步的最佳行动是什么.。

例如DeepMind实现了很多有趣的工作,他们正在研究围棋,这会起到很大的作用,因为这是一种状态判断的问题,你需要决定下一步该怎么走。你可以将其与自动驾驶汽车的情况进行对比,自动驾驶汽车同样处于一个环境中,它本身需要决定下一步该做什么,加速?刹车?左转还是右转?因此强化学习会帮助解决这一系列问题,围绕这个问题会有很多有趣的工作,请大家关注!

然后我再预测一次,以自动驾驶汽车为例——AI不仅仅需要了解你周围的环境,而且还要试着去理解,如果路边有一个行人,他的下一个行为可能是什么?他们是要经过马路还是像要摔倒?这需要AI对未来可能发生的事情做更多的预测,从而更好的指导汽车。

如果我正在开车发现前方有烟,这可能告诉我可能有人刹车严重,或者其他的问题,我会适当调整我的驾驶路线,因为我预计前方会有问题,现在的AI还不具备这样的智力水平。

预言家采访系列:Paul Brasnett,PowerVR视觉与AI事业部高级研究经理

那么你认为我们什么时候能够实现真正的自动驾驶汽车?到那时又会发生哪些事情呢?

几年前有人告诉我,我八岁的儿子可能永远不需要驾照了,因为等他长大可以开车时道路上行驶的都是自动驾驶汽车,所以从现在开始十年后。当我学习开车时,我认为我开的车大概有10年的时间了,如果他在未来十年内学习驾驶,这意味着道路上行驶的还是他当时学习驾驶的车辆——那不是自动驾驶汽车。

有些公司声称到2020年他们会开始生产自动驾驶汽车,但是数量不会很大,而且还会受到一些限制,也许会部署在一些城镇或者某些区域,众所周知它们操作的范围可能非常的有限,因此大家看到的数量也不会很多。

我认为当我们看到大量的自动驾驶汽车时,可能会到本世纪20年代末期,进入本世界30年代你可能会看到自动驾驶被普遍采用,当然我的判断可能是错误的。

对你来说现在AI最激动人心的事情是什么?

我认为最令人兴奋和激动的是这个领域的发展速度,所以不能局限于某个特定问题的领域,在其他方面还有很多不同问题和一系列的工作要去做。采用这项技术的全新应用每天都在涌现。

很多正在做的事情实际上都可以归纳为一系列很细小的操作,所以对于在Imagination工作的我们而言,需要深入理解这些操作然后使其被广泛采用成为可能。我这为这是一个有趣、令人兴奋的领域,而且发展的非常快。

最后一个问题,以你做过的一件事或一个项目为例,到目前为止你最自豪的是什么?

我认为最让我自豪的是我们围绕PowerVR Series2NX NNA所开展的工作,就像我一开始说的那样,这是几年前就已经开始的工作,目前已经在公司内部形成了一个全新的产品线,这是我最自豪的一件事,我们有很多机会可以进入到这个领域,希望这条产品线能够不断的延续下去。

原文链接: https://www.imgtec.com/blog/the-visionary-interview-series-paul-brasnett...

声明:本文为原创文章,转载需注明作者、出处及原文链接,否则,本网站将保留追究其法律责任的权利

最新文章