CNN

看得「深」、看得「清」—— 深度学习在图像超清化的应用

作者:张雨石

日复一日的人像临摹练习使得画家能够仅凭几个关键特征画出完整的人脸。同样地,我们希望机器能够通过低清图像有限的图像信息,推断出图像对应的高清细节,这就需要算法能够像画家一样“理解”图像内容。至此,传统的规则算法不堪重负,新兴的深度学习照耀着图像超清化的星空。

看得「深」、看得「清」—— 深度学习在图像超清化的应用
图1. 最新的Pixel递归网络在图像超清化上的应用。左图为低清图像,右图为其对应的高清图像,中间为算法生成结果。这是4倍超清问题,即将边长扩大为原来的4倍。

得益于硬件的迅猛发展,短短几年间,手机已更新了数代,老手机拍下的照片在大分辨率的屏幕上变得模糊起来。同样地,图像分辨率的提升使得网络带宽的压力骤增。如此,图像超清化算法就有了用武之地。

CNN超参数优化和可视化技巧详解

在深度学习中,有许多不同的深度网络结构,包括卷积神经网络(CNN或convnet)、长短期记忆网络(LSTM)和生成对抗网络(GAN)等。

在计算机视觉领域,对卷积神经网络(简称为CNN)的研究和应用都取得了显著的成果。CNN网络最初的诞生收到了动物视觉神经机制的启发,目前已成功用于机器视觉等领域中。

技术博客Towards Data Science最近发布了一篇文章,作者Suki Lau。文章讨论了在卷积神经网络中,该如何调整超参数以及可视化卷积层。

为什么用卷积神经网络?

首先,我们想要计算机具有什么能力呢?

当我们看到一只猫跳上窗台或在沙发上睡觉时,我们的潜意识会认出它是一只猫。

我们希望计算机也能完成这项任务,即将图像输入后,找出其独有的特征,最终输出该图像的类别信息。

卷积神经网络可以完成这项任务。

何为卷积神经网络?

先谈定义,卷积神经网络是一种特殊的神经网络,其中至少包含一个卷积层。在典型的CNN网络结构中,输入一张图像,经由一系列卷积层、非线性激活层、池化层和全连接层后,可输出相应的类别标签。

卷积神经网络的特别之处在于加入了卷积层。

如何理解空洞卷积(dilated convolution)?

来源:知乎 作者:谭旭

简单讨论下dilated conv,中文可以叫做空洞卷积或者扩张卷积。首先介绍一下dilated conv诞生背景[4],再解释dilated conv操作本身,以及应用。

首先是诞生背景,在图像分割领域,图像输入到CNN(典型的网络比如FCN[3])中,FCN先像传统的CNN那样对图像做卷积再pooling,降低图像尺寸的同时增大感受野,但是由于图像分割预测是pixel-wise的输出,所以要将pooling后较小的图像尺寸upsampling到原始的图像尺寸进行预测(upsampling一般采用deconv反卷积操作,deconv可参见知乎答案如何理解深度学习中的deconvolution networks?),之前的pooling操作使得每个pixel预测都能看到较大感受野信息。因此图像分割FCN中有两个关键,一个是pooling减小图像尺寸增大感受野,另一个是upsampling扩大图像尺寸。在先减小再增大尺寸的过程中,肯定有一些信息损失掉了,那么能不能设计一种新的操作,不通过pooling也能有较大的感受野看到更多的信息呢?答案就是dilated conv。

下面看一下dilated conv原始论文[4]中的示意图:

如何通过OpenFace实现人脸识别框架

本文中,笔者将介绍OpenFace中实现人脸识别的pipeline,这个pipeline可以看做是使用深度卷积网络处理人脸问题的一个基本框架,很有学习价值,它的结构如上图所示:

Input Image -> Detect

输入:原始的可能含有人脸的图像。

输出:人脸位置的bounding box。

这一步一般我们称之为“人脸检测”(Face Detection),在OpenFace中,使用的是dlib、OpenCV现有的人脸检测方法。此方法与深度学习无关,使用的特征是传统计算机视觉中的方法(一般是Hog、Haar等特征)。

对人脸检测这一步感兴趣的可以参考下列资料:

dlib的实现:http://blog.dlib.net/2014/02/dlib-186-released-make-your-own-object.html
openCV的实现:Face Detection using Haar Cascades

Detect -> Transform -> Crop

输入:原始图像 + 人脸位置bounding box

输出:“校准”过的只含有人脸的图像

详说卷积神经网络前世今生

作者: Benny Har-Even
目前,人们对性能强大且结构复杂的计算机已是司空见惯。通过与手机和蓝牙音响对话,我们可以收到环境敏感信息的反馈;驾驶某些汽车时,我们可以双手脱离方向盘,让电子设备带我们上路;只要触摸某个按钮,我们便可以与世界任何地方的任何人分享信息和图片。

但目前有一个领域仍处于初步阶段:计算机“视觉”。虽然我们的口袋里装着性能极佳的相机,但要真正了解这个世界,这些设备相对来说便黯然失色了。因为设备虽然可以清晰地捕捉到世界的画面,却不能理解画面的内涵。

例如,如果您给一个三岁小孩展示一张人与大象同框的照片,他可以清楚地告知照片的内容,但若要计算机做同样的事情,则相当具有挑战。

只有当使用图像数据集对计算机进行训练后,其方可识别对象
只有当使用图像数据集对计算机进行训练后,其方可识别对象

卷积神经网络(CNN)的参数优化方法

著名: 本文是从 Michael Nielsen的电子书Neural Network and Deep Learning深度学习那一章的卷积神经网络的参数优化方法的一些总结和摘录,并不是我自己的结论和做实验所得到的结果。我想Michael的实验结果更有说服力一些。本书在github上有中文翻译的版本,

前言

最近卷积神经网络(CNN)很火热,它在图像分类领域的卓越表现引起了大家的广泛关注。本文总结和摘录了Michael Nielsen的那本Neural Network and Deep Learning一书中关于深度学习一章中关于提高泛化能力的一些概述和实验结果。力争用数据给大家一个关于正则化,增加卷积层/全连接数,弃权技术,拓展训练集等参数优化方法的效果。

感知损失(Perceptual Losses)

本文是参考文献[1]的笔记。该论文是Li Fei-Fei名下的论文。
作者:张雨石,现就职于Google北京输入法团队。
原文链接: http://blog.csdn.net/stdcoutzyx/article/details/54025243

本文是参考文献[1]的笔记。该论文是Li Fei-Fei名下的论文。

引入

最近新出的图像风格转换算法,虽然效果好,但对于每一张要生成的图片,都需要初始化,然后保持CNN的参数不变,反向传播更新图像,得到最后的结果。性能问题堪忧。

但是图像风格转换算法的成功,在生成图像领域,产生了一个非常重要的idea,那就是可以将卷积神经网络提取出的feature,作为目标函数的一部分,通过比较待生成的图片经过CNN的feature值与目标图片经过CNN的feature值,使得待生成的图片与目标图片在语义上更加相似(相对于Pixel级别的损失函数)。

图像风格转换算法将图片生成以生成的方式进行处理,如风格转换,是从一张噪音图(相当于白板)中得到一张结果图,具有图片A的内容和图片B的风格。而Perceptual Losses则是将生成问题看做是变换问题。即生成图像是从内容图中变化得到。

Imagination 关于2017汽车领域的十大预测

众所周知,汽车世界正历经日新月异的技术变革。多年来,ABS、牵引制动、安全气囊等技术的发展大幅提高了汽车的安全性能,而最近,越来越多的先进技术已经开始成为标准。

这些系统即高级驾驶安全系统或ADAS,其特征概述而论即自适应巡航控制及全程全自动驾驶。当然,还有更加复杂先进的车载娱乐系统。

从PowerVR图像和视频设计到MIPS CPU,Imagination的IP已经广泛应用于汽车系统中,而在未来,这个范围似乎将扩大。鉴于此,我们将从安全、自动化程度、娱乐及技术等四个方面着手,介绍来年将推出的排行前十的相关产品。

如下:

安全性

预测1:第一辆反黑客汽车将真正问世

【研讨会】汽车行业CNN使用PowerVR GPU计算

在该网络研讨会中,Imagination汽车市场营销总监布莱斯·约翰斯通将与原理研究工程师保罗·巴奈特一道,共同探讨改善及加速图像识别将如何成为创建未来高级自动驾驶汽车的关键。他们还将针对Imagination的PowerVR显示芯片进行阐述,即相比传统的CPU,其强大的GPU计算功能将使之更适合运行CNN任务。

详阅请点击下载《汽车行业CNN使用PowerVR GPU计算研讨会PPT》

【网络研讨会】汽车行业CNN使用PowerVR GPU计算

若您已厌倦铺天盖地的美国大选新闻,那么您可能不大希望看到“CNN”这样的字眼。不过接下来,我们确实要谈论这次举办的CNN网络研讨会。这里的CNN指的是卷积神经网络,即未来自动驾驶汽车使用的关键工具。

CNN最基本的形式是神经网络,用于训练计算机以类似人类大脑的方式识别对象。神经网络使用机器学习算法进行信号输入,如猫、车或人的图片,并将它们转换为输出信号。这里要转换的是那些已经成功标记的输入。

反馈的信息越多,CNN便可以越好地识别对象——就像人的思维一样。这里涉及到一个深度学习的概念。使用深度学习可以创建先进的人工智能。没错,我们谈论的是深度且非常深度的学习技术。这些技术可以确保自动驾驶汽车对其周围的环境有更强的感知。反之,良好的使用效果将有助于这些技术在全社会范围内进行推广和应用。

在这次召开的网络研讨会中,Imagination Technologies公司的汽车市场营销总监布莱斯·约翰斯通将与原理研究工程师保罗·巴奈特一道,共同探讨改善及加速图像识别将如何成为创建未来高级自动驾驶汽车的关键。

他们还将针对Imagination的PowerVR显示芯片进行阐述,即相比传统的CPU,其强大的GPU计算功能将使之更适合运行CNN任务。

同步内容
--电子创新网--
粤ICP备12070055号