作者：陆勤
之前在《移动和无线网络的深度学习综述（一）》的文章了分享了论文的摘要和Itroduction的内容。
在本文，你可以了解到：
- 论文的第二节，相关的论文和这篇综述的范围
- 论文的第三节，深度学习101
第三，高度相关的论文和综述的范围
第一段
第一句话，移动网络和深度学习问题的关系，这两项研究大多是独立进行的。
第二句话，两者的融合，最近两个领域的交叉与融合开始出现了。
第三句话，趋势，一些工作开始涉及到深度学习和移动网络的研究。
第四句话，类型，1）深度学习技术纯概述；2）现代移动网络的分析和管理技术的评论；3）深度学习和计算机网络交叉的工作评论。
第五句话，总结，典型的作品总结。
A 深度学习及其应用概览
第一段
第一句话，总况，大数据时代引发了不同的研究领域对深度学习的广泛兴趣，越来越多的综述和教程出现。
第二句话，LeCun的作品，他们对深度学习进行了里程碑式的概述，介绍了几种流行的模型，并展望了深度神经网络的潜力。
第三句话，Schmidhuber等人的作品，他们对深度学习进行了百科全书式的调查，可能是迄今最全面的综述，包括了深度学习的进展，方法，应用和开放的研究问题。
第四句话，刘等人，总结了深度学习模型的基本原理，回顾了深度学习在某些应用中的发展，比如语音处理，模式识别和计算机视觉。
第二段
第一句话，Arulkumaran等人，提出了深度强化学习的几种体系结构和核心算法，包括深度Q网络，信任区域策略优化和异步优势行为者批评。
第二句话，深度强化学习的应用点，他们的综述强调了深度神经网络在不同的控制问题（如视频游戏，围棋游戏等）中可标记性能。
第三句话，深度强化学习的综述，深度强化学习的研究，并且对其应用做出了更多的解释。
第四句话，张等人，深度学习运用到推荐系统，移动广告推荐发挥出重要作用。
第五句话，深度学习花书，Goodfellow等人提供了一本深度学习书籍，包括了先决知识，基本原则和流行的应用。
B 未来移动网络的综述
第一段
第一句话，5G移动网络，它涉及了许多新技术，以克服当前部署的性能限制，满足新的应用需求。
第二句话，5G的研究和实践蓬勃发展，通过综述，教程，论文和杂志的方式。
第三句话，Andrew等人，强调5G与之前的移动网络架构的差异，对5G技术进行了全面的回顾，并讨论未来发展面临的挑战。
第四句话，Agiwal等人，他们回顾了5G网络的新架构，研究新兴的无线技术，指出研究还未解决的问题。
第五句话，Gupta等人，他们也回顾了5G蜂窝网络架构的现有工作，随后提出了一个包括这些网络组件的框架：设备到设备的通信（D2D），小蜂窝，云计算和物联网。
第二段
第一句话，智能移动网络，已成为一个热门的研究领域，相关工作可以查阅这些文献。
第二句话和第三句话，Jiang等人，他们讨论把机器学习应用于5G网络应用的潜力，包括大规模MIMO和智能电网。明确了ML和5G尚未探索的一些研究空白。
第四句话，Li等人，讨论了人工智能融入到未来网络架构的机遇和挑战，并强调了5G时代人工智能的重要性。
第五句话，Klaine等人，他们展示了几个ML在自组织网络的实践的成功案例，并讨论了不同算法的优缺点，确定该领域的未来研究方向。
第六句话，能源效率方面，利用人工智能和大数据提高能效有应用的潜力和价值。第七句话，Chen等人，他们对无线网络中的流量分流方法进行了综述，并提出了一种新的基于增强学习的解决方案。
C 深度学习驱动网络应用
第一段
第一句话，深度学习和计算机网络领域融合。
第二句话，Alsheikh等人，他们研究了使用大数据进行移动分析的好处和挑战，并为此提出了一种基于Spark的深度学习框架。
第三句话，Wang and Jones等人，他们讨论了网络入侵检测的评估标准，数据流和深度学习实践，并指出此类应用具有的研究挑战。
第四句话， Zheng等人，提出了5G网络中基于大数据驱动的移动网络优化框架，以提高QoE（体验质量）性能。
第五句话和第六句话，Fadlullah等人，最近他们对于深度学习在多个领域的进展做了综述，以突出其在网络流量控制系统中的潜在应用，并且指出几个有价值的还未解决的研究问题。
第二段
第一句话和第二句话，Ahad等人，他们介绍了把神经网络应用于无线网络问题的技术，应用和指南。本文一方面指出了神经网络的一些局限性，另一方面，主要集中在旧的神经网络模型上，但忽略当前移动网络中深度学习和成功应用的最新进展。
第三句话， Lane等人，他们研究移动感知中使用深度学习的适用性和好处，并强调在移动设备上进行准确推断的潜力。
第四句话和第五句话，Ota等人，总结了移动多媒体中新的深度学习应用，这个综述涵盖了移动健康与福祉，移动安全，移动环境智能，语言翻译和语音识别等领域最先进的深度学习实践。
第六句话和第七句话，Mohammad等人，研究了物联网数据分析的最新深度学习技术，全面概述了把深度学习引入物联网领域的现有工作，并说明了当前研究的挑战和未来的方向。
第八句话和第九句话，Mao等人，他们关注无线网络中的深度学习，他们研究了无线网络中最先进的深度学习应用，并讨论了未来研究需要解决的挑战。
D 本文的范围
第一段
第一句话，论文目的，是全面了解移动网络领域最先进的深度学习实践。
第二句话，目标驱动下的关键问题。
1）为什么深度学习对解决移动网络问题很有希望？
2）与移动和无线网络相关的前沿深度学习模型有哪些？
3）在移动网络领域，最近最成功的的深度学习应用是什么？
4）研究人员如何针对特定的移动网络问题定义深度学习？
5）哪些最重要和最有前途的方向值得进一步研究？
第二段
第一句话，前面的概述，已经部分地回答了这些问题。
第二句话，本文需要跟进一步，要超越以前的工作，特别关注深度学习和移动网络的交叉。
第三句话到第六句话，本论文的工作，涵盖了一系列神经网络的结构，这些结构越来越重要，并且在前面的文档里面没有明确讨论过，包括自编码器和一般性对抗网络。回顾了用于部署和训练神经网络的开放源码库，一系列优化算法，以及神经网络模型的并行化和跨大量移动设备的训练，还介绍了相关调查中没有涉及到的应用，包括流量/用户分析，安全和隐私，移动健康等。
第三段
第一句话，论文的范围，主要范围是移动网络领域，也还讨论无线网络深度学习应用，并确定与这些领域密切相关的新兴应用。
第二句话，移动网络和无线网路的区分，移动网络指的是设备是便携式的，电池供电的，潜在的可穿戴设备，并定期的连接到蜂窝基础设施；无线网络的设备大多是固定的，是分布式基础设施（WLAN和WSN）的一部分，服务于单个应用。
第三句话，论文的特点，从以下几个方面来区别以前的综述。
1）特别关注移动网络分析和管理的深度学习应用，而不是广泛讨论深度学习方法或者以单一的应用领域为中心，例如特定的移动大数据分析平台。
2）从移动网络的角度讨论最前沿的深度学习技术，关注它们在这一领域的应用，而较少关注可能过时的传统深度学习模型。
3）分析现有非网络问题与移动网络特有问题之间的相似性，提出了最佳的深度学习架构选择策略和适应方法，从而利用移动网络的特点进行分析和管理任务。
第四段
第一句话，总结，这是第一次从深度学习的角度对网络分析与管理进行共同的回顾。
第二句话，创新点，首次提供了如何针对移动网络问题定制深度学习的见解。
第四，深度学习101
第一段
第一句话，总结性，说本段要简要介绍深度学习，重点介绍这个领域中计算技术的背后基本原理。
第二句话，深度学习是什么，本质是ML的一个分支，可以让算法基于数据进行预测，分类或者决策，而无需显示编程。
第三句话，典型的ML任务，例如，线性回归，K均值分类和Q-Learning学习。
第四句话，传统机器学习与深度学习的差异，前者更多依赖领域知识的人工特征设计；后者通过多层非线性处理单元从原始数据中分层提取知识，基于目标进行预测或者采取行动。
第五句话，深度学习模型，最著名的深度学习模型是神经网络NN，包括大量的隐藏层。
第六句话，深度学习结构，除了深度NN外，还有其它结构也包括多层，例如：深度高斯过程，神经过程，深度随机森林等，也可以看作为深度学习结构。
第七句话，深度学习相比传统机器学习的显著优势，可以实现自动化特征提取，从而避免了昂贵的手工特征工程。
第八句话，DL,ML和AI的关系，如下图：
A 深度学习的演变和进化
第一段
第一句话，溯源，追溯到75年前，当时的门限逻辑用来为神经网络生成计算模型。
第二句话，兴趣点，直到20世纪80年代，神经网络才引起人们的兴趣，关键事件，利用反向传播算法有效地训练多层神经网络。
第三句话，LeCun and Bengio等人，提出卷积神经网络架构，但由于但是计算力的限制，进展停滞。
第四句话，GPU的成功使用，使得CNN在大柜视觉识别挑战（LSVRC）中显著降低了错误率。
第五句话，深度学习研究爆发，引起人们对深度学习前所未有的兴趣，计算机科学的各个领域不断出现突破性进展。
B 深度学习的基本原理
第一段
第一句话，深度学习的目标，通过单元（或神经元）的简单和预定义操作的组合来近似复杂的函数。（参数化函数逼近技术）
第二句话，深度学习的映射函数，类型多样性，例如：图像与其类标签之间的映射（分类问题），基于历史数据估算未来股票的价格（回归问题），甚至根据棋盘上的当前状态决定下一步最优的棋步（控制问题）。
第三句话，深度学习模型结构，她执行的操作通常是由一组特定的隐藏单元与非线性计划函数的加权组合来定义。
第四句话，深度学习的层概念，这些操作以及输出单元就是层。
第五句话，神经网络结构，类似大脑的感知过程，基于当前的环境，特定的一组单元被激活，从而影响着神经网络的输出。
C 正向和反向传播
第一段
第一句话，数学认知，深度神经网络结构通常是可微分的，因为模型的权值（或参数）可以根据基本的链式法则，通过反向传播的梯度下降法最小化损失函数来学习。
第二句话，深度神经网络的学习和推理过程的原理，见下图，以二维的卷积神经网络为例。
正向传播：
第一句话，5层的神经网络模型，第一层是输入层，第二到第四是隐藏层，第五是输出层。
第二句话，一个2D的输入数据首先被一个卷积层进行处理，执行下来卷积操作。
h1是第一个隐藏层的输出，通过卷积过滤器和激活函数做处理，目的是提供的非线性和可表征性。
第三句话，输出层h1随后作为输入提供给后面两个卷积层并由它们处理，最终输出y。
第四句话，数据的结果，可以是（图像）输入中发现的不同可能模式（形状）的概率向量。
第五句话，如何对CNN进行合适的训练？这需要一个损失函数来度量输出的y值和真实值的距离或者差异。
第六句话，训练的目的，就是一个优化问题，通过从数据中训练和学习到最佳的权重值，使得损失最小化。
第七句话，这个优化问题的求解可以基于梯度下降的反向传播算法来解决。
反向传播：
第一句话，反向传播里面，计算损失函数的梯度，来更新权重值。
h1是第一个隐藏层的输出，通过卷积过滤器和激活函数做处理，目的是提供的非线性和可表征性。
第三句话，输出层h1随后作为输入提供给后面两个卷积层并由它们处理，最终输出y。
第四句话，数据的结果，可以是（图像）输入中发现的不同可能模式（形状）的概率向量。
第五句话，如何对CNN进行合适的训练？这需要一个损失函数来度量输出的y值和真实值的距离或者差异。
第六句话，训练的目的，就是一个优化问题，通过从数据中训练和学习到最佳的权重值，使得损失最小化。
第七句话，这个优化问题的求解可以基于梯度下降的反向传播算法来解决。
反向传播：
第一句话，反向传播里面，计算损失函数的梯度，来更新权重值。
1）人们普遍认为，特征工程虽然对传统的ML算法的性能至关重要，但代价昂贵。深度学习的一个关键优势，可以自动地从复杂结构和内部关联的数据中提取高级特征。学习过程不需要人工设计，极大地简化了先前的人工制造特征。移动网络背景下，这一点的重要性被放大了，因为移动数据通常是异类源生成的，通常是有噪声的，并且显示出非琐碎的时空模式，这些模式的标记需要大量的人力。
2）深度学习善于处理大量的数据，移动网络可以快速生成大量不同类型的数据。训练传统的机器学习算法（如支持向量机SVM和高斯过程GP）有时需要把所有数据存储在内存中，这在大数据场景下是不可计算的。采用随机梯度下降（SGD）对神经网络进行训练，每个训练步骤只需要数据子集，让深度学习对大数据具有可扩展性。利用大数据训练模型可以防止模型过拟合，使得深度神经网络进一步受益。
3）传统的监督学习需要有足够标记的数据，实际情况，目前大多数移动系统产生未标记或者半标记的数据。深度学习提供了多种方法，可以利用未标记的数据以无监督方式学习到有用的模式，例如：RBM，GAN。应用包括聚类，数据分布近似，变监督学习，零一学习等。
4）利用深度神经网络学习的压缩表示可以在不同的任务之间共享，而这在其它ML范式中式有限制的或者难以实现的（如线性回归，随机森林等）。这样的好处是可以训练单个模型来实现多个目标，而不需要对不同的任务再次训练模型。论文作者认为这对于移动网络工程是必要的，因为它减少了系统在执行多任务学习应用时的计算和内存需求。
总结：虽然深度学习在解决移动网络问题具有独特的优势，但它需要一定的系统和软件支持，才能在移动网络中有效部署和实施，这将在第四节讨论。
关于移动和无线网络的深度学习，您有什么想法或者见解，请留言。
本文转自：数据人网，作者：陆勤，转载此文目的在于传递更多信息，版权归原作者所有。
严禁修改，转载请注明原文链接:http://shujuren.org/article/811.html
