进入2018年，越来越多人开始习惯于让家里的亚马逊Alexa、谷歌助手之类的智能音响完成列购物清单、开灯、关灯之类的工作。相比于几年前已经进入普通人家、且如今看来已不再新鲜的扫地机器人来说，这些新兴的智能设备将加速促进生产生活和社会管理方式向智能化、精细化、网络化方向转变。
虽然我们越来越习惯于跟机器交谈，让其为我们完成一些琐碎的工作，但备受期待的物联网所带来的改变远不止于此，而是更加深远，是在一个充满智慧城市、互联程度越来越高的世界中机器与机器之间的互相联通。
物联网技术的话题已经热议了很长时间，现在终于有了一些实质性的进展。在过去的十几年间，全球相继启动智慧城市计划。德勤最新发布的《超级智慧城市报告》显示，目前全球已启动或在建的智慧城市已达1000多个，从在建数量来看，中国以500个试点城市居于首位。随着中国将智慧城市写入国家战略，并投入大量资金，无论是一线城市，或是中小型城市，皆有智能城市项目落地，并且形成了数个大型智慧城市群，分布在东部沿海以及中西部地区。
集成学习（ensemble learning）
集成学习通过构建多个个体学习器，然后再用某种策略将他们结合起来，产生一个有较好效果的强学习器来完成任务。基本原理如下图所示。这里主要有三个关键点：个体学习器的同质异质、个体学习器的生成方式、结合策略。
• 同质异质。
首先需要明确的是个体学习器至少不差于弱学习器。弱学习器常指泛化性能略优于随机猜测的学习器，例如二分类问题中精度略高于50%的分类器。对于训练数据若集成中的个体学习器为同一类型，例如都为BP神经网络或者都为决策树，则称同质集成。同样的道理，若个体学习器类型不同，例如既有决策树又有神经网络，则称异质集成。
• 个体学习器的生成方式。
背景
计算机视觉是利用摄像机和电脑代替人眼，使得计算机拥有类似于人类的对目标进行检测、识别、理解、跟踪、判别决策的功能。以美团业务为例，在商家上单、团单展示、消费评价等多个环节都会涉及计算机视觉的应用，包括文字识别、图片分类、目标检测和图像质量评价等方向。本文将通过以OCR（光学字符识别）的场景来介绍深度学习在计算机视觉中的应用。
基于深度学习的OCR
文字是不可或缺的视觉信息来源。相对于图像/视频中的其他内容，文字往往包含更强的语义信息，因此对图像中的文字提取和识别具有重大意义。OCR在美团业务中主要起着两方面作用。一方面是辅助录入，比如在移动支付环节通过对银行卡卡号的拍照识别以实现自动绑卡，辅助运营录入菜单中菜品信息，在配送环节通过对商家小票的识别以实现调度核单，如图1所示。另一方面是审核校验，比如在商家资质审核环节对商家上传的身份证、营业执照和餐饮许可证等证件照片进行信息提取和核验以确保该商家的合法性，机器过滤商家上单和用户评价环节产生的包含违禁词的图片。
在经历成千上万个小时机器学习训练时间后，计算机并不是唯一学到很多东西的角色，作为开发者和训练者的我们也犯了很多错误，修复了许多错误，从而积累了很多经验。在本文中，作者基于自己的经验（主要基于 TensorFlow）提出了一些训练神经网络的建议，还结合了案例，可以说是过来人的实践技巧了。
作者| Matt H/Daniel R
译者| 婉清
编辑| Jane
出品| AI 科技大本营
通用技巧
有些技巧对你来说可能就是明摆着的事，但在某些时候可能却并非如此，也可能存在不适用的情况，甚至对你的特定任务来说，可能不是一个好的技巧，所以使用时需要务必要谨慎！
▌使用 ADAM 优化器
确实很有效。与更传统的优化器相比，如 Vanilla 梯度下降法，我们更喜欢用ADAM优化器。用 TensorFlow 时要注意：如果保存和恢复模型权重，请记住在设置完AdamOptimizer 后设置 Saver，因为 ADAM 也有需要恢复的状态（即每个权重的学习率）。
▌ReLU 是最好的非线性(激活函数)
1. 前言
传统的CNN网络只能给出图像的LABLE，但是在很多情况下需要对识别的物体进行分割实现end to end，然后FCN出现了，给物体分割提供了一个非常重要的解决思路，其核心就是卷积与反卷积，所以这里就详细解释卷积与反卷积。
对于1维的卷积，公式（离散）与计算过程（连续）如下，要记住的是其中一个函数（原函数或者卷积函数）在卷积前要翻转180度
Multi-Instance Learning (MIL) 和Multi-Pose Learning (MPL)是CV的大牛Boris Babenko at UC San Diego提出来的，其思想可以用下面一幅图概况。MIL是指一个对象的学习实例可能有很多种情况，学习的时候不是用一个精确的标注对象来学习，而是用一个对象的多个实例组成的“包”来学习；而MPL是指一个对象会有多个姿态（Pose），学习的时候用一个分类器常常难以达到很好的效果，所以可以训练多个分类器来分别学习不同的Pose。其描述的都是对一个对象多种情况的同时学习和对齐的策略，也就是MIL是“adjusting training samples so they lie in correspondence”，而MPL是“separating the data into coherent groups and training separate classifiers for each”。
1、图像语义分割的概念
1.1图像语义分割的概念与原理
图像语义分割可以说是图像理解的基石性技术，在自动驾驶系统（具体为街景识别与理解）、无人机应用（着陆点判断）以及穿戴式设备应用中举足轻重。我们都知道，图像是由许多像素（Pixel）组成，而「语义分割」顾名思义就是将像素按照图像中表达语义含义的不同进行分组（Grouping）／分割（Segmentation）。
集成学习体现了“More is always better”(多多益善）的思想，它是是目前机器学习的一大热门方向，所谓集成学习简单理解就是指采用多个分类器对数据集进行预测，从而提高整体分类器的泛化能力。
这张图片很清楚显示出其原理，假设需要预测的对象很大，每个模型可能只能处理其部分问题，多训练一些模型就能更有效率也更准确地得到预测结果。
1、Ensemble综述
(1) 概念：
• 训练多个模型解决同一问题，组合后模型的泛化能力很有可能变强。
• 即使某些分类器出错，其他分类器有希望将其纠正。
• 集成学习也被称为committee-based learning或者multiply classifier systems。
• 在竞赛和科研中有广泛应用。
网络正则化
机器学习的核心问题是如何使学习算法不仅在训练样本上表现良好，而且在新数据上或测试集上同时奏效，学习算法在新数据上的这样一种表现我们称之为模型的泛化能力。如果一个学习算法在训练集表现优异，同时在测试集依然工作良好，可以说该学习算法有较强的泛化能力。若某算法在训练集表现优异，但是测试集却非常糟糕，我们说这样的学习并没有泛化能力，这种现象也叫做过拟合（overfitting）。
如何避免过拟合？我们可以使用正则化的技术来防止过拟合的情况。正则化是机器学习中通过显示的控制模型复杂度来避免模型过拟合，确保泛化能力的一种有效方式。
许多浅层学习器（如支持向量机等）为了提高泛化能力往往都需要依赖模型的正则化，深度学习也应如此。深度网络模型相比浅层学习器巨大的多的模型复杂度时把更锋利的双刃剑：保证模型更强大的同时也蕴含着过拟合的风险。深度模型的正则化可以说是整个深度模型搭建的最后一步，更是不可或缺的一步。下面将介绍五种实践中常用的卷积神经网络的正则化方法。
正则化原理
对于目标函数：
现在全球各地的4G网络信号都已经相继普及，而5G网络的研发推广也正在世界如火如荼的开展起来，有人预计，5G网络的正式商业化应用应该会在2019年，也就是明年正式实现，届时美国，亚洲，欧洲和英国都将在2019年到2020年间正式迈入5G时代。
5G的出现在网络速度，容量和信号延迟性方面的性能都有很大的提升，在物联网，AI人工智能和VR虚拟现实技术方面，都能够极大的改变我们工作和娱乐的方式，也正是因为如此，包括高通，华为，三星和诺基亚，世界各大科技巨头都对其抱有非常大的发展期望，然而在北欧，斯堪的纳维亚半岛的芬兰北极圈附近，一些研发团队却已经着手开始了一项超越5G网络技术的研究。
该研发团体的主要集中地为芬兰的奥卢城区，自从昔日的移动手机巨头，诺基亚公司手机市场崩溃以后，这座小城市就成为了许多初创公司和大型技术公司的发展摇篮，他们都希望能够在这个曾经的技术重镇在搜寻强大的工程师天才，组建新的技术研发团队，而诺基亚公司也是在此建立了新的研发中心，致力于5G技术的研究发展，以及未来的6G通讯网络。