demi的博客

1. 前言

传统的CNN网络只能给出图像的LABLE，但是在很多情况下需要对识别的物体进行分割实现end to end，然后FCN出现了，给物体分割提供了一个非常重要的解决思路，其核心就是卷积与反卷积，所以这里就详细解释卷积与反卷积。

对于1维的卷积，公式（离散）与计算过程（连续）如下，要记住的是其中一个函数（原函数或者卷积函数）在卷积前要翻转180度

Multi-Instance Learning (MIL) 和Multi-Pose Learning (MPL)是CV的大牛Boris Babenko at UC San Diego提出来的，其思想可以用下面一幅图概况。MIL是指一个对象的学习实例可能有很多种情况，学习的时候不是用一个精确的标注对象来学习，而是用一个对象的多个实例组成的“包”来学习；而MPL是指一个对象会有多个姿态（Pose），学习的时候用一个分类器常常难以达到很好的效果，所以可以训练多个分类器来分别学习不同的Pose。其描述的都是对一个对象多种情况的同时学习和对齐的策略，也就是MIL是“adjusting training samples so they lie in correspondence”，而MPL是“separating the data into coherent groups and training separate classifiers for each”。

1、图像语义分割的概念

1.1图像语义分割的概念与原理

图像语义分割可以说是图像理解的基石性技术，在自动驾驶系统（具体为街景识别与理解）、无人机应用（着陆点判断）以及穿戴式设备应用中举足轻重。我们都知道，图像是由许多像素（Pixel）组成，而「语义分割」顾名思义就是将像素按照图像中表达语义含义的不同进行分组（Grouping）／分割（Segmentation）。

集成学习体现了“More is always better”(多多益善）的思想，它是是目前机器学习的一大热门方向，所谓集成学习简单理解就是指采用多个分类器对数据集进行预测，从而提高整体分类器的泛化能力。

这张图片很清楚显示出其原理，假设需要预测的对象很大，每个模型可能只能处理其部分问题，多训练一些模型就能更有效率也更准确地得到预测结果。

1、Ensemble综述

(1) 概念：
  •   训练多个模型解决同一问题，组合后模型的泛化能力很有可能变强。
  •   即使某些分类器出错，其他分类器有希望将其纠正。
  •   集成学习也被称为committee-based learning或者multiply classifier systems。
  •   在竞赛和科研中有广泛应用。

网络正则化

机器学习的核心问题是如何使学习算法不仅在训练样本上表现良好，而且在新数据上或测试集上同时奏效，学习算法在新数据上的这样一种表现我们称之为模型的泛化能力。如果一个学习算法在训练集表现优异，同时在测试集依然工作良好，可以说该学习算法有较强的泛化能力。若某算法在训练集表现优异，但是测试集却非常糟糕，我们说这样的学习并没有泛化能力，这种现象也叫做过拟合（overfitting）。

如何避免过拟合？我们可以使用正则化的技术来防止过拟合的情况。正则化是机器学习中通过显示的控制模型复杂度来避免模型过拟合，确保泛化能力的一种有效方式。

许多浅层学习器（如支持向量机等）为了提高泛化能力往往都需要依赖模型的正则化，深度学习也应如此。深度网络模型相比浅层学习器巨大的多的模型复杂度时把更锋利的双刃剑：保证模型更强大的同时也蕴含着过拟合的风险。深度模型的正则化可以说是整个深度模型搭建的最后一步，更是不可或缺的一步。下面将介绍五种实践中常用的卷积神经网络的正则化方法。

正则化原理

对于目标函数：

现在全球各地的4G网络信号都已经相继普及，而5G网络的研发推广也正在世界如火如荼的开展起来，有人预计，5G网络的正式商业化应用应该会在2019年，也就是明年正式实现，届时美国，亚洲，欧洲和英国都将在2019年到2020年间正式迈入5G时代。

5G的出现在网络速度，容量和信号延迟性方面的性能都有很大的提升，在物联网，AI人工智能和VR虚拟现实技术方面，都能够极大的改变我们工作和娱乐的方式，也正是因为如此，包括高通，华为，三星和诺基亚，世界各大科技巨头都对其抱有非常大的发展期望，然而在北欧，斯堪的纳维亚半岛的芬兰北极圈附近，一些研发团队却已经着手开始了一项超越5G网络技术的研究。

该研发团体的主要集中地为芬兰的奥卢城区，自从昔日的移动手机巨头，诺基亚公司手机市场崩溃以后，这座小城市就成为了许多初创公司和大型技术公司的发展摇篮，他们都希望能够在这个曾经的技术重镇在搜寻强大的工程师天才，组建新的技术研发团队，而诺基亚公司也是在此建立了新的研发中心，致力于5G技术的研究发展，以及未来的6G通讯网络。

人工智能正越来越多的渗透入人们的生活，改变人们的生活，从自然语言生成到语音识别、从医疗诊断到商业决策，AI逐渐开始显露出巨大的优势，并且它的脚步不会停止。

1. 自然语言生成（NLG）

自然语言生成是人工智能的一个子学科，它可以将海量的数据转换成人类可读的文本，通过这样的方式实现与人类的交流。目前主要的应用是为客户提供报告生成和市场摘要等服务。通过对数据的分析、挖掘理解，从数据中抽取出有效的信息并总结成文本输出。优秀的AI还能实现自动排版和美化，做到可读性与优良的可视化效果。

据科学美国人杂志报道，在不久的将来，人工智能（AI）将大大加快创新药物和材料的发现。先进的诊断工具将使越来越个性化的医学成为可能。增强现实（AR）将无处不在，将信息和动画叠加在真实世界的图像上，帮助我们处理日常任务，并帮助行业更有效地运作。

如果你生病了，医生可以在身体里植入活细胞，让你的身体变成“药物工厂”，治疗你的疾病。你会吃到用干细胞培育的人造牛肉、鸡肉和鱼类，大大减少畜牧业对环境的影响。

这些改变世界的想法以及构成今年“十大新兴技术”的其他创意，都是由生物、无机化学、机器人和AI等领域的顶尖专家选出的。被选中的技术必须能在未来三五年内为社会和经济提供重大帮助，必须具有潜在颠覆性，能够改变行业或既定的行事方式。但它们必须处于相对早期的开发阶段，还没有被广泛使用。

1. AR技术无处不在

VR（虚拟现实）技术能让人沉浸在虚构孤立的宇宙中。相比之下，AR则是将计算机生成的信息实时叠加在现实世界中。当你戴着装备有AR软件和摄像头的设备时，无论是智能手机、平板电脑、头盔亦或是智能眼镜，程序会分析传入的视频流，下载大量关于场景的信息，并将相关数据、图像或动画以3D的形式叠加在上面。

1. 随机森林回顾

随机森林由N棵决策树组成，每一棵决策树都具有不同的初始训练样本，在训练过程中，还需要一个属性候选集，训练样本子集根据候选集合中的属性，依据分裂依据进行进一步分类，这一步俗称“分裂”，直至满足人为设定的收敛条件。

我个人认为，分裂的想法十分重要，它使得决策树成功记忆住如何从头开始，一步一步将样本正确分类。于是在测试的过程中，测试样本完全是按照这种记忆力将自己的类别确定下来。

不得不说，这是一种傻瓜式的策略，只要训练样本足够多，不断的学习，肯定能把这玩意学会！那么现在有个问题，我在特征点定位的时候，怎么能和随机森林搭上关系呢？或者说，如何利用随机森林建立模型解决人脸对齐问题？我觉得问题可以分解为如下几个子问题。

在应用随机森林做特征点标记的时候
1、候选属性集是什么？
2、特征是什么？
3、分裂依据是什么？
4、叶子节点内存放的是什么？
5、测试过程是什么样？

《Face Alignment At 3000fps via Local Binary Features》一文给出了精彩的回答。

自然语言处理（NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。随着深度学习在图像识别、语音识别领域的大放异彩，人们对深度学习在NLP的价值也寄予厚望。自然语言处理作为人工智能领域的认知智能，成为目前大家关注的焦点。

基本概念

  •  自然语言处理既是一门技术也是一门学科。
  •  自然语言指人类使用的语言，如汉语、英语等
  •  语言是思维的载体，是人类交流的工具
  •  语言的两种属性：文字和声音
  •  人类历史上以文字形式记载和流传的知识占80%以上。

自然语言处理的定义：
"自然语言处理又称为自然语言理解，就是利用计算机为工具对人类特有的书面形式和又头形式的自然语言的信息进行各种类型处理和加工的技术。” —— 冯志伟《自然语言的计算机处理》

研究的基本问题

1. 语音学