深度学习

人工智能VS机器学习VS深度学习VS人工神经网络

在经历了蛮荒的PC互联网时代,混战的移动互联网时代,到现今最火的人工智能时代。大数据、云计算、机器学习的技术应用,已经使得IT从业者的门槛越来越高。套用一句樊登读书会的宣传口号“keep learning”,保持对新鲜技术的好奇心,保持对技术应用的责任心,持续关注、学习是每个IT从业者的必备技能。

一、什么是人工智能?

人工智能VS机器学习VS深度学习VS人工神经网络

人工智能(Artificial Intelligence),英文缩写为AI。

它是一个融合计算机科学、统计学、脑神经学和社会科学的前沿综合学科。

它使得计算机像人一样拥有智能能力,可以代替人类实现识别、认知,分析和决策等多种功能。

比如当你说一句话时,机器能够识别成文字,并理解你话的意思,进行分析和对话等。

二、人工智能发展简史

【深度学习】L1正则化和L2正则化

在机器学习中,我们非常关心模型的预测能力,即模型在新数据上的表现,而不希望过拟合现象的的发生,我们通常使用正则化(regularization)技术来防止过拟合情况。正则化是机器学习中通过显式的控制模型复杂度来避免模型过拟合、确保泛化能力的一种有效方式。如果将模型原始的假设空间比作“天空”,那么天空飞翔的“鸟”就是模型可能收敛到的一个个最优解。在施加了模型正则化后,就好比将原假设空间(“天空”)缩小到一定的空间范围(“笼子”),这样一来,可能得到的最优解能搜索的假设空间也变得相对有限。有限空间自然对应复杂度不太高的模型,也自然对应了有限的模型表达能力。这就是“正则化有效防止模型过拟合的”一种直观解析。

【深度学习】L1正则化和L2正则化

L2正则化

深度学习不是万能的,进化算法在游戏中表现更佳

编者按:深度学习的如日中天遮掩了进化算法的光芒,但进化算法也有望重归大众视野,毕竟在某些领域它可比深度学习领先得多。本文译自MIT Technology Review中原标题为"EVOLUTIONARY ALGORITHM OUTPERFORMS DEEP-LEARNING MACHINES AT VIDEO GAMES"的文章。

基于目前人类在神经网络算法和机器深度学习取得的成就,很容易让人产生计算机科学只包含这两部分的错觉。毕竟神经网络算法在人脸识别、棋类和各类街机游戏竞技中的表现已经开始超越人类了。

因为这些网络算法都是基于人类的思考模式进行的,好像没什么比这个更有潜力了。但事实果真如此吗?

答案是:不完全是。一种全新的算法甚至比深度学习和神经网络有更明显的优势:这种算法是基于创造人类大脑的方式——进化来进行的。

深度学习不是万能的,进化算法在游戏中表现更佳

换句话说,人类是在一系列迭代和择优中产生的,由此诞生了眼睛、耳朵、大脑等精密的工具,足以可见进化的力量。

深度学习—过拟合问题

1、过拟合问题

欠拟合:根本原因是特征维度过少,导致拟合的函数无法满足训练集,误差较大;
解决方法:增加特征维度;

过拟合:根本原因是特征维度过大,导致拟合的函数完美的预测训练集,但对新数据的预测结果差。
解决方法:(1)减少特征维度;(2)正则化,降低参数值。

减少过拟合总结

过拟合主要是有两个原因造成的:数据太少+模型太复杂
(1)获取更多数据 :从数据源头获取更多数据;数据增强(Data Augmentation)
(2)使用合适的模型:减少网络的层数、神经元个数等均可以限制网络的拟合能力;
(3)dropout
(3)正则化,在训练的时候限制权值变大;
(4)限制训练时间;通过评估测试;
(4)增加噪声 Noise: 输入时+权重上(高斯初始化)
(5)结合多种模型: Bagging用不同的模型拟合不同部分的训练集;Boosting只使用简单的神经网络;

2、正则方法主要有哪些?

自然语言处理中的Attention Model:是什么及为什么

作者:张俊林

要是关注深度学习在自然语言处理方面的研究进展,我相信你一定听说过Attention Model(后文有时会简称AM模型)这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一,在很多场景被证明有效。听起来AM很高大上,其实它的基本思想是相当直观简洁的。

Encoder-Decoder框架

本文只谈谈文本处理领域的AM模型,在图片处理或者(图片-图片标题)生成等任务中也有很多场景会应用AM模型,但是我们此处只谈文本领域的AM模型,其实图片领域AM的机制也是相同的。

要提文本处理领域的AM模型,就不得不先谈Encoder-Decoder框架,因为目前绝大多数文献中出现的AM模型是附着在Encoder-Decoder框架下的,当然,其实AM模型可以看作一种通用的思想,本身并不依赖于Encoder-Decoder模型,这点需要注意。

Encoder-Decoder框架可以看作是一种文本处理领域的研究模式,应用场景异常广泛,本身就值得非常细致地谈一下,但是因为本文的注意力焦点在AM模型,所以此处我们就只谈一些不得不谈的内容,详细的Encoder-Decoder模型以后考虑专文介绍。

帮你读懂人工智能+机器学习+深度学习的包含关系

大数据人工智能技术,在应用层面包括机器学习、神经网络、深度学习等,它们都是现代人工智能的核心技术。在大数据背景下,这些技术均得到了质的提升,人工智能、机器学习和深度学习的包含关系如下图。

帮你读懂人工智能+机器学习+深度学习的包含关系

基本概念理解

1.机器学习

机器学习(Machine Learning)也被称为统计学习理论,是人工智能的重要分支。它通过数据分析获得数据规律,并将这些规律应用于预测或判定其他未知数据。机器学习目前已经广泛应用于数据挖掘、自然语言处理、语音识别等,尤其是在搜索引擎领域。

现在已经出现了相当多的文章涉及机器学习及其保护我们免遭网络攻击的能力。尽管如此,我们也要清楚的去将理想与现实分开,看看机器学习(ML),深度学习(DL)和人工智能(AI)算法到底可以在网络安全中做什么。

神经网络和深度学习之神经元和分类器

当今社会,计算机在我们的生活和工作中扮演着重要的角色,人类使用计算机帮助他们进行大量的计算,通过计算机让每个人相互通信等等。但时代的进步让我们对计算机的要求越来越高,人类希望它能够从事越来越复杂的工作。

基于深度学习的目标检测识别算法

目标检测与识别是指从一幅场景(图片)中找出目标,包括检测(where)和识别(what)两个过程。任务的难点在于待检测区域/候选的提取与识别,所以,任务的大框架为:
  •   首先建立从场景中提取候选区的模型
  •   然后识别候选区的分类模型
  •   最后精调分类模型的参数和有效候选框的位置精修

目标检测与识别在生活中多个领域中有着广泛的应用,它是将图像或者视频中的目标与不感兴趣的部分区分开,判断是否存在目标,若存在目标则确定目标的位置,识别目标是一种计算机视觉任务。目标检测与识别是计算机视觉领域中一个非常重要的研究方向,随着互联网,人工智能技术,智能硬件的迅猛发展,人类生活中存在着大量的图像和视频数据,这使得计算机视觉技术在人类生活中起到的作用越来越大,对计算机视觉的研究也越来月火热。目标检测与识别,作为计算机视觉领域的基石,也越来越受到重视。在实际生活中应用也越来越广泛,例如目标跟踪,视频监控,信息安全,自动驾驶,图像检索,医学图像分析,网络数据挖掘,无人机导航,遥感图像分析,国防系统等。

人工智能世界里的机器学习与深度学习

人工智能(Artificial Intelligence),英文缩写为AI。AI是一门让机器变得智能的科学研究,让机器像人类一样具备解决某些特定问题的能力。其实,AI可不是什么新事物,早在上世纪中叶就已经诞生了。1950年,一位名叫马文﹒明斯基的大四学生和同学一起建造了世界上第一台神经网络计算机,被看作是人工智能的起点。马文后来也被人称为“人工智能之父”,从那时到现在已经过了近70年。这些年AI技术一直不温不火,偶尔出现一些吸引人的技术,很快就消失殆尽了。直到最近,AI又重新回到人们的视线里,而且获得了几乎所有互联网大佬的青睐,将AI看作是未来技术发展的方向,并投入大量人力和资金去研究它。

AI之所以到现在才火爆起来是有原因的。早在70年前,计算机技术刚出现,计算能力和传感器技术都不发达,AI的理念虽然先进,却无实施的条件。众所周知,让机器具备学习的能力,要进行大量的学习计算,通过对已掌握的数据计算规律,从而知晓下一步该如何处理。甄别和计算数据的能力在70年前都不具备,所以AI技术的研究总是被搁浅。而现在则不同,云计算、虚拟化和大数据技术的出现,对数据的分析能力已经很强,再加上计算能力的提升,海量数据的计算数秒内就能完成,这给AI提供了良好的成长土壤,所以到了现在,AI不火都不行了。

同步内容
--电子创新网--
粤ICP备12070055号