机器学习

8个经过证实的方法:提高机器学习模型的准确率

我从实践中学习了到这些方法。相对于理论,我一向更热衷于实践。这种学习方式也一直在激励我。本文将分享 8 个经过证实的方法,使用这些方法可以建立稳健的机器学习模型。希望我的知识可以帮助大家获得更高的职业成就。

【盘点】掌握机器学习的5条必由之路

作者:Jason Brownlee
译者:刘小芹

【导读】作者在本文提出一种5步入门并应用机器学习的方法。它不是传统的方法。传统的机器学习方法提倡从下往上学,先从理论和数学开始,然后是算法实现,最后让你去解决现实世界的问题。

【盘点】掌握机器学习的5条必由之路

作者提倡的掌握机器学习的方法与传统方法相反,是从最有价值的成果部分开始。

目标是得到有商业价值的成果:怎样得出结果。

这个结果以一系列预测或能进行可靠预测的模型的方式呈现。

这是一种从上往下的、结果优先的方法。

在商业社会,开始时就有要得到结果的目标是最重要的,那么,怎样才能得到结果?

我们总结了5个步骤:

  •   第1步:调整心态 (要有信心!).
  •   第2步:选择程序
  •   第3步:选择工具
  •   第4步:用数据集练习
  •   第5步:做一个作品集

机器学习和对抗性人工智能会是新的内部威胁吗

​机器学习和人工智能正在从概念验证程序转变为功能性企业基础架构。随着对这些技术的资金支持不断攀升,可以预见人工智能的普及是不可避免的。

机器学习(ML)和人工智能(AI)正在从概念验证程序转变为功能性企业基础架构。随着对这些技术的资金支持不断攀升,可以预见人工智能的普及是不可避免的。

但是数字智能的应用带来了新的风险:IT专家面对这急剧的变化,有些无所适从,而网络犯罪分子正在想方设法入侵新工具。

为什么AI无法取代人类专业技能?

现在的安全团队工作过度而且人员不足,但还是有人担心AI工具会最终取代人类专业技能。

为了回应这些担忧,Phys.org网站在2018年6月指出,现在关于人工智能和自动化的讨论被两种思想主导,一种是灾难预言者,他们害怕机器人会取代人类的工作,另一种是乐天派,他们对新技术不以为然,认为世界上没有什么新东西。

然而,研究表明,这些技术只适合取代某些特定的工作任务,而不是彻底消除某些职业。The Verge在2018年6月报道,美国军队的一项实验计划将利用机器学习来更好的预测车辆何时需要维修,这不仅降低了成本,也减轻了技术人员的压力。

机器学习萌新必学的Top10算法

在机器学习中,有一种叫做「没有免费的午餐」的定理。简而言之,它指出没有任何一种算法对所有问题都有效,在监督学习(即预测建模)中尤其如此。

例如,你不能说神经网络总是比决策树好,反之亦然。有很多因素在起作用,例如数据集的大小和结构。

因此,你应该针对具体问题尝试多种不同算法,并留出一个数据「测试集」来评估性能、选出优胜者。

当然,你尝试的算法必须适合你的问题,也就是选择正确的机器学习任务。打个比方,如果你需要打扫房子,你可能会用吸尘器、扫帚或拖把,但是你不会拿出铲子开始挖土。

大原则

不过也有一个普遍原则,即所有监督机器学习算法预测建模的基础。

机器学习算法被描述为学习一个目标函数 f,该函数将输入变量 X 最好地映射到输出变量 Y:Y = f(X)

这是一个普遍的学习任务,我们可以根据输入变量 X 的新样本对 Y 进行预测。我们不知道函数 f 的样子或形式。如果我们知道的话,我们将会直接使用它,不需要用机器学习算法从数据中学习。

最常见的机器学习算法是学习映射 Y = f(X) 来预测新 X 的 Y。这叫做预测建模或预测分析,我们的目标是尽可能作出最准确的预测。

2019年:人工智能和机器学习的一些预测

作者 | Daniel Newman
译者 | Sambodhi
编辑 | Vincent

人工智能是企业和国家争夺控制权的前沿技术,2018 年我们已经看到了人工智能出现一些重大进步,那么 2019 年会怎么样呢?让我们看看 Daniel Newman 的预测!

在过去的几年里,机器学习和人工智能一直是人们茶余饭后的谈资,而且这些炒作看上去近期并没有放缓的迹象。但我相信,2019 年将是那些企业等待上船,并见证其行业发展“挖出金矿”的一年。那么,明年我们可能会看到什么呢?会是机器学习的革命性新用途吗?人机交互会不会进一步发展呢?还是人工智能助理全面崛起?让我们深入研究未来几个月的人工智能和机器学习的预测吧!

跨行业机器学习的新用途

在面对像机器学习这样的先进技术时,没有哪个行业不会从中受益。我的意思是说,企业要怎么才能利用能够使他们更成功的技术呢?在接下来的一年里,机器学习在所有这些行业中,将会涌现许多新的用途,我并不是仅仅指营销和销售方面。

机器学习之分类器性能指标之ROC曲线、AUC值

一、roc曲线

1、roc曲线:接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。

横轴:负正类率(false postive rate FPR)特异度,划分实例中所有负例占所有负例的比例;(1-Specificity)

纵轴:真正类率(true postive rate TPR)灵敏度,Sensitivity(正类覆盖率)

2、针对一个二分类问题,将实例分成正类(postive)或者负类(negative)。但是实际中分类时,会出现四种情况.

(1)若一个实例是正类并且被预测为正类,即为真正类(True Postive TP)

(2)若一个实例是正类,但是被预测成为负类,即为假负类(False Negative FN)

(3)若一个实例是负类,但是被预测成为正类,即为假正类(False Postive FP)

(4)若一个实例是负类,但是被预测成为负类,即为真负类(True Negative TN)

TP:正确的肯定数目

FN:漏报,没有找到正确匹配的数目

FP:误报,没有的匹配不正确

TN:正确拒绝的非匹配数目

机器学习综述——机器学习理论基础与发展脉络

本文主要参考中科院自动化研究所复杂系统与智能科学实验室王珏研究员《关于机器学习的讨论》,讨论机器学习的描述,理论基础,发展历史以及研究现状。

20世纪90年代初,当时的美国副总统提出了一个重要的计划——国家信息基本设施计划(NationalInformation Infrastructure,NII)。这个计划的技术含义包含了四个方面的内容:

(1)不分时间与地域,可以方便地获得信息。
(2)不分时间与地域,可以有效地利用信息。
(3)不分时间与地域,可以有效地利用软硬件资源。
(4)保证信息安全。

本文主要讨论解决“信息有效利用”问题,其本质是:如何根据用户的特定需求从海量数据中建立模型或发现有用的知识。对计算机科学来说,这就是机器学习。

人工智能VS机器学习VS深度学习VS人工神经网络

在经历了蛮荒的PC互联网时代,混战的移动互联网时代,到现今最火的人工智能时代。大数据、云计算、机器学习的技术应用,已经使得IT从业者的门槛越来越高。套用一句樊登读书会的宣传口号“keep learning”,保持对新鲜技术的好奇心,保持对技术应用的责任心,持续关注、学习是每个IT从业者的必备技能。

一、什么是人工智能?

人工智能VS机器学习VS深度学习VS人工神经网络

人工智能(Artificial Intelligence),英文缩写为AI。

它是一个融合计算机科学、统计学、脑神经学和社会科学的前沿综合学科。

它使得计算机像人一样拥有智能能力,可以代替人类实现识别、认知,分析和决策等多种功能。

比如当你说一句话时,机器能够识别成文字,并理解你话的意思,进行分析和对话等。

二、人工智能发展简史

如何用TensorFlow训练和识别/分类自定义图片

很多正在入门或刚入门TensorFlow机器学习的同学希望能够通过自己指定图片源对模型进行训练,然后识别和分类自己指定的图片。但是,在TensorFlow官方入门教程中,并无明确给出如何把自定义数据输入训练模型的方法。现在,我们就参考官方入门课程《Deep MNIST for Experts》一节的内容(传送门:
https://www.tensorflow.org/get_started/mnist/pros ),介绍如何将自定义图片输入到TensorFlow的训练模型。

在《Deep MNISTfor Experts》一节的代码中,程序将TensorFlow自带的mnist图片数据集mnist.train.images作为训练输入,将mnist.test.images作为验证输入。当学习了该节内容后,我们会惊叹卷积神经网络的超高识别率,但对于刚开始学习TensorFlow的同学,内心可能会产生一个问号:如何将mnist数据集替换为自己指定的图片源?譬如,我要将图片源改为自己C盘里面的图片,应该怎么调整代码?

我们先看下该节课程中涉及到mnist图片调用的代码:

from tensorflow.examples.tutorials.mnist import input_data

机器学习项目失败的9个原因,你中招了吗?

本文总结了数据科学项目失败的最常见原因,希望能够帮助你避免陷阱。

1. 问错了问题

如果你问了错问题,你将会得到错误的答案。比如金融业中的欺诈识别问题,这个问题最初可能是“这个特定的交易是否存在欺诈”。为了确定这一问题,你将需要一个包含欺诈和非欺诈交易示例的数据集。这个数据集可以在一组专门负责侦测欺诈行为的专家(SME)的帮助下生成。但是,由于专家们依据的是过去对欺诈行为的认识进行的标记,用该数据集训练的模型只会捕获符合旧模式欺诈,而对于新兴的欺诈方式,这一模型将无法识别。如果将问题改为“这个交易是否反常”,它只需寻找不符合“正常”签名的交易,依靠人类进一步分析预测的欺诈交易以验证模型结果即可。但这种方法的副作用是,它很可能会比以前的模型产生更多的误报。

2. 试图用它来解决错误的问题

我们经常会忽视一个问题:我们费尽心思解决了一个问题,但是解决后是否能实现我们的目的。比如,你想出了用人工智能开发出一个将人的全身照传上网站就能根据提醒量身定做一套合身的衣服的项目。完成这个项目我们需要完成以下任务:

  •  开发AI/ML技术以确定照片中的身体测量值;

同步内容
--电子创新网--
粤ICP备12070055号