机器学习

机器学习中的梯度下降法

最优化问题是机器学习算法中非常重要的一部分,几乎每一个机器学习算法的核心都是在处理最优化问题。

本文中我将介绍一些机器学习领域中常用的且非常掌握的最优化算法,看完本篇文章后你将会明白:

• 什么是梯度下降法?
• 如何将梯度下降法运用到线性回归模型中?
• 如何利用梯度下降法处理大规模的数据?
• 梯度下降法的一些技巧

让我们开始吧!

梯度下降法

梯度下降法是一个用于寻找最小化成本函数的参数值的最优化算法。当我们无法通过分析计算(比如线性代数运算)求得函数的最优解时,我们可以利用梯度下降法来求解该问题。

梯度下降法的直觉体验

想象一个你经常用来吃谷物或储存受过的大碗,成本函数的形状类似于这个碗的造型。

机器学习中的梯度下降法

机器学习—— 基本设定

最近的十几年机器学习很是火热,尤其是其中的一个分支深度学习在工业界取得很好应用,吸引了很多眼球。不过从其历程来看,机器学习的历史并不短暂~从早期的感知机到八十年代火热的神经网络,再到九十年代被提出的经典算法集成学习和支持向量机;而最近的十年算得上是机器学习发展的黄金年代,软、硬件计算条件大幅提高,尤其是现在数据量的爆发式增长让机器拥有充分“学习”的资本...

1.概念

机器学习到底是什么?Wiki上有Tom M. Mitchell这样一段定义:

"A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E."

我经常这样总结: “设计模型,并从已观测的数据中学习出模型参数,然后通过模型对未知进行分预测 。”这样说似乎还是有点抽象,台大李宏毅老师ppt解释的非常形象:

九个机器学习的迷思!

当技术像机器学习一样被炒得沸沸扬扬时,就会有许多误解产生。以下是关于机器学习可以提供,或不能提供的清晰视角。

机器学习被证明是非常有用的,人们很容易假设它可以解决所有问题并适用于所有情况。和其它工具一样,机器学习在特定领域也很有用,特别是对于一直困扰着你,但你永远不会雇用足够的人来解决的问题,或者对于有明确目标,但没有明显的实现方法的问题。

尽管如此,每个组织都有可能以这样或那样的方式利用机器学习,因为42%的高管最近告诉埃森哲,他们预计人工智能将在2021年之前成为他们的创新的后盾。但是,只要你的视野能绕过炒作,并避免下面这些常见的误解你会得到更好的成果——通过了解机器学习可以实现和不能实现的机制。

迷思1:机器学习就是人工智能

机器学习和人工智能经常被用作同义词,但机器学习是最成功地从研究实验室走出来,迈向现实世界的技术,而人工智能则是一个广泛的领域,它涵盖计算机视觉、机器人技术和自然语言处理等领域,以及不涉及机器学习的约束满足等方法。不妨把它看成是使机器变得智能的一切东西。这些都不是那种一般人所害怕的通用“人工智能”——可以与人竞争甚至攻击人类的东西。

留意这些流行语并做到准确无误。机器学习是关于学习模式和预测大数据集的结果;结果可能看起来很“智能”,但其本质事关以前所未有的速度和规模应用统计数据。

机器学习中的五种回归模型及其优缺点

【导读】近日,机器学习工程师 George Seif 撰写了一篇探讨回归模型的不同方法以及其优缺点。回归是用于建模和分析变量之间关系的一种技术,常用来处理预测问题。博文介绍了常见的五种回归算法和各自的特点,其中不仅包括常见的线性回归和多项式回归,而且还介绍了能用于高维度和多重共线性的情况的Ridge回归、Lasso回归、ElasticNet回归,了解它们各自的优缺点能帮助我们在实际应用中选择合适的方法。

编译 | 专知
参与 | Yingying

五种回归模型及其优缺点

线性和逻辑斯蒂(Logistic)回归通常是是机器学习学习者的入门算法,因为它们易于使用和可解释性。然而,尽管他们简单但也有一些缺点,在很多情况下它们并不是最佳选择。实际上存在很多种回归模型,每种都有自己的优缺点。

在这篇文章中,我们将介绍5种最常见的回归算法及特点。我们很快就会发现,很多算法只在特定的情况和数据下表现良好。

线性回归(Linear Regression)

机器学习、深度学习、和AI算法可以在网络安全中做什么?

本文作者:Alexander Polyakov,ERPScan的首席技术官和联合创始人、EAS-SEC总裁,SAP网络安全传播者。

现在已经出现了相当多的文章涉及机器学习及其保护我们免遭网络攻击的能力。尽管如此,我们也要清楚的去将理想与现实分开,看看机器学习(ML),深度学习(DL)和人工智能(AI)算法到底可以在网络安全中做什么。

首先,我必须让你失望,因为我们必须承认的是,尽管机器学习在图像识别或自然语言处理这两个领域取得了不错的成绩,但机器学习绝不会成为网络安全的silver bullet(银弹:喻指新技术,指人们寄予厚望的某种新科技)。总会有人试图在我们的系统中发现问题并试图绕过它们。更糟糕的是,这些先进的技术也正在被黑客们使用,例如黑客也可以使用机器学习来实现他们的意图。

机器学习不仅可以帮助我们完成典型的ML任务,包括回归(预测)、分类、聚类,推荐。ML也可以针对各种需求以不同的效率解决问题,这要根据你选择的算法而定。现在,我们将利用机器学习解决典型的网络安全任务。

机器学习之特征选择

特征选择方法初识:

1、为什么要做特征选择
在有限的样本数目下,用大量的特征来设计分类器计算开销太大而且分类性能差。

2、特征选择的确切含义
将高维空间的样本通过映射或者是变换的方式转换到低维空间,达到降维的目的,然后通过特征选取删选掉冗余和不相关的特征来进一步降维。

3、特征选取的原则
获取尽可能小的特征子集,不显著降低分类精度、不影响类分布以及特征子集应具有稳定适应性强等特点

主要有三种方法:

1、Filter方法

其主要思想是:对每一维的特征“打分”,即给每一维的特征赋予权重,这样的权重就代表着该维特征的重要性,然后依据权重排序。

主要的方法有:

• Chi-squared test(卡方检验)

无监督学习、GAN和强化学习将构建机器学习的未来

文/Al Gharakhanian □编译/张含阳

随着人工智能的不断发展,许多新的机器学习技术、架构和算法被提出,但这里有三个宏观趋势,将成为机器学习中游戏规则的改变者。

机器学习(ML),特别是深度学习(DL)已经成为许多科技出版物所涵盖的最热门话题之一。当然,这里面有一些炒作的成分,但是我们有足够好的理由相信,机器学习这一领域是值得关注和覆盖的。

机器学习的范围和影响一遍又一遍地在各种学科,数百种应用中被证明其重要性。广告、无人驾驶、聊天机器人、网络安全、无人机、电子商务、金融技术、工业机械、医疗保健、营销策划、机器人,以及搜索引擎等应用,这些只是机器学习的部分应用而已。

机器学习的优势不再受限于只有少数几个能够买得起花哨装备的精英人士。不可否认的是,智能产品推荐以及高性价比的聊天机器人已经在普通百姓中得到了普及。这还不要说很多尚未开发的领域等着我们去发掘。

开发并部署机器学习的成本正快速下降。即使是最热衷于这种技术的怀疑论者,比如马斯克和霍金,也可以很容易地发现它的用途非常多,并从机器学习身上找到商业价值。

根据几位机器学习、深度学习领域的知名专家,深度神经网络“表现得极其好”,即便他们可能也搞不清到底为什么。

简单读懂人工智能:机器学习与深度学习是什么关系

随着AlphaGo战胜李世石,人工智能和深度学习这些概念已经成为一个非常火的话题。人工智能、机器学习与深度学习这几个关键词时常出现在媒体新闻中,并错误地被认为是等同的概念。本文将介绍人工智能、机器学习以及深度学习的概念,并着重解析它们之间的关系。本文将从不同领域需要解决的问题入手,依次介绍这些领域的基本概念以及解决领域内问题的主要思路。

从计算机发明之初,人们就希望它能够帮助甚至代替人类完成重复性劳作。利用巨大的存储空间和超高的运算速度,计算机已经可以非常轻易地完成一些对于人类非常困难,但对计算机相对简单的问题。比如,统计一本书中不同单词出现的次数,存储一个图书馆中所有的藏书,或是计算非常复杂的数学公式,都可以轻松通过计算机解决。然而,一些人类通过直觉可以很快解决的问题,目前却很难通过计算机解决。这些问题包括自然语言理解、图像识别、语音识别,等等。而它们就是人工智能需要解决的问题。

为什么说机器学习是我们预防网络威胁的最佳武器

随着攻击面的不断扩大以及攻击技术的日趋复杂,安全行业目前正面临着严重的“安全技能短缺”。因此,我们过去所使用的安全保护策略可能已经不再像以前那么有效了,而现在唯一能帮我们对抗网络犯罪分子的盟友/武器,可能就是机器学习技术了。

尽管很多大学和在职培训机构已经尽了最大的努力,但到2022年市场上预计将出现180万左右的安全专业职位空缺。这场“危机”之所以会到来,其中一个原因就在于物联网设备数量的直线上升将导致攻击面呈指数增长。与此同时,很多传统的犯罪组织以及流氓国家也正在成为网络犯罪领域中的主要力量,他们所拥有的资源和技术可能比以往安全社区所面临的任何情况都要可怕得多。

但幸运的是,机器学习和其他形式的人工智能技术已经成熟到足以加入网络安全防御战线的最前线了。计算机分析趋势、处理大规模数据以及检测异常的能力都要远远高于人类能力。在机器学习算法的的帮助下,计算机可以根据一系列基本规则来将其应用到大规模数据集上。当它们不停地对这些规则进行迭代测试后,它们对数据的理解将会更加深刻和复杂。

利用机器学习增强安全防御、检测和响应能力

机器学习之数据清洗与特征提取

导语:本文详细的解释了机器学习中,经常会用到数据清洗与特征提取的方法PCA,从理论、数据、代码三个层次予以分析。

作者:汪毅雄

机器学习,这个名词大家都耳熟能详。虽然这个概念很早就被人提出来了,但是鉴于科技水平的落后,一直发展的比较缓慢。但是,近些年随着计算机硬件能力的大幅度提升,这一概念慢慢地回到我们的视野,而且发展速度之快令很多人刮目相看。尤其这两年,阿法狗在围棋届的神勇表现,给人在此领域有了巨大的遐想空间。

所谓机器学习,一般专业一点的描述其是:机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

同步内容
--电子创新网--
粤ICP备12070055号