算法

机器学习之最小二乘法

1. 背景:

1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中,而法国科学家勒让德于1806年独立发现“最小二乘法”,但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。

1829年,高斯提供了最小二乘法的优化效果强于其他方法的证明,见高斯-马尔可夫定理。

2. 最小二乘法在机器学习中被用来

3. 高中关于最小二乘法估计

概括:

假设有若干个样本点 ( x1 , y1 ) , ( x2 , y2 ) , ( x3 , y3 ) , ( x4 , y4 ) , ( x5 , y5 ) , 求解直线y=kx+b,是的这些样本点到直线的距离最小。

我们高中的求解方式也是这样的:

图像处理分类、一般流程与算法

常用的图像处理算法:数字图像处理基础、遥感数字图像处理、机器视觉、计算机视觉

图像处理程序:C++ OpenCV、Matlab与图像处理

数字图像处理-概述

其实,造成“不可能图形”(三角形的三个角都是90°)的并不是图形本身,而是你对图形的三维知觉系统,这一系列在你知觉图形的立体心理模型时强制作用。在把二维平面图形知觉为你三维立体心理图形时,执行这一过程的机制会极大地影响你的视觉系统。

正是在这一强制执行的机制的影响下,你的视觉系统对图形中的每一个点都赋予了深度。换句话说,一幅图像的某些二维结构元素和你三维知觉解释系统的某些结构元素相对应。二维直线被解释成三维直线。二维的平面被解释为三维的平面。在透视图像中,锐角和钝角都被解释为90°角。外面的线段被看作是外形轮廓的分界线。这一外形分界线在你定义整个心理图像的外形轮廓时起着及其重要的作用。这说明,在没有相反信息的影响下,你的视觉系统总是假定你从一个主要视角观看事物。

三角形的每一个顶角都产生透视,三个90°的角,而且,每条边的距离变化不同。把三个顶角合成一个整体,就产生了一个空间不可能图形。

相对性:环境对比的影响

语音识别算法的现状

目前的语音识别算法:卷积神经网络、深度学习神经网络、BP神经网络、RBF神经网络、模糊聚类神经网络、改进的T-S模糊神经网络、循环神经网络、小波神经网络、混沌神经网络、小波混沌神经网络、神经网络和遗传算法、动态优化神经网络、K均值和神经网络集成、HMM与自组织神经网络的结合、正交基函数对向传播过程神经网络、HMM和新型前馈型神经网络、特征空间随机映射、SVM多类分类算法、特征参数归一化、多频带谱减法、独立感知理论、分段模糊聚类算法VQ-HMM、优化的竞争算法、双高斯GMM特征参数、MFCC和GMM、MFCCs和PNN、SBC和SMM、MEL倒谱系数和矢量量化、DTW、LPCC和MFCC、隐马尔科夫模型HMM。

由于BP算法在神经网络的层数增多时容易陷入局部最优的困境,也很容易产生过拟合的问题。20世纪90年代,各种各样的浅层机器学习模型相继被提出,如支撑向量机(Support Vector Machines, SVM)、Boosting、最大熵方法(如 Logistic Regression, LR)等。这些模型具有高效的学习算法,且不存在局部最优的问题,在理论分析与实际应用中都获得了巨大的成功。相比之下,MLP的训练需要很多经验和技巧,多层前馈神经网络的研究逐渐变得冷清。

一文读懂什么是P问题、NP问题和NPC问题

你会经常看到网上出现“这怎么做,这不是NP问题吗”、“这个只有搜了,这已经被证明是NP问题了”之类的话。你要知道,大多数人此时所说的NP问题其实都是指的NPC问题。他们没有搞清楚NP问题和NPC问题的概念。NP问题并不是那种“只有搜才行”的问题,NPC问题才是。好,行了,基本上这个误解已经被澄清了。下面的内容都是在讲什么是P问题,什么是NP问题,什么是NPC问题,你如果不是很感兴趣就可以不看了。接下来你可以看到,把NP问题当成是 NPC问题是一个多大的错误。

[机器学习]推荐系统之协同过滤算法

在现今的推荐技术和算法中,最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。下面直接进入正题.

1、什么是推荐算法

推荐算法最早在1992年就提出来了,但是火起来实际上是最近这些年的事情,因为互联网的爆发,有了更大的数据量可以供我们使用,推荐算法才有了很大的用武之地。

最开始,所以我们在网上找资料,都是进yahoo,然后分门别类的点进去,找到你想要的东西,这是一个人工过程,到后来,我们用google,直接搜索自己需要的内容,这些都可以比较精准的找到你想要的东西,但是,如果我自己都不知道自己要找什么肿么办?最典型的例子就是,如果我打开豆瓣找电影,或者我去买说,我实际上不知道我想要买什么或者看什么,这时候推荐系统就可以派上用场了。

2、推荐算法的条件

现在的各种各样的推荐算法,但是不管怎么样,都绕不开几个条件,这是推荐的基本条件
1.根据和你共同喜好的人来给你推荐
2.根据你喜欢的物品找出和它相似的来给你推荐
3.根据你给出的关键字来给你推荐,这实际上就退化成搜索算法了
4.根据上面的几种条件组合起来给你推荐

机器学习萌新必学的Top10算法

在机器学习中,有一种叫做「没有免费的午餐」的定理。简而言之,它指出没有任何一种算法对所有问题都有效,在监督学习(即预测建模)中尤其如此。

例如,你不能说神经网络总是比决策树好,反之亦然。有很多因素在起作用,例如数据集的大小和结构。

因此,你应该针对具体问题尝试多种不同算法,并留出一个数据「测试集」来评估性能、选出优胜者。

当然,你尝试的算法必须适合你的问题,也就是选择正确的机器学习任务。打个比方,如果你需要打扫房子,你可能会用吸尘器、扫帚或拖把,但是你不会拿出铲子开始挖土。

大原则

不过也有一个普遍原则,即所有监督机器学习算法预测建模的基础。

机器学习算法被描述为学习一个目标函数 f,该函数将输入变量 X 最好地映射到输出变量 Y:Y = f(X)

这是一个普遍的学习任务,我们可以根据输入变量 X 的新样本对 Y 进行预测。我们不知道函数 f 的样子或形式。如果我们知道的话,我们将会直接使用它,不需要用机器学习算法从数据中学习。

最常见的机器学习算法是学习映射 Y = f(X) 来预测新 X 的 Y。这叫做预测建模或预测分析,我们的目标是尽可能作出最准确的预测。

算法有偏见?比人强就行!

在讨伐算法导致的偏见和产生的作用时,更重要的问题是:与完全没有使用算法的情况相比是怎样的?我们应该比较算法的缺陷与人类的缺陷,而不是简单地询问算法是否存在缺陷。

一场革命正在悄然进行。

这场革命与大部分新闻报道中出现的人工智能的进展有所不同。

新闻媒体往往聚焦于感知型机器人军团的重大发展,而更重要的角逐是在全国各类机构传统人为决策过程中展开,很显然,自动化比重正在稳步增加。

不同于AlphaGo Zero这样占据头条新闻的先进成果,这场革命通过相当传统的机器学习和统计技术如普通最小二乘法、逻辑回归、决策树等,为许多组织创造了真正的价值。

这些技术应用的领域是很广泛的,包括医疗诊断、司法判决、公共机构的专业招聘和资源分配等。

这场革命是好事吗?

图像处理算法——边缘检测

图像处理领域中涉及很多特征,角点特征,边缘特征,形状特征,纹理特征,颜色特征,直方图统计特征等等(还有很多^_^)。这些特征有些是比较底层的特征,如角点特征,边缘特征,颜色特征等,有些则是较为高层的特征,如形状特征,纹理特征,直方图统计特征。

这里我们主要谈论底层特征中的边缘特征,提取这些特征的手段叫作边缘特征提取或叫作边缘检测。边缘检测常用的算子中分为一阶检测算子和二阶检测算子,这里提及的算子有些类似数学中的微分的概念(要有一定的数学基础哦)。边缘检测的另外一种形式也被成为相位一致性,这个概念我到后面再谈及,有了这个概念之后帮助我们从图像频域分析边缘提取这一过程。

表1 图像处理边缘检测算子分类表格
图像处理算法——边缘检测

改变世界的十位算法大师

算法是整个计算机科学的基石,是计算机处理信息的本质。 从开创算法分析这一领域的高德纳、Amazon的“首席算法官”乌迪·曼伯尔,到发明快速排序算法托尼.霍尔,本文介绍了对AI、以及整个计算领域影响深远的十位算法大师。

Don E.Knuth 高德纳

改变世界的十位算法大师

算法和程序设计技术的先驱者。Oh,God!一些国外网站这样评价他。一般说来,不知道此人的程序员是不可原谅的。其经典著作《计算机程序设计艺术》更是被誉为算法中“真正”的圣经,像KMP和LR(K)这样令人不可思议的算法,在此书比比皆是。难怪连 Bill Gates都说:“如果能做对书里所有的习题,就直接来微软上班吧!”

一文读懂区块链技术六大核心算法

近日,在加密货币经历“混乱时期”后,区块链再次火爆起来,受到了各方的极大关注与重视,成为资本市场和各领域关注的焦点,就连朋友圈中的探讨和分享也让人目不暇接。那么,区块链到底是个什么鬼?区块链的核心算法又有哪些?

区块链核心算法一:拜占庭协定

拜占庭的故事大概是这么说的:拜占庭帝国拥有巨大的财富,周围10个邻邦垂诞已久,但拜占庭高墙耸立,固若金汤,没有一个单独的邻邦能够成功入侵。任何单个邻邦入侵的都会失败,同时也有可能自身被其他9个邻邦入侵。拜占庭帝国防御能力如此之强,至少要有十个邻邦中的一半以上同时进攻,才有可能攻破。然而,如果其中的一个或者几个邻邦本身答应好一起进攻,但实际过程出现背叛,那么入侵者可能都会被歼灭。于是每一方都小心行事,不敢轻易相信邻国。这就是拜占庭将军问题。

在这个分布式网络里:每个将军都有一份实时与其他将军同步的消息账本。账本里有每个将军的签名都是可以验证身份的。如果有哪些消息不一致,可以知道消息不一致的是哪些将军。尽管有消息不一致的,只要超过半数同意进攻,少数服从多数,共识达成。

同步内容
--电子创新网--
粤ICP备12070055号