demi的博客

图像处理的多线程计算

图像处理的算法复杂度通常都比较高,计算也相应比较耗时。利用CPU多线程处理能力可以大幅度加快计算速度。但是,为了保证多线程处理的结果和单线程处理的结果完全相同,图像的多线程计算有一些需要特别考虑的地方。

基本思路:为了能让多个线程同时并行处理,那么各自处理的数据不能有交集,这很好理解。那么基本思路是将一副图像分成多个子块,每个子块数据肯定是没有交集的,每个线程对一个子块数据进行处理,完成后将所有子块处理结果合成最终图像。

首先,每个子块的大小当然是必须考虑的问题。通常当应用进行一个较长时间的操作,应该用合适的方式告知用户。既然我们把图像分子块处理,如果单个子块处理时间很短,那么每当有一个子块的数据处理完成,我们就可以立即把它相应的处理结果展示给用户。用户就会看到这个图像各个部分的处理结果不断展示出来,直至整个图像完成。这样某种程度上用这种方式就是在告知用户正在处理进行中,避免为了把整个图像处理完成,用户需要等待太长时间。从这个角度来说,如果子块尺寸取的太大,每个子块计算时间肯定相应地加长,对于快速显示部分处理结果给用户是不利的。但是如果子块太小,子块总数就会增加,肯定会增加线程开销和其他一些开销(分割图像,分配子块数据等等),对于总的计算时间是不利的。这是一个权衡问题,可以根据具体情况确定。

机器学习的八个核心能力

机器学习是大数据、人工智能的核心,是从事这个领域的必经之路。但是懂得算法还远远不能体现机器学习的价值所在。如果你是开发者,方便的机器学习egg为你涉入该领域提供了便捷。不过,能够确定一套高商业价值的模型,你需要很长的积淀。总结八个机器学习的核心能力以供把控方向。

1、问题模型化能力

机器学习的最终目的是实现某种问题的利益最大化,所有实际问题最终都会转化为一个数据科学的优化问题,那么就需要你有较好的行业背景认识。尽管海量数据会大量缩小你对行业熟知知识的要求,但数据往往不全是海量的,且熟悉的行业背景知识可大大提高效率。

2、复杂数据结构化能力

喂入算法是数据是设计好的,结构化了的数据,但实际数据往往有各种来源,如图像数据、文本数据、空间、事件序列...故而合理的结构化数据的能力是很有必要的。

3、数据量、数据结构与数据合理预处理的能力

1)数据量VS异常值

机器学习之最小二乘法

1. 背景:

1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中,而法国科学家勒让德于1806年独立发现“最小二乘法”,但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。

1829年,高斯提供了最小二乘法的优化效果强于其他方法的证明,见高斯-马尔可夫定理。

2. 最小二乘法在机器学习中被用来

3. 高中关于最小二乘法估计

概括:

假设有若干个样本点 ( x1 , y1 ) , ( x2 , y2 ) , ( x3 , y3 ) , ( x4 , y4 ) , ( x5 , y5 ) , 求解直线y=kx+b,是的这些样本点到直线的距离最小。

机器学习(一)——朴素贝叶斯

0、思想:

对于给定的待分类项x,通过学习到的模型计算后验概率分布,即:在此项出现的条件下各个目标类别出现的概率,将后验概率最大的类作为x所属的类别。后验概率根据贝叶斯定理计算。

关键:为避免贝叶斯定理求解时面临的组合爆炸、样本稀疏问题,引入了条件独立性假设。用于分类的特征在类确定的条件下都是条件独立的。

1、朴素贝叶斯朴素在哪里?

简单来说:利用贝叶斯定理求解联合概率P(XY)时,需要计算条件概率 P( X | Y ) 。在计算 P ( X | Y ) 时,朴素贝叶斯做了一个很强的条件独立假设(当Y确定时,X的各个分量取值之间相互独立),即 P ( X1 = x1 , X2 = x2 , ... Xj=xj|Y=yk ) = P ( X1 = x1 | Y = yk ) * P( X2 = x2 | Y = yk ) * ... * P ( Xj = xj | Y = yk ) 。

主要的应用:电子邮件垃圾过滤、新闻分类

盘点:推动自动驾驶汽车发展的四项技术趋势

虽然跟得太紧或是刹车太晚等驾驶行为很容易处理,但是预测其他驾驶员行为以及处理复杂的交叉路口情况只能依赖有经验的驾驶员。自动驾驶汽车(AV)就像新手驾驶员,只是其拥有发展得更好的大脑以及价值数十亿美元的技术,可帮助缩短学习时间。但是即使使用其所有的传感器和软件,自动驾驶汽车在可以完全自信且有能力驾驶之前,仍有需要克服的缺陷。

在自动驾驶车辆竞争中,有几项不太引人注目的技术趋势正在突起,以帮助真正的自动驾驶车辆成为现实。

教会自动驾驶车辆有关道路规则技术

人类驾驶员必须学习驾驶员手册,了解停车标志和让路标志的区别,同样地,自动驾驶车辆也需要通过人工智能(AI)学习道路规则。此外,自动驾驶车辆还需要通过在路上花费数小时来获取有关真实世界的体验。

物联网发展的8大趋势

物联网(IOT)是一项科技革命,目标在于将短距离移动资料收发器嵌入到日常生活中的小工具或事物中,为信息通讯的技术领域带来新的发展面向。

Frost & Sullivan的研究报告提出物联网的八大发展趋势:

一、物联网将演变为认知工具

2017年物联网的发展将从IoT 0.0版的连接装置演变成IoT 2.0版的使用认知运算(cognitive computing)及预测运算(predictive computing)。

(一)、IoT 0.0即是机器对机器(Machine-to-Machine, M2M)特性包括:联机装置是透过手机或与其他网络、极少的数据数据有整合企业或消费者的应用程序、且重点放在嵌入式硬件和手机网络的“管道(plumbing)”方面。

(二)、IoT 1.0特性包括:云端运算、整合企业管理、支持新的商业模式,如产品即服务、装置与网络安全、大数据分析、聚焦于整合软件功能和应用程序。

(三)、IoT 2.0特性:指物联网将从数据运用至事件响应,再转变为使用知觉工具和认知运算(或预测运算)。

Gartner 发布 2019 年十大战略性技术趋势:自主设备、增强分析、AI 驱动的开发、量子计算等

Gartner公司昨天列出了企业组织在2019年需要探究的几大战略性技术趋势。分析师在Gartner研讨会/ ITxpo大会期间介绍了他们的调查结果。

Gartner 发布 2019 年十大战略性技术趋势:自主设备、增强分析、AI 驱动的开发、量子计算等

Gartner对战略性技术趋势的定义是:具有巨大颠覆性潜力的趋势,开始从新兴状态蜕变为更广泛的影响和使用,或者是快速发展的趋势,很大的波动性有望在未来五年达到临界点。

电池或将是工业竞争的下一条前线

某种程度上,下一阶段的全球市场竞争或将是“得电池者得天下”的局面。至少在未来汽车工业的发展轨迹来看,这将是大概率事件。因而,无论是汽车生产商还是电池供应商,都十分紧张各自的电池产业布局。

雷诺日产三菱CEO卡洛斯·戈恩(Carlos Ghosn)在上周日(10月14日)刚刚结束的巴黎车展上表示,除非行业能建立自己的电池产能,否则就不可能获得持续的繁荣。

电动汽车来了。目前,全世界有约250万辆电动汽车在使用中。国际能源署(IEA)预计,到2025年,鉴于传统内燃机汽车的使用受到监管以及电池费用下降可能促使未来全球电动汽车出现强劲增长,电动汽车数量将上升到4000万至7000万辆。目前几乎所有的欧洲主要汽车品牌都计划在未来18个月内大规模推广电动车,以满足2020年开始生效的更严格的二氧化碳排放标准。

紧跟着汽车电动化发展脚步的是电池产业,而电池也无疑是发展电动汽车的核心一环。

全球电池行业格局演变中

预见未来丨2019年,智能家居有几大发展趋势?

本文认为,2019年智能家居的发展趋势为:①智能家具;②智能车库门;③智能卫浴技术;④智能车库门;⑤出租公寓将配备智能家居;⑥出租公寓将配备智能家居;⑦智能家居可穿戴设备。

2015年,全球智能家居市场已达485亿美元。2018年,全球智能家居市场规模预计将达到710亿美元。

在越来越注重个人体验的时代里,智能家居已经成为居家必备品,传统家居已经无法满足当代年轻人对生活品质的需求。现代科技推动时代的发展,在一定程度上改变着人类生活和消费的习惯。随着新产品的的出现,智能家居市场会出现很多新的发展趋势。

趋势一:智能家具

目前,大多数人拥有的智能家居产品都是智能音箱和智能摄像机等配件。然而,分析人士认为,不久之后,我们看到具有智能功能的整体家具将是很平常的事。事实上,英国的一些公司已经开始提供诸如内置无线电话充电器的桌子,或带有喇叭的沙发,以及其它内置苹果产品和应用的家具。

趋势二:智能车库门

卷积神经网络就是这么简单就能学会

卷积神经网络(CNN)

卷积神经网络和前几次介绍的神经网络非常相似:它们都是由神经元组成,神经元中有具有学习能力的权重和偏差。每个神经元都得到一些输入数据,进行内积运算后再进行激活函数运算。整个网络依旧是一个可导的评分函数:该函数的输入是原始的图像像素,输出是不同类别的评分。在最后一层(往往是全连接层),网络依旧有一个损失函数(比如SVM或Softmax),并且在神经网络中我们实现的各种技巧和要点依旧适用于卷积神经网络。

那么有哪些地方变化了呢?卷积神经网络的结构基于一个假设,即输入数据是图像,基于该假设,我们就向结构中添加了一些特有的性质。这些特有属性使得前向传播函数实现起来更高效,并且大幅度降低了网络中参数的数量。

用来构建卷积网络的各种层

一个简单的卷积神经网络是由各种层按照顺序排列组成,网络中的每个层使用一个可以微分的函数将激活数据从一个层传递到另一个层。卷积神经网络主要由三种类型的层构成:卷积层,池化(Pooling)层和全连接层(全连接层和常规神经网络中的一样)。通过将这些层叠加起来,就可以构建一个完整的卷积神经网络。