demi的博客

机器学习中数据不平衡问题

可以把问题根据难度从小到大排个序:大数据+分布均衡<大数据+分布不均衡<小数据+数据均衡<小数据+数据不均衡。

说明:对于小数据集,机器学习的方法是比较棘手的。对于需要解决的问题,拿到数据后,首先统计可用训练数据有多大,然后再观察数据分布情况。经验表明,训练数据中每个类别有5000个以上样本,其实也要相对于特征而言,来判断样本数目是不是足够,数据量是足够的,正负样本差一个数量级以内是可以接受的,不太需要考虑数据不平衡问题(完全是经验,没有理论依据,仅供参考)。

0、搜集更多的数据

然而实际上,当搜集数据的代价不大时,这种方法是最有效的。

但是需要注意,当搜集数据的场景本来产生数据的比例就是不平衡时,这种方法并不能解决数据比例不平衡问题。

1、采样

采样分为上采样(Oversampling)和下采样(Undersampling),上采样是把小众类复制多份,下采样是从大众类中剔除一些样本,或者说只从大众类中选取部分样本。

哪三大趋势引领着物联网的未来?

虽然经历的多年的发展,物联网却仍然面临应用碎片化的挑战。在可以预见的未来,物联网更多地会倾向于率先在垂直行业里蓬勃发展,此外还有三种趋势值得关注。

(1)更加丰富的连接技术

物联网的基础是连接,任何物联网应用的底层都是通过网络进行连接。大家比较熟悉的连接技术包括WIFI、蓝牙、ZigBee等短距离无线连接技术和GPRS、LTE、NB-IoT等蜂窝连接技术,当然还包含了工业总线、以太网、PON等有线连接技术。

现在最受市场广泛关注的当属NB-IoT。随着2016年6月NB-IoT标准协议的冻结,NB-IoT着实又掀起了物联网市场新一波热潮。NB-IoT作为窄带蜂窝低功耗广域技术,其广覆盖、大连接、低功耗、低成本的优势,非常适合那些远距离传输、数据量少、需电池供电长久运行的物联网应用。

在实际场景中,大部分物联网应用通常只需要传输很少量的数据。例如,对于桥梁的位移状态数据进行采集,虽然数据量并不大,但桥梁一般位置比较分散,而且一般都不具备供电环境,传统的2G/3G通信对功耗要求较高而不能应用部署。NB-IoT的出现,将能够更有效地解决更多类似场景的接入需求。

AI热潮的关键:深度学习不止深度神经网络

【编者按】作为本轮AI的关键技术,深度学习不单只是深度神经网络模型本身。事实上,深度神经网络的发展痛点频频,包括稳定性和对设备的依赖性,以及调试复杂度困难等等。事实上,回归到深度学习的本质问题,前企学研界还有很多探索深度学习新的可能性。

本文原载于21世纪经济报,经亿欧网编辑,以供业内人士参考。

作为本轮人工智能热潮的关键技术,机器学习尤其是深度学习受到了热捧。一时间,人人嘴上挂着深度学习、神经网络等词汇,似乎不谈这一话题,便与智能时代脱节。

然而,无论开发者或科技企业,对深度学习恐怕存在一定误解。“如果问一下‘什么是深度学习’,绝大多数人的答案都会是:深度学习就是深度神经网络,甚至认为‘深度学习’就是‘深度神经网络’的同义词。”在2018英特尔人工智能大会上,南京大学计算机系主任、人工智能学院院长周志华直言现状。

这一观念其实是片面的。事实上,当前深度学习主流的深度神经网络模型本身,也存在着诸多问题。“吃数据,吃机器,对开发者门槛要求高。”当谈及当前模型痛点时,一位深度学习领域相关开发者向记者直言。另一位开发者则告诉记者,深度神经网络模型的效果稳定性也可能不如预期。

术语解析:OpenCL、OpenGL、OpenAL

一、OpenCL

(全称Open Computing Language,开放运算语言)是第一个面向异构系统通用目的并行编程的开放式、免费标准,也是一个统一的编程环境,便于软件开发人员为高性能计算服务器、桌面计算系统、手持设备编写高效轻便的代码,而且广泛适用于多核心处理器(CPU)、图形处理器(GPU)、Cell类型架构以及数字信号处理器(DSP)等其他并行处理器,在游戏、娱乐、科研、医疗等各种领域都有广阔的发展前景。

OpenCL是一个为异构平台编写程序的框架,此异构平台可由CPU,GPU或其他类型的处理器组成。OpenCL由一门用于编写kernels (在OpenCL设备上运行的函数)的语言(基于C99)和一组用于定义并控制平台的API组成。OpenCL提供了基于任务分割和数据分割的并行计算机制。

OpenCL类似于另外两个开放的工业标准OpenGL和OpenAL,这两个标准分别用于三维图形和计算机音频方面。OpenCL扩展了GPU用于图形生成之外的能力。OpenCL由非盈利性技术组织Khronos Group掌管。

值得关注的8个网络认证

毫无疑问,CompTIA Network +和Cisco CCNA路由和交换等认证是新兴网络管理员最感兴趣的考试。

但是必须指出的是,传统网络认证的坚实基础很重要。也就是说,如果你已经在网络上工作了几年,并且已经获得了传统的网络认证,那么可能是时候扩展你的视野了。在企业网络领域,有许多不同的领域可供关注。要关注网络领域的决定可能围绕两个因素。首先是网络的需求部分,因为它与您当前的工作有关,另一个是各人对网络领域的兴趣。

专注于如何在数据中心内设计,配置和管理虚拟化网络和网络的认证将帮助您在维护私有数据中心的大型企业中找到工作。如果您为云服务提供商(CSP)工作,这些类型的认证也很有用。如果您的目标是成为复杂问题的网络故障排除专家,那么特定监控或故障排除工具中的认证对于实现目标非常有价值。最后,如果您希望将更多时间花在使用特定网络组件(如安全设备,无线技术或网络自动化)上,那么在这些特定领域中的认证可以帮助您引导您的职业发展到这些目标。

下面向您展示了八项网络认证,这些认证有可能改变您的IT职业发展轨迹,以更好地适应公司的发展。

数据中心认证:Cisco CCNP数据中心

人工神经网络真的像神经元一样工作吗?

人工神经网络和机器学习已经成为大众媒体的热门主题。智能机器这一想法勾起了很多人的想象,而且人们特别喜欢把它和人类放一起比较。特别是有一个关于人工智能的底层机制的基础问题经常出现——这些人工神经网络的工作方式真的和我们大脑中的神经元相似吗?

开发者谈传统游戏难度设计的缺陷和设计思维转变

原作者:Alex Vu 译者:Vivian Xue

游戏难度设计是人们深入讨论已久的话题。许多替代传统的在游戏开头提供难度选择的方法都被提出、分析和应用。然而,尽管它们从一定程度上弥补了传统方式的缺陷,它们本身仍存在诸多问题。因此,我想提出另一种替代方式——它算不上一种技术应用层面的解决方案,而是一种不同的难度设计理念。

我想要强调一点,这种理念已经被成功地运用到了许多游戏设计中,之后我将提到,但就目前的应用程度来看,它尚未成为难度设计的核心理念,而在我看来这是它应得的地位。我想这是由于我们缺乏一套相对清晰且深思熟虑的难度设计思路。

但首先,请让我试着简短地总结一些对传统的难度模式设计及其替代方法的常见批评。

难度模式存在的问题

试想一下你刚进入了一款全新的游戏,你的面前立即出现了若干选项,要求你选择一个适合你的难度模式。说白了,他们在让你做出这个重要的决定前,并没有为你提供充分的信息。这就是我们的游戏一贯以来处理难度问题的方式,并且直到现在,这种方式在游戏中仍然很常见。

以下是对这种方式的一些常见的批评:

解构无人驾驶:有哪些关键技术?哪些关键公司?

无人驾驶汽车有望将在未来20年内得到广泛运用,各大科技公司和汽车厂商均在加大对无人驾驶的投入,资本也纷纷抢滩该万亿市场。

无人驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作,通过电脑实现无人驾驶,可以在没有任何人类主动的操作下,自动安全地操作机动车辆。

无人驾驶依赖几种先进技术,这些互为补充的技术感知周围环境、进行自我导航。究竟这些技术如何协同工作?除了Waymo等知名的领头羊之外,又有哪些公司在推动这个行业发展?

解构无人驾驶:有哪些关键技术?哪些关键公司?

CB Insights拆解分析了实现无人驾驶的诸多技术,并介绍了有望让无人驾驶汽车更先进、更低成本、更容易扩展的几家初创公司。

感知能力

无人驾驶汽车必须要能够识别交通信号和标志,以及其他汽车、自行车和行人。它们还必须能感知前方物体的距离和速度,以便作出对应反应。

机器人视觉的九大挑战

机器人视觉解决方案是我们实现机器人视野的几大挑战。即便变得越来越简单易用,还是有一些棘手的问题。很多因素影响机器人在环境中的视觉,任务设置和工作场所。这里有9个总结出来的机器人视觉挑战:

1. 照明

如果有过在低光照下拍摄数码照片的经验,就会知道照明至关重要。糟糕的照明会毁掉一切。成像传感器不像人眼那样适应性强或敏感。如果照明类型错误,视觉传感器将无法可靠地检测到物体。

有各种克服照明挑战的方法。一种方法是将有源照明结合到视觉传感器本身中。其他解决方案包括使用红外照明,环境中的固定照明或使用其他形式的光的技术,例如激光。

2. 变形或铰接

球是用计算机视觉设置来检测的简单对象。你可能只是检测它的圆形轮廓,也许使用模板匹配算法。但是,如果球被压扁,它会改变形状,同样的方法将不再起作用。这是变形。它会导致一些机器人视觉技术相当大的问题。

“四问”自动驾驶:到底该如何理想面对它?

随着自动驾驶汽车的兴起,使得不少传统车企似乎看到了新的商机,于是纷纷向该领域进行投资。然而提起“自动驾驶”,相信不少用户会感到陌生,但对于自动驾驶领域来说,从目前来看,它正以“飞速”的速度进行发展。小编坚信,未来,自动驾驶汽车将成为我们生活中最常见的交通方式,所以大家多少都需要知道一些关于自动驾驶的常识,也许当你想要购买该领域新车时,能够有一些自己的见解,正所谓“知己知彼百战百胜”嘛,下面小编为大家科普几个日常生活的需要的知识点,或许你看完会对自动驾驶有一个新的认识。

科普知识点一:记住这些知识点,关键时刻能保命

有研究表明,关于自动驾驶来说,人们仍要需要懂得一些常识才能上路,有人说,90%的驾驶任务不需要常识,需要使用常识的情况只有微不足道的10%。然而,如果你上路行驶的自动驾驶汽车错过了那10%的常识,遇到突发情况后,才会追悔莫及。