demi的博客

机器学习:完整机器学习项目流程,数据清洗

一、完整机器学习项目流程

1. 数学抽象--任务目标

明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情,胡乱尝试时间成本是非常高的。

这里的抽象成数学问题,指的是根据数据明确任务目标,是分类、还是回归,或者是聚类。

2. 数据获取--数据集

数据决定了机器学习结果的上限,而算法只是尽可能逼近这个上限。

数据要有代表性,否则必然会过拟合。

对于分类问题,数据偏斜不能过于严重(平衡),不同类别的数据数量不要有数个数量级的差距。

对数据的量级要有一个评估,多少个样本,多少个特征,据此估算出内存需求。如果放不下就得考虑改进算法或者使用一些降维技巧,或者采用分布式计算。

人工智能与伦理问题浅谈

人工智能一词是在1956年的达特茅斯会议上被首次提出来的。作为一门新兴的交叉学科,人工智能在当今脑科学、认知科学飞速发展的基础下,被称为本世纪三大科技成就之一。目前来说,人工智能主要涉及计算机领域,它试图了解人类智能的实质,进而能够生产出一种媲美人类智能的软件系统、机器人、仿生人或者生化人,最后乃至能够全面超越当今人类的“新人类”。

cocos2dx渲染架构

2dx的时代UI树便利和渲染是没有分开的,遍历UI树的时候就渲染.3dx版本为了分离了ui树的遍历和渲染,先遍历生成渲染命令发到渲染队列,之后遍历渲染命令队列开始渲染.这样做的好处是渲染命令可以重用,单独的渲染可以做优化例如自动批绘制.本篇首先介绍cocos2D-X 3.x版本的渲染结构,之后会深入opengl es.

mainLoop

数字图像处理常用的方法总结

数字图像处理(Digital Image Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。

做了几年的图像处理,可以对一些使用的方法进行总结:

1、图像变换

由于图像阵列很大,直接在空间域中进行处理,涉及计算量很大。因此,往往采用各种图像变换的方法,例如:
傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术,将空间域的处理转换为变换域处理,不仅可减少计算量,而且可获得更有效的处理(如傅立叶变换可在频域中进行数字滤波处理)。

2、图像编码压缩

图像编码压缩技术可减少描述图像的数据量(即比特数),以便节省图像传输、处理时间和减少所占用的存储器容量。压缩可以在不失真的前提下获得,也可以在允许的失真条件下进行。编码是压缩技术中最重要的方法,它在图像处理技术中是发展最早且比较成熟的技术。

3、图像增强

机器学习:高级算法课程学习总结

作为一个机器学习方面的小白,在闵老师课上学的两个聚类算法,即经典的K-means聚类和基于随机游走的聚类算法,是我学习到的头两个与机器学习相关的算法。算法课上,闵老师先讲了简单但是经典的K-means聚类算法,让我们对聚类算法有了一个初步的理解,紧接着又花了大量的时间剖析了基于随机游走的聚类算法。五周十二次的课程,我学到的不只是算法本身,下面将从几个方面来总结我对本课程的收获。

物联网设备所面临的风险与挑战

物联网是一种包含网络传感器的设备,可以进行远程监测和控制。到2025年,物联网设备的安装数量预计将达到750亿台。这些设备包括家用路由器、远程摄像头、医疗设备等等。物联网市场涵盖的领域非常广泛,包括工业、银行业、零售业、制造业以及医疗保健等行业。2018年以来,随着总体网络安全趋势的暴露,全球范围内大量正在使用中的物联网设备如今已沦落为网络犯罪分子的乐园。随着越来越多物联网设备被引入市场,物联网所面临的风险也在愈发增多,且威胁样式也在发生转变。

威胁之源

一文读懂:大数据、人工智能、机器学习与深度学习,解决你的学习烦恼!

大数据、人工智能是目前大家谈论比较多的话题,它们的应用也越来越广泛、与我们的生活关系也越来越密切,影响也越来越深远,其中很多已进入寻常百姓家,如无人机、网约车、自动导航、智能家电、电商推荐、人机对话机器人等等。

unity 协程原理与线程的区别

说到协程,我们首先回顾以下线程与进程这两个概念。在操作系统(os)级别,有进程(process)和线程(thread)两个我们看不到但又实际存在的“东西”,这两个东西都是用来模拟“并行”的,写操作系统的程序员通过用一定的策略给不同的进程和线程分配CPU计算资源,来让用户“以为”几个不同的事情在“同时”进行“。

2019:赛门铁克眼中的6大网络安全趋势

新年伊始,安全企业都会对过去一年发生的重要事件进行梳理,并基于自身在过去一年对安全态势的理解和积累,形成独特视角,发布新一年的安全趋势预测。

作为全球最大的安全企业,赛门铁克(Symantec)如何看待2019年全球网络安全的发展态势?

趋势1. 围绕AI的竞争和对抗

赛门铁克认为,技术逐年成熟甚至已经到达商用标准的人工智能(AI),无论是从“攻击者”还是“防御着”视角,其强大的自动化、增强决策能力,是攻防双方对人工智能及相关技术的竞争和对抗,2019年会演变的更加激烈。

先从攻击者角度来看。

人工智能系统尤其自我的脆弱性,已有安全研究人员发现,通过恶意训练数据可以影响系统逻辑,并导致运行失常。随着人工智能应用的不断广泛与深入,无疑,关键性的人工智能系统有大概率成为攻击者在2019年的重点关注目标。

除了将其作为攻击目标外,攻击者还可以利用人工智能实施犯罪活动。

人工智能可以帮助攻击者更快速探测网络和系统,并寻找可利用的安全漏洞;人工智能还可以被利用来仿造视频、音频、电子邮件,并针对个人目标发起社会工程攻击。可以预见的是,由人工智能驱动的攻击工具,可以以更低的成本,发动更为复杂的针对性攻击。

科普:物联网的5种无线技术

各种类型的无线技术和网络允许设备在没有电缆的情况下彼此和网络(TCP / IP网络)说话(发送数据)。有许多不同的无线技术可以在用于物联网(IoT)和机器到机器(M2M)通信的硬件产品中实现。电气和电子工程师协会(IEEE)为802.15技术设立了七个任务组。这些小组为用于个人区域网络的常见无线技术设定了标准。