大数据

大数据时代:十大最热门的大数据技术

随着大数据分析市场快速渗透到各行各业,哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数,这里给出最热的十个大数据技术。

1、预测分析

预测分析是一种统计或数据挖掘解决方案,包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。随着现在硬件和软件解决方案的成熟,许多公司利用大数据技术来收集海量数据、训练模型、优化模型,并发布预测模型来提高业务水平或者避免风险;当前最流行的预测分析工具当属IBM公司的SPSS,SPSS这个软件大家都已经很熟悉了,它集数据录入、整理、分析功能于一身。用户可以根据实际需要和计算机的功能选择模块,SPSS的分析结果清晰、直观、易学易用,而且可以直接读取EXCEL及DBF数据文件,现已推广到多种各种操作系统的计算机上。

2、NoSQL数据库

物联网学习干货:全面解析工业4.0和云计算、大数据

数据驱动下的制造业,工业4.0是一个社会变革维度的概念,产生链将以数据为维度进行重新划分,大数据和云计算技术对制造业的影响越来越重。

【工业4.0】

工业4.0是在现代智能机器人、传感器、数据存储和计算能力实现突破的条件下,通过工业互联网将供应链、生产过程和仓储物流智能连接,从而实现智能生产的“四化”:供应和仓储成本较小化,生产过程自动化,需求相应速度较大化和产品个性化。

在4.0时代,不仅制造环节的人工将得到节省(机器人为主体的自动化生产连线),前端供应链管理、生产计划(互联网接入,实施管理订单)、后端仓储物流管理(WMS+自动化立体仓库)都将实现无人化以及较低的渠道库存和物流成本。

对大数据和人工智能的冷思考

大数据和人工智能是今年最热门的话题,在司法领域更是如火如荼,司法在大数据时代的范式革命已经到来。但利之所在弊亦随之,如果对大数据和人工智能的风险缺乏充分认识,不能在热情之余做一番冷思考,则可能会产生许多难以预料的后果。

首先,是大数据和人工智能的安全性问题。该问题虽属老生常谈,但在互联网犯罪模式从攻击计算机和网络本身转向彻底的虚拟犯罪的时代背景下,可能历久弥新。当前,在互联网犯罪中,已经大量出现了犯罪人接受他人委托,侵入政府部门与企事业单位的计算机系统修改数据以及拦截修改计算机信息数据的案例。因此,笔者认为没有理由认为司法大数据能独善其身。毕竟,在互联网犯罪海洋中,没有哪个地方是绝对的安全岛。

其次,是大数据和人工智能的可靠性问题。围绕美国威斯康辛州法院采用的COMPAS量刑程序的争议和诉讼就是一例。有研究者认为,COMPAS倾向于高估某些特定人群的再犯可能性,而这很可能反映了设计者所固有的偏见。如果数据分析本身就受偏见的左右,那么以此为基础的人工智能所作出的决定还能可靠吗?更令人担忧的是,有相当一部分人工智能系统依靠的是机器学习算法。这种算法几乎就是“黑盒子”,因为算法的开发者也难以解释算法的真正运行机制和可能造成的后果。法律乃善良公正之术。当司法拥抱科技时,如果人类将公平正义的决定权交给算法,那么就会面临正义与科技谁会笑到最后的难题。

物联网、云计算、大数据、人工智能怎么区分,又有何关系?

近几年物联网发展越来越快,物联网这个词离我们越来越近,可是物联网到底是什么,它和云计算、大数据、人工智能又有什么关系呢?今天我们就一起来探讨一下。

一、物联网

1、什么是物联网?

物联网在之前被定义为通过射频识别(RFID)、红外线感应器、全球定位系统、激光扫描器、气体感应器等信息传感设备按约定的协议把任何物品与互联网连接起来进行信息交换,以实现智能化识别、定位、跟踪、监控和管理的一种网络,简言之物联网就是“物物相连的互联网”。

后来被重新定义为当下几乎所有技术与计算机、互联网技术的结合,实现物体与物体之间:环境以及状态信息实时的实时共享以及智能化的收集、传递、处理、执行。广义上说,当下涉及的信息技术的应用,都可以纳入物联网的范畴。

2、物联网的关键技术

传感器技术:这也是计算机应用中的关键技术。大家都知道,到目前为止绝大部分计算机处理的都是数字信号。自从有计算机以来就需要传感器把模拟信号转换成数字信号计算机才能处理。

大数据新时代:物联网让生活更加智慧

物联网(IoT,Internet of Things)这一概念最早在1999年提出。美国麻省理工学院建立的“自动识别中心(Auto-ID)”,首次提出“万物皆可通过网络互联”,并阐明物联网的基本含义。早期的物联网仅是依托射频识别(RFID)技术实现物物相连的网络。随着技术和应用的发展,物联网的内涵已发生了较大变化。

物联网将彻底打通虚拟世界与现实世界之间的壁垒

现如今,物联网指的是通过二维码识读设备、射频识别装置、红外感应器、全球定位系统和激光扫描器等信息传感设备,按约定协议,把任何物品与互联网相连接,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理的一种网络。

需要指出的是,物联网并非单独建立一张网络,而是在现有网络基础上的拓展和延伸。就像互联网和移动互联网通过PC、平板电脑、智能手机已经实现人与人之间的互联一样,未来将能实现一切硬件的互联。因此,简单地说,物联网是在原有网络基础上,对任何客观物体网络化和智能化的过程。

如果说第一代互联网技术实现的是计算机之间的互联并成功搭建了虚拟网上世界,第二代互联网技术是通过移动互联网实现了人与人之间的互联,那么未来的互联网技术要实现的是所有物品的互联,彻底打通虚拟世界与现实世界之间的壁垒。

人工智能和大数据的开发过程中需要注意这12点

人工智能是近年来科技发展的重要方向,在大数据时代,对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中,有哪些特别需要注意的要点?

人工智能领域的算法大师、华盛顿大学教授Pedro Domingos对此进行了深入思考。

在我们新近翻译的《智能Web算法》(第2版)中,对Pedro Domingos教授的观点进行了高度的概括,提炼出12个注意点,为行业开发实践提供了重要参考:

注意点1:你的数据未必可靠

在实际应用中,有很多各种各样的原因会导致你的数据是不可靠的。因此,当你将数据用于解决问题前,必须经常留心来检查数据是否值得信赖。如果基于糟糕的数据来挖掘,无论多么聪明的人也永远只会获得糟糕的结果。下面列举了一些常见的可导致数据可靠性问题的因素:

用于开发的数据,往往和实际情况下的数据分布不同。例如也许你想把用户按照身高划分为“高”、“中等”、“矮”三档,但如果系统开发时使用的数据集里最低用户的身高是6英尺(184cm),那么很有可能你开发出来的系统里会把一个“仅有6英尺”的用户称为“矮”用户

量子计算机将如何改变AI/机器学习/大数据?更快更强

据福布斯杂志报道,我们每天能产生2.5EB(约合10亿GB)数据,这相当于25万个美国国会图书馆或500万台笔记本电脑记录的内容。我们有32亿个全球互联网用户,他们每分钟在Pinterest上发布9722个Pin,在Twitter发布347222条消息,在Facebook上留下420万个“点赞”,我们还通过拍照和视频、保存文件、打开账户等行为产生其他大量数据。

我们正处于传统计算机数据处理能力的极限,而数据却依然在不断增长。虽然摩尔定律(Moore’s Law)预测集成电路上的晶体管数量每隔两年就会翻一番,但自1965年这个术语出现以来,事实证明它具有很强的弹性。随着技术的进步,这些晶体管现在的体积越来越小。正因为如此,业界领导者们展开了激烈竞争,看谁能首先要推出一款比现有计算机更强大的量子计算机,来处理我们每天产生的所有数据,并解决日益复杂的问题。

量子计算机能快速解决复杂问题

2017年全球大数据正在朝这七个趋势发展

2016年发生了许多事情。谷歌的阿尔法算法在围棋比赛中击败了李世石,区块链实现了快速发展,全球各地的政府都在大举投资智慧城市。和往年一样,我将为你提供未来一年的大数据趋势,之前我提供了2014年、2015年和2016年的大数据趋势。2017年有望成为大数据里程碑的一年。大数据的炒作终于结束了,因而我们总算终于可以着手于大数据。这就是为什么我将2017年称为智能年。那么,2017年的哪些大数据趋势会对你的组织产生影响? 让我们来看看2017年大数据的七大趋势。

1. 支持区块链的智能合约:区块链2.0

2017年全球大数据正在朝这七个趋势发展

”揭秘“10个大数据神话

如果数据有一点点就不错了,那么数据是海量的话就一定棒极了,对不对?这就好比说, 如果一个炎日夏日里的微风让你感觉凉爽,那么你会为一阵一阵的凉风感到欣喜若狂。以下为译文:

也许对大数据更好的一个类比是它就像一匹意气风发的冠军赛马: 通过适当的训练和天赋的骑师,良种赛马可以创造马场记录–但没有训练和骑手,这个强大的动物根本连起跑门都进不了。

为了确保你组织的大数据计划保持正轨,你需要消除以下10种常见的误解。

1. 大数据就是‘很多数据’

大数据从其核心来讲,它描述了结构化或非结构化数据如何结合社交媒体分析,物联网的数据和其他外部来源,来讲述一个”更大的故事”。该故事可能是一个组织运营的宏观描述,或者是无法用传统的分析方法捕获的大局观。从情报收集的角度来看,其所涉及的数据的大小是微不足道的。

2.大数据必须非常干净

在商业分析的世界里,没有“太快”之类的东西。相反,在IT世界里,没有“进垃圾,出金子”这样的东西,你的数据有多干净?一种方法是运行你的分析应用程序,它可以识别数据集中的弱点。一旦这些弱点得到解决,再次运行分析以突出 “清理过的” 区域。

你怎么存活于大数据和人工智能结合的时代?

【编者按】这篇文章最初以“Digitale Demokratie statt Datendiktatur”的名字出现在Spektrum der Wissenschaft(科学美国人的姊妹出版物)。作者是Dirk Helbing、Bruno S. Frey、Gerd Gigerenzer等9位著名教授(文后附作者介绍),主要论述了大数据与人工智能对未来社会经济、政治、安全、法律等相关问题的影响,讨论了数字革命和数字时代策略,并对成功实现数字社会给出具体的建议。

发展背景:大数据与人工智能

数字革命正如火如荼地进行着。每年我们产生的数据量都在翻倍,每分钟我们在Google搜索、在Facebook上发帖,不久我们周围的事物都将与互联网相连。据估计,在10年的时间内,将有1500亿个网络测量传感器,比人类总数多20倍,而且,数据量将每隔一段时间翻一番。许多公司已经在努力把“大数据”变成“大商机”。这将如何改变我们的世界?一切都将变得智能,我们将不仅拥有智能手机,还有智能家居,智能工厂和智能城市,甚至于出现智能国家和更智能的地球。

同步内容
--电子创新网--
粤ICP备12070055号