bat 的blog

一位ML工程师构建深度神经网络的实用技巧

在经历成千上万个小时机器学习训练时间后,计算机并不是唯一学到很多东西的角色,作为开发者和训练者的我们也犯了很多错误,修复了许多错误,从而积累了很多经验。在本文中,作者基于自己的经验(主要基于 TensorFlow)提出了一些训练神经网络的建议,还结合了案例,可以说是过来人的实践技巧了。

作者| Matt H/Daniel R
译者| 婉清
编辑| Jane
出品| AI 科技大本营

通用技巧

有些技巧对你来说可能就是明摆着的事,但在某些时候可能却并非如此,也可能存在不适用的情况,甚至对你的特定任务来说,可能不是一个好的技巧,所以使用时需要务必要谨慎!

▌使用 ADAM 优化器

确实很有效。与更传统的优化器相比,如 Vanilla 梯度下降法,我们更喜欢用ADAM优化器。用 TensorFlow 时要注意:如果保存和恢复模型权重,请记住在设置完AdamOptimizer 后设置 Saver,因为 ADAM 也有需要恢复的状态(即每个权重的学习率)。

▌ReLU 是最好的非线性(激活函数)

干货:Excel图解卷积神经网络结构

在本文中,我将会讨论 CNN 背后的架构,其设计初衷在于解决图像识别和分类问题。同时我也会假设你对神经网络已经有了初步了解。

详解卷积神经网络(CNN)在语音识别中的应用

作者:侯艺馨

前言

总结目前语音识别的发展现状,dnn、rnn/lstm和cnn算是语音识别中几个比较主流的方向。2012年,微软邓力和俞栋老师将前馈神经网络FFDNN(Feed Forward Deep Neural Network)引入到声学模型建模中,将FFDNN的输出层概率用于替换之前GMM-HMM中使用GMM计算的输出概率,引领了DNN-HMM混合系统的风潮。长短时记忆网络(LSTM,LongShort Term Memory)可以说是目前语音识别应用最广泛的一种结构,这种网络能够对语音的长时相关性进行建模,从而提高识别正确率。双向LSTM网络可以获得更好的性能,但同时也存在训练复杂度高、解码时延高的问题,尤其在工业界的实时识别系统中很难应用。

【盘点】掌握机器学习的5条必由之路

作者:Jason Brownlee
译者:刘小芹

【导读】作者在本文提出一种5步入门并应用机器学习的方法。它不是传统的方法。传统的机器学习方法提倡从下往上学,先从理论和数学开始,然后是算法实现,最后让你去解决现实世界的问题。

【盘点】掌握机器学习的5条必由之路

作者提倡的掌握机器学习的方法与传统方法相反,是从最有价值的成果部分开始。

目标是得到有商业价值的成果:怎样得出结果。

这个结果以一系列预测或能进行可靠预测的模型的方式呈现。

这是一种从上往下的、结果优先的方法。

在商业社会,开始时就有要得到结果的目标是最重要的,那么,怎样才能得到结果?

我们总结了5个步骤:

  •   第1步:调整心态 (要有信心!).
  •   第2步:选择程序
  •   第3步:选择工具
  •   第4步:用数据集练习
  •   第5步:做一个作品集

机器学习和对抗性人工智能会是新的内部威胁吗

​机器学习和人工智能正在从概念验证程序转变为功能性企业基础架构。随着对这些技术的资金支持不断攀升,可以预见人工智能的普及是不可避免的。

机器学习(ML)和人工智能(AI)正在从概念验证程序转变为功能性企业基础架构。随着对这些技术的资金支持不断攀升,可以预见人工智能的普及是不可避免的。

但是数字智能的应用带来了新的风险:IT专家面对这急剧的变化,有些无所适从,而网络犯罪分子正在想方设法入侵新工具。

为什么AI无法取代人类专业技能?

现在的安全团队工作过度而且人员不足,但还是有人担心AI工具会最终取代人类专业技能。

为了回应这些担忧,Phys.org网站在2018年6月指出,现在关于人工智能和自动化的讨论被两种思想主导,一种是灾难预言者,他们害怕机器人会取代人类的工作,另一种是乐天派,他们对新技术不以为然,认为世界上没有什么新东西。

然而,研究表明,这些技术只适合取代某些特定的工作任务,而不是彻底消除某些职业。The Verge在2018年6月报道,美国军队的一项实验计划将利用机器学习来更好的预测车辆何时需要维修,这不仅降低了成本,也减轻了技术人员的压力。

人工智能,你到底是天使or魔鬼?

人工智能的概念早在60多年前就被提出,但又一度沉寂。随着谷歌人工智能程序AlphaGo(阿尔法狗)战胜围棋世界冠军李世石,再次为世人瞩目。然而,与无限风光一起相伴而来的,还有关于人工智能的种种争议!

“在我的一生中,见证了社会深刻的变化。其中最深刻的,同时也是对人类影响与日俱增的变化,是人工智能的崛起。简单来说,我认为强大的人工智能的崛起,要么是人类历史上最好的事,要么是最糟的。”著名物理学家霍金生前反复告诫。

在互联网和大数据风起云涌的今天,人工智能究竟会成为造福人类的天使,还是控制人类的魔鬼?面对类似疑虑,请听中国科学院院士、中国人工智能学会副理事长谭铁牛怎么说。

崛起

经过60多年的不断发展,人工智能迎来发展的春天,成为推动新一轮科技和产业革命的重要驱动力

1956年,在达特茅斯学院暑期研讨班上,一位名叫约翰·麦卡锡的年轻人首次提出了人工智能的概念,那时研讨的主题是怎样用机器模拟人的智能。事实上,与人工智能相关的研究,在此之前早已开展。

“人工智能的主要目标是模拟、延伸和扩展人类智能,探寻智能本质,研发具有类人智能的智能机器。比如,让机器或者计算机会听、会看、会说、会想、会决策,与人类一样。”谭铁牛解释。

算法有偏见?比人强就行!

在讨伐算法导致的偏见和产生的作用时,更重要的问题是:与完全没有使用算法的情况相比是怎样的?我们应该比较算法的缺陷与人类的缺陷,而不是简单地询问算法是否存在缺陷。

一场革命正在悄然进行。

这场革命与大部分新闻报道中出现的人工智能的进展有所不同。

新闻媒体往往聚焦于感知型机器人军团的重大发展,而更重要的角逐是在全国各类机构传统人为决策过程中展开,很显然,自动化比重正在稳步增加。

不同于AlphaGo Zero这样占据头条新闻的先进成果,这场革命通过相当传统的机器学习和统计技术如普通最小二乘法、逻辑回归、决策树等,为许多组织创造了真正的价值。

这些技术应用的领域是很广泛的,包括医疗诊断、司法判决、公共机构的专业招聘和资源分配等。

这场革命是好事吗?

总结 | 八类软件开发方法!

在上个世纪60年代中期爆发了众所周知的软件危机。为了克服这一危机,在1968、1969年连续召开的两次著名的NATO会议上提出了软件工程这一术语,并在以后不断发展、完善。与此同时,软件研究人员也在不断探索新的软件开发方法。至今已形成了八类软件开发方法。

Parnas方法

最早的软件开发方法是由D.Parnas在1972年提出的。由于当时软件在可维护性和可靠性方面存在着严重问题,因此Parnas提出的方法是针对这两个问题的。首先,Parnas提出了信息隐蔽原则:在概要设计时列出将来可能发生变化的因素,并在模块划分时将这些因素放到个别模块的内部。这样,在将来由于这些因素变化而需修改软件时,只需修改这些个别的模块,其它模块不受影响。信息隐蔽技术不仅提高了软件的可维护性,而且也避免了错误的蔓延,改善了软件的可靠性。现在信息隐蔽原则已成为软件工程学中的一条重要原则。

Parnas提出的第二条原则是在软件设计时应对可能发生的种种意外故障采取措施。软件是很脆弱的,很可能因为一个微小的错误而引发严重的事故,所以必须加强防范。如在分配使用设备前,应该取设备状态字,检查设备是否正常。

老程序员解Bug的通用套路!

千万不要当程序员面说有bug!对于新手程序员而言,在复杂代码中找BUG是一个难点。下面我们总结下老从程序员解Bug的通用套路,希望对大家有帮助。

1. IDE调试

根据项目特点和语言特点选择一个最合适的IDE,由于本人是做C++出身,最喜欢用的莫过于Visual Studio 了,这款微软开发的IDE,自从研发出来,就被称为宇宙第一编译器,能编译调试C/C++、C#、F#、Python、JavaScript、Qt、iOS等多种语言的开发。目前的VS2017还原生支持远程跨平台的软件开发,这无疑给我们常年奋战在linux/Unix黑匣子开发环境,使用G++调试的C/C++程序猿们带来了福音。

老程序员解Bug的通用套路!

2. 重构大法

如果你发现无论如何也找不到BUG,而且代码只是复杂,本身不是很长,直接重写代码吧!重构大法是解决爆炸性bug的绝招。

常用的几个PHP加密函数

PHP加密方式分为单项散列加密,对称加密,非对称加密这几类。

像常用的MD5、hash、crypt、sha1这种就是单项散列加密,单项散列加密是不可逆的。

像URL编码、base64编码这种就是对称加密,是可逆的,就是说加密解密都是用的同一秘钥。

除此外就是非对称加密,加密和解密的秘钥不是同一个,如果从安全性而言,加密的信息如果还想着再解密回来,非对称加密无疑是最为安全的方式。

不可逆加密函数

(一)、md5

string md5 ( string str[,boolraw_output = false ] )
1.md5()默认情况下以 32 字符十六进制数字形式返回散列值,它接受两个参数,第一个为要加密的字符串,第二个为raw_output的布尔值,默认为false,如果设置为true,md5()则会返回原始的 16 位二进制格式报文摘要
2.md5()为单向加密,没有逆向解密算法,但是还是可以对一些常见的字符串通过收集,枚举,碰撞等方法破解

(二)、Crypt

同步内容
--电子创新网--
粤ICP备12070055号