demi的博客

目前人工智能非常火爆，而深度学习则是引领这一火爆现场的“火箭”。于是，有关“深度学习”的论文、书籍和网络博客汗牛充栋，但大多数这类文章都具备“高不成低不就”的特征。对于高手来说，自然是没有问题，他们本身已经具备非常“深度”的学习能力，如果他们想学习有关深度学习的技术，直接找来最新的研究论文阅读就好了。但是，对于低手（初学者）而言，就没有那么容易了，因为他们基础相对薄弱，通常看不太懂。

于是，我们推出深度学习的入门系列。在这个系列文章中，我们力图用最为通俗易懂、图文并茂的方式，带你入门深度学习。我们都知道，高手从来都是自学出来的。所以，这个深度学习的入门系列，能带给你的是“从入门到精通”，还是“从入门到放弃”，一切都取决你个人的认知。成就你自己的，永远都是你自己，是吧？

好了，言归正传，下面开始我们的正题。

1.1 什么是学习？

说到深度学习，我们首先需要知道，什么是学习。

著名学者赫伯特·西蒙教授（Herbert Simon，1975年图灵奖获得者、1978年诺贝尔经济学奖获得者）曾对“学习”给了一个定义：“如果一个系统，能够通过执行某个过程，就此改进了它的性能，那么这个过程就是学习”。

前言

黑客在攻击过程中或者对目标网络实施控制时经常使用域名。我们在做流量分析时不仅要通过流量的指纹特征识别威胁，也可以通过检测是否解析了恶意域名来判断网络中是否存在肉鸡。

不直接用威胁情报的原因

公司购买了一批威胁情报数据，其中一项重要的数据就是就是恶意域名列表。

因此可以在客户流量里面导出DNS解析日志，去跟威胁情报的恶意域名情报直接匹配来找出恶意外链。但威胁情报往往有以下的缺陷：

误报多。威胁情报误报较多。从我手上的这份数据来看，不少正规中小网站、过期的域名、甚至Alexa排名一千以内的都被列为恶意域名。猜测有可能是网站被挂过黑页，或者论坛上被传过带毒附件，导致整个域名被列入黑名单。而后期维护没有跟上，导致没有及时删除误报信息。

漏报更多。从威胁情报的性质上来看，越是大范围/长时间的攻击的行为、大面积传播的病毒，越容易被威胁情报所捕获。反之，针对性的APT特征攻击则不容易被收录，造成漏报。而我们公司的客户主要是政企类，信息更为敏感，更容易被境外黑客盯上并发起针对性攻击。

近日，英国国家网络安全中心（NCSC）在其与“五眼”情报合作伙伴（澳大利亚、加拿大、新西兰和美国）的联合报告中，公布了最常用和公开可用的黑客工具及技术清单。

据了解，五眼（Five Eyes），是指二战后英美多项秘密协议催生的多国监听组织“UKUSA”。该组织由美国、英国、澳大利亚、加拿大和新西兰的情报机构组成。这五个国家组成的情报间谍联盟内部实现互联互通情报信息，窃取来的商业数据在这些国家的政府部门和公司企业之间共享。

该联合报告的根本目标是帮助网络维护者和系统管理员更好地组织其工作。此外，该报告还提供了关于限制这些工具的有效性，以及检测其在网络上的使用的建议。

“五眼”Top5：使用最广泛的黑客工具

该报告主要涵盖了五大类别，包括远程访问木马（RAT）、web shells、凭证窃取程序、横向移动框架以及C2混淆器。

并且，它主要聚焦JBiFrost、China Chopper、Mimikatz、PowerShell Empire以及HTran这5款黑客工具。

一、区分通讯与通信协议：

1、传统意义上的“通讯”主要指电话、电报、电传。通讯的“讯”指消息（Message）,媒体讯息通过通讯网络从一端传递到另外一端。媒体讯息的内容主要是话音、文字、图片和视频图像。其网络的构成主要由电子设备系统和无线电系统构成，传输和处理的信号是模拟的。所以，“通讯”一词应特指采用电报、电话、网络等媒体传输系统实现上述媒体信息传输的过程。“通讯”重在内容形式，因此通讯协议主要集中在ISO七层协议中的应用层。通讯协议主要是运行在传统互联网TCP/IP协议之上的设备通讯协议，负责设备通过互联网进行数据交换及通信。

2、通信”仅指数据通信，即通过计算机网络系统和数据通信系统实现数据的端到端传输。通信的“信”指的是信息（Information）,信息的载体是二进制的数据，数据则是可以用来表达传统媒体形式的信息，如声音、图像、动画等。“通信”重在传输手段或使用方式，从这个角度，“通信”的概念包括了信息“传输”。因此通信协议主要集中在ISO七层协议中的物理层、数据链路层、网络层和传输层。

1、梯度消失和爆炸

梯度消失：一是在深层网络中；二是采用了不合适的损失函数，比如sigmoid（导数最大为0.25，神经网络的反向传播是逐层对函数偏导相乘，因此当神经网络层数非常深的时候，最后一层产生的偏差就因为乘了很多的小于1的数而越来越小，最终就会变为0，从而导致层数比较浅的权重没有更新，这就是梯度消失。）。

梯度爆炸：一般出现在深层网络和权值初始化值太大的情况下。前面层会比后面层变化的更快，就会导致权值越来越大，梯度爆炸的现象就发生了。

前向传播得到的结果与实际的结果得到一个偏差，然后通过梯度下降法的思想，通过偏导数与残差的乘积通过从最后一层逐层向前去改变每一层的权重。通过不断的前向传播和反向传播不断调整神经网络的权重，最终到达预设的迭代次数或者对样本的学习已经到了比较好的程度后，就停止迭代，那么一个神经网络就训练好了。 　　

反向传播是梯度的连乘向前传更新权重。如果此部分大于1，那么层数增多的时候，最终的求出的梯度更新将以指数形式增加，即发生梯度爆炸；如果此部分小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度消失。

结构张量(structure tensor) 主要用于区分图像的平坦区域、边缘区域与角点区域。

此处的张量就是一个关于图像的结构矩阵，矩阵结构构成如下：

Rx,Ry分别为图像的水平与垂直梯度，而后进行求矩阵T的行列式K与迹(trace)H。

根据K与H的关系来求得区分图像的平坦、边缘与角点区域：

平坦区域：H=0;

边缘区域：H>0 && K=0;

角点区域：H>0 && K>0;

该方法实际应用实例如下：

原图：

目前，我们可以使用像Keras、TensorFlow或PyTorch这些高级的、专业的库和框架而不需要一直担心权重矩阵的大小，也不需要记住决定使用的激活函数的导数公式。通常我们只需要构建一个神经网络，即使是一个结构非常复杂的神经网络，也只需要导入一些库和几行代码。这节省了我们找出bug的时间，并简化了工作。然而，如果了解神经网络内部发生的事情，对架构选择、超参数调优或优化等任务有很大帮助。本文源代码可以在我的GitHub上找到。

介绍

为了更多地了解神经网络的原理，我决定写一篇文章，一部分是为了我自己，一部分为了帮助其他人理解这些有时难以理解的概念。对于那些对代数和微积分不太熟悉的人，我会尽量详细一些，但正如标题所示，这是一篇涉及很多数学的文章。

撇开乌托邦式的担忧或者自信，文章梳理了25个真实的商业应用场景。

现在，是时候真正了解 AI 未来。

关于人工智能引起的焦虑 - 就业问题是其主要来源 - 现实是，没有人知道未来会如何。原因是，我们永远无法预见人类的聪明才智，以及全世界数百万企业家和管理者采用技术的方式。

邮政局长亚瑟·萨默菲尔德（Arthur Summerfield）曾在 1959 年自信地预测，经济增长意味着更多的信件，邮政工人的未来似乎很光明，尽管电子邮件，短信和蜂窝网络技术的初级形式当时已经存在，但人类不会再在纸上写信的可能性，Summerfield 从未想到过。

要记住的第二个现实是，AI 的最终用途将主要由市场力量决定。

人工智能将被公司和消费者用于无数的实际目的，其中大多数是适度的，并且无法预见累积效应。当我们试图猜测人工智能的未来时，关键在于要像真实生活中自利的人（包括好人和坏人）那样思考。

以下，人工智能正在发挥作用的这 25 个例子是有益的，甚至鼓舞人心 - 而且，它们是真实的。

人工智能如何改变你的工作方式

让我们都说同一种语言

什么是机器视觉?

机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、I/O卡等)。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。

机器视觉是实现工业自动化和智能化的必要手段，相当于人类视觉在机器上的延伸。机器视觉具有高度自动化、高效率、高精度和适应较差环境等优点，将在我国工业自动化的实现过程中产生重要作用。

机器视觉系统的应用领域和应用范围非常广泛，工业领域是机器视觉应用比重大的领域，主要用于产品质量检测、分类、机器人定位装等，一方面替代人工视觉，另一方面用于提高生产的柔性和自动化程度。随着我国工业的产业升级，产品质量要求的提高及人力成本的增加，机器视觉系统的应用将越来越广泛。

机器视觉产业具体应用统计情况

1、boosting与bagging的概念：

（1）bagging：从原始数据中随机抽样得到S个同样大小的数据集，来训练S个基学习器，各学习器之间互不依赖。是一种并行的方法。

各分类器的权重都是相等的。分类结果是用这S个分类器进行分类，选择分类器投票结果中最多的类别作为最后的分类结果。
（抽样方法为有放回的抽样：允许每个小数据集中可以有重复的值。）

bagging对于弱学习器没有限制，这和Adaboost一样。但是最常用的一般也是决策树和神经网络。

bagging的集合策略也比较简单，对于分类问题，通常使用简单投票法，得到最多票数的类别或者类别之一为最终的模型输出。对于回归问题，通常使用简单平均法，对T个弱学习器得到的回归结果进行算术平均得到最终的模型输出。

优点：

a. 算法每次都进行采样来训练模型，泛化能力很强，对于降低模型的方差很有作用，当然对于训练集的拟合程度就会差一些，也就是模型的偏倚会大一些；