1、什么是随机采样？
Bagging可以简单的理解为：放回抽样，多数表决（分类）或简单平均（回归）；
Bagging的弱学习器之间没有boosting那样的联系，不存在强依赖关系，基学习器之间属于并列生成。它的特点在“随机采样”。
随机采样(bootsrap)就是从我们的训练集里面采集固定个数的样本，但是每采集一个样本后，都将样本放回。也就是说，之前采集到的样本在放回后有可能继续被采集到。对于我们的Bagging算法，一般会随机采集和训练集样本数m一样个数的样本。这样得到的采样集和训练集样本的个数相同，但是样本内容不同。如果我们对有m个样本训练集做T次的随机采样，则由于随机性，T个采样集各不相同。
注意到这和GBDT的子采样是不同的。GBDT的子采样是无放回采样，而Bagging的子采样是放回采样。
2、什么是袋外数据(Out Of Bag, 简称OOB)？
侯世达在1995年预言：
（在人工智能）基于逻辑的形式方法是死路一条。一一侯世达1995 （AI）The logic-based formal approach is a dead end.一一Hofstadter1995
10年后，预言成真了，20年后的今天，侯世达预言的Analogy Intelligence已经随着Alpha Go的出现，占有人工智能几乎全部的主要成果。
人工智能教父Hinton在BBVA获奖时说，AI的两种路线之争，是一场50年的战争。
当然，最终以基于类比Analogy的路线胜利而告一段落。
1，发轫：神经网络是骗子
显卡
Video card，Graphics card，又叫显示接口卡，是一个硬件概念（相似的还有网卡），执行计算机到显示设备的数模信号转换任务，安装在计算机的主板上，将计算机的数字信号转换成模拟信号让显示器显示出来。
显卡是计算机的标配之一，计算机要显示图像就必须安装显卡。普通计算机的显卡一般是集成在主板上的。
显卡驱动
显卡驱动是显卡跟计算机连接的桥梁，可以让计算机识别到GPU硬件，是必须正确安装的，不同厂商、不同型号的GPU对应不同的显卡驱动。
显存
又叫帧缓存，作用是用来存储GPU处理过或者即将提取的渲染数据，显存相对于GPU相当于内存对于CPU。
GPU
蓝牙与Wi-Fi可以说各有千秋：蓝牙有更低的功耗、小体积、低成本，适用于几台设备数据量少传输;Wi-Fi的特点是高带宽、更多的连接设备数目(不同路由器对连接设备数量有不同上限)，适用于数据多传输。
但随着物联网的普及，蓝牙与Wi-Fi相继升级，双双开赴同一个战场——蓝牙升级到5.0版本，提高了带宽和传输范围;Wi-Fi推出“Wi-Fi HaLow”，降低功耗延长电池续航。明眼人可以看出，这两者重点升级的方向都是对方所擅长的——这意味着功能定位的重合，毋庸置疑，它们将在消费级和企业级的物联网市场正面竞争。
下面着重来介绍两个工作在2.4GHz频段的蓝牙5和WiFi。
一、蓝牙5
蓝牙5相对于蓝牙4.2有着如下的提升。
由于深度学习，特别是卷积神经网络（CNN）在图像识别等领域取得了较好的成果，近年来，基于深度学习的图像去噪方法也被提出并得到了发展。2008年，Viren Jain等提出用CNN处理自然图像的去噪问题[21]，得到了与常规方法（如小波变换和马尔可夫随机场）相近或更优的结果。并说明了特定形式的CNN可以被视为图像去噪的马尔可夫模型推断的结果的一种近似，但是神经网络模型可以避免了马尔可夫模型在概率学习和推断过程中的计算困难，从而降低了计算的复杂度。在训练神经网络的过程中为了更加快速和准确的收敛，采取了逐层训练的方法。
该方法网络结构如下图所示：
目前人工智能非常火爆，而深度学习则是引领这一火爆现场的“火箭”。于是，有关“深度学习”的论文、书籍和网络博客汗牛充栋，但大多数这类文章都具备“高不成低不就”的特征。对于高手来说，自然是没有问题，他们本身已经具备非常“深度”的学习能力，如果他们想学习有关深度学习的技术，直接找来最新的研究论文阅读就好了。但是，对于低手（初学者）而言，就没有那么容易了，因为他们基础相对薄弱，通常看不太懂。
于是，我们推出深度学习的入门系列。在这个系列文章中，我们力图用最为通俗易懂、图文并茂的方式，带你入门深度学习。我们都知道，高手从来都是自学出来的。所以，这个深度学习的入门系列，能带给你的是“从入门到精通”，还是“从入门到放弃”，一切都取决你个人的认知。成就你自己的，永远都是你自己，是吧？
好了，言归正传，下面开始我们的正题。
1.1 什么是学习？
说到深度学习，我们首先需要知道，什么是学习。
著名学者赫伯特·西蒙教授（Herbert Simon，1975年图灵奖获得者、1978年诺贝尔经济学奖获得者）曾对“学习”给了一个定义：“如果一个系统，能够通过执行某个过程，就此改进了它的性能，那么这个过程就是学习”。
前言
黑客在攻击过程中或者对目标网络实施控制时经常使用域名。我们在做流量分析时不仅要通过流量的指纹特征识别威胁，也可以通过检测是否解析了恶意域名来判断网络中是否存在肉鸡。
不直接用威胁情报的原因
公司购买了一批威胁情报数据，其中一项重要的数据就是就是恶意域名列表。
因此可以在客户流量里面导出DNS解析日志，去跟威胁情报的恶意域名情报直接匹配来找出恶意外链。但威胁情报往往有以下的缺陷：
误报多。威胁情报误报较多。从我手上的这份数据来看，不少正规中小网站、过期的域名、甚至Alexa排名一千以内的都被列为恶意域名。猜测有可能是网站被挂过黑页，或者论坛上被传过带毒附件，导致整个域名被列入黑名单。而后期维护没有跟上，导致没有及时删除误报信息。
漏报更多。从威胁情报的性质上来看，越是大范围/长时间的攻击的行为、大面积传播的病毒，越容易被威胁情报所捕获。反之，针对性的APT特征攻击则不容易被收录，造成漏报。而我们公司的客户主要是政企类，信息更为敏感，更容易被境外黑客盯上并发起针对性攻击。
近日，英国国家网络安全中心（NCSC）在其与“五眼”情报合作伙伴（澳大利亚、加拿大、新西兰和美国）的联合报告中，公布了最常用和公开可用的黑客工具及技术清单。
据了解，五眼（Five Eyes），是指二战后英美多项秘密协议催生的多国监听组织“UKUSA”。该组织由美国、英国、澳大利亚、加拿大和新西兰的情报机构组成。这五个国家组成的情报间谍联盟内部实现互联互通情报信息，窃取来的商业数据在这些国家的政府部门和公司企业之间共享。
该联合报告的根本目标是帮助网络维护者和系统管理员更好地组织其工作。此外，该报告还提供了关于限制这些工具的有效性，以及检测其在网络上的使用的建议。
“五眼”Top5：使用最广泛的黑客工具
该报告主要涵盖了五大类别，包括远程访问木马（RAT）、web shells、凭证窃取程序、横向移动框架以及C2混淆器。
并且，它主要聚焦JBiFrost、China Chopper、Mimikatz、PowerShell Empire以及HTran这5款黑客工具。
一、区分通讯与通信协议：
1、传统意义上的“通讯”主要指电话、电报、电传。通讯的“讯”指消息（Message）,媒体讯息通过通讯网络从一端传递到另外一端。媒体讯息的内容主要是话音、文字、图片和视频图像。其网络的构成主要由电子设备系统和无线电系统构成，传输和处理的信号是模拟的。所以，“通讯”一词应特指采用电报、电话、网络等媒体传输系统实现上述媒体信息传输的过程。“通讯”重在内容形式，因此通讯协议主要集中在ISO七层协议中的应用层。通讯协议主要是运行在传统互联网TCP/IP协议之上的设备通讯协议，负责设备通过互联网进行数据交换及通信。
2、通信”仅指数据通信，即通过计算机网络系统和数据通信系统实现数据的端到端传输。通信的“信”指的是信息（Information）,信息的载体是二进制的数据，数据则是可以用来表达传统媒体形式的信息，如声音、图像、动画等。“通信”重在传输手段或使用方式，从这个角度，“通信”的概念包括了信息“传输”。因此通信协议主要集中在ISO七层协议中的物理层、数据链路层、网络层和传输层。
1、梯度消失和爆炸
梯度消失：一是在深层网络中；二是采用了不合适的损失函数，比如sigmoid（导数最大为0.25，神经网络的反向传播是逐层对函数偏导相乘，因此当神经网络层数非常深的时候，最后一层产生的偏差就因为乘了很多的小于1的数而越来越小，最终就会变为0，从而导致层数比较浅的权重没有更新，这就是梯度消失。）。
梯度爆炸：一般出现在深层网络和权值初始化值太大的情况下。前面层会比后面层变化的更快，就会导致权值越来越大，梯度爆炸的现象就发生了。
前向传播得到的结果与实际的结果得到一个偏差，然后通过梯度下降法的思想，通过偏导数与残差的乘积通过从最后一层逐层向前去改变每一层的权重。通过不断的前向传播和反向传播不断调整神经网络的权重，最终到达预设的迭代次数或者对样本的学习已经到了比较好的程度后，就停止迭代，那么一个神经网络就训练好了。
反向传播是梯度的连乘向前传更新权重。如果此部分大于1，那么层数增多的时候，最终的求出的梯度更新将以指数形式增加，即发生梯度爆炸；如果此部分小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度消失。