demi的博客

深度学习中为什么要使用多于一个epoch?

什么是epoch?

当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一次epoch。然而,当一个epoch对于计算机而言太庞大的时候,就需要把它分成多个小块。

为什么要使用多于一个epoch?

在神经网络中传递完整的数据集一次是不够的,而且我们需要将完整的数据集在同样的神经网络中传递多次。但请记住,我们使用的是有限的数据集,并且我们使用一个迭代过程即梯度下降来优化学习过程。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的。

深度学习中为什么要使用多于一个epoch?

随着epoch数量增加,神经网络中的权重的更新次数也在增加,曲线从欠拟合变得过拟合。

3D图形渲染管线

什么是渲染(Rendering)?渲染简单的理解可能可以是这样:就是将三维物体或三维场景的描述转化为一幅二维图像,生成的二维图像能很好的反应三维物体或三维场景。

Unity光照系统,GI,光线追踪,LightMap,Enlighten,HDR等

GI:全局光照,指的是模拟光线是如何在场景中传播的算法。不仅会考虑直接光照的结果,还会计算光线被不同的物体表面反射产生的间接光照。

Unity使用的是预计算实时全局光照 : 实时(直接光照)+ 预计算(直接光照和间接光照)模拟光照。(这里的实时指的就是物体移动光照效果也会变化。)实时光照没办法模拟光线的多次反射的效果,所以加了预计算光照。预计算光照效果就既有直接光照,也有间接光照。

原理:一旦物体和光源的位置固定,物体对光线的反弹路径及漫反射光照也是固定的,因此可以预计算,把物体之间的这些关系计算出来。这样在实时运行时,只要光源位置不变,这些关系信息就一直有效,不需要实时更新。

Unity Enlighten光照系统提供了两种技术:烘焙GI 和 预计算实时GI。同时使用这两种会有性能问题。

烘焙GI: LightMap,即烘焙GI中的光照贴图,表示静态物体基于光的影响计算出的贴图。把光源对场景中静态物体的光照效果提前烘焙到一张光照纹理中,然后把光照纹理直接贴在物体表面。(有直接光照信息,也有间接光照信息)

Android MVP 十分钟入门!

前言

在日常开发APP 的过程中,随着业务的扩展,规模的变化。我们的代码规模也会逐渐变得庞大,每一个类里的代码也会逐渐增多。尤其是Activity和Fragment ,由于Context 的存在,基本上所有对视图的操作我们只能在Activity和Fragment中完成;即便是对某些逻辑进行封装,Activity和Fragment 依旧会显得过于臃肿。因此,我们需要换一种思路去写代码,这个时候MVP模式就应用而生了!那么MVP 怎么用呢,下面就来说一说。

假设你现在如要实现下图中的功能:

Android MVP 十分钟入门!

这个需求很简单,就是点击按钮,下载一张图片,显示下载进度;下载完成后,在ImageView中显示这张图片。

下面我们就分别用传统的方式(也就是所谓的MVC)和MVP 模式分别取实现这个功能。然后分析一下MVP 到底好在哪里。

理解图像卷积操作的意义

数字信号处理中卷积

卷积一词最开始出现在信号与线性系统中,信号与线性系统中讨论的就是信号经过一个线性系统以后发生的变化。由于现实情况中常常是一个信号前一时刻的输出影响着这一时刻的输出,所在一般利用系统的单位响应与系统的输入求卷积,以求得系统的输出信号(当然要求这个系统是线性时不变的)。

卷积的定义:
卷积是两个变量在某范围内相乘后求和的结果。如果卷积的变量是序列x(n)和h(n),则卷积的结果:
理解图像卷积操作的意义

数字图像处理中卷积

数字图像是一个二维的离散信号,对数字图像做卷积操作其实就是利用卷积核(卷积模板)在图像上滑动,将图像点上的像素灰度值与对应的卷积核上的数值相乘,然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值,并最终滑动完所有图像的过程。

机器学习—— L0、L1、L2正则化区别

1、概念

L0正则化的值是模型参数中非零参数的个数。

L1正则化表示各个参数绝对值之和。

L2正则化标识各个参数的平方的和的开方值。

2、问题

1)实现参数的稀疏有什么好处吗?

一个好处是可以简化模型,避免过拟合。因为一个模型中真正重要的参数可能并不多,如果考虑所有的参数起作用,那么对训练数据可以预测的很好,但是对测试数据就只能呵呵了。另一个好处是参数变少可以使整个模型获得更好的可解释性。

2)参数值越小代表模型越简单吗?

是的。为什么参数越小,说明模型越简单呢,这是因为越复杂的模型,越是会尝试对所有的样本进行拟合,甚至包括一些异常样本点,这就容易造成在较小的区间里预测值产生较大的波动,这种较大的波动也反映了在这个区间里的导数很大,而只有较大的参数值才能产生较大的导数。因此复杂的模型,其参数值会比较大,但如果参数足够小,数据偏移得多一点也不会对结果造成什么影响,专业一点的说法是『抗扰动能力强』。

3、L0正则化

根据上面的讨论,稀疏的参数可以防止过拟合,因此用L0范数(非零参数的个数)来做正则化项是可以防止过拟合的。

为什么说AIoT才是未来的主流形态?

不管您是工程师或是消费者,我们都能感受到AI和物联网技术给生活带来的变革,随着大数据的发展,AI和物联网技术的结合成为了一种新的技术趋势,AIoT是未来的核心驱动力,也将成为企业布局的重要领域。雷军曾在世界人工智能大会上提到,人工智能正在给人类社会带来深刻的变革,AI与IoT结合将形成AIoT,也就是万物智慧互联,在这个领域未来有着巨大的发展空间。AIoT即将成为工业机器人、智能手机、无人驾驶、智能家居及智慧城市等新兴产业的重要基础。

AIoT在工业机器人上的应用

工业机器人在“中国制造2025”战略里的地位越来越高,在自动化普及的工业时代,生产过程几乎完全自动化、机器人具备高度的适应能力,工业互联网不只是实现机器互联,还有智能。AIoT在帮助机器人实现智能互联的同时,还能让管理者任意自如的操控,尤其是在很多工业危险的领域,AIoT的作用将发挥得淋漓尽致。

AIoT在智能手机上的应用

2019年9大AI趋势,你准备好了吗?

自人工智能开始成长以来,其风波一直不断,特别是近几年,人工智能步入黄金发展期,舆论风暴更是一波接着一波。“人工智能距离威胁人类还有多远?”“八大现象论证人工智能威胁论真的存在”“AI警告!科技大佬为何纷纷站队AI威胁论”······

但是不管舆论怎样推波,我们都必须面对一个事实“AI真的让我们生活的很好!”,并且它还会持续的“好”。未来的一年,人工智能还会继续发力。

以下是2019年人工智能的发展趋势,你准备好迎接了吗?

1. 新技术实现部分任务自动化

2019年,自动化将分阶段进行。虽然距离全面自动化还需一段路程,但许多工作流程和任务都实现了部分自动化。据麦肯锡(McKinsey)统计,基于现有技术, 5%的职业有希望实现完全自动化,60%的职业可以实现30%自动化。

我们已经看到了很多依赖计算机视觉和语音技术的产品和服务,2019年我们会看到更多。语言模型和机器人技术的持续发展,将实现更全面的文本和物理解决方案。竞争将推动企业实施部分自动化解决方案,而自动化项目的成功会推动全面自动化的发展。

2. 企业中的人工智能将建立在现有的分析应用程序之上

黑客入侵与机器学习沙箱逃逸

0x00、简介

对于攻击者来说,在收集目标数据的过程当中(基础设施扫描、踩点、传递恶意软件),很容易被安全分析师发现。机器学习在防御领域的应用不仅增加了攻击者的成本,而且极大地限制了技术的使用寿命。其实攻击者已经发现了这种趋势,

  •   防御软件以及安全分析人员可以访问大量数据收集和分析

  •   机器学习无处不在,以加速防守成熟度。

攻击者总是处于不利地位,因为我们作为人类试图打败自动学习系统,这些系统利用每一次绕过尝试来更多的了解我们,并预测未来的绕过尝试。然而,正如我们在这里所说的,机器学习不仅仅是在防守方使用。这篇文章将探讨攻击者如何利用收集的很少的数据,使用机器学习技术击溃入侵检测系统。

0x01、传统沙箱逃逸介绍

在讨论机器学习之前,我们需要更仔细的看看我们作为攻击者是如何处理信息的。攻击者在任何给定的主机或网络上收集不到1%的可用信息,并使用少于3%的所收集信息来做出明智的决定(不要太在意百分比),攻击者需要提高他们的数据利用率

卷积为什么如此强大?理解深度学习中的卷积

有太多的公开课、教程在反复传颂卷积神经网络的好,却都没有讲什么是“卷积”,似乎默认所有读者都有相关基础。这篇外文既友好又深入,所以翻译了过来。文章高级部分通过流体力学量子力学等解释卷积的做法在我看来有点激进,这些领域恐怕比卷积更深奥,所以只需简略看看即可。以下是正文:

卷积现在可能是深度学习中最重要的概念。正是靠着卷积和卷积神经网络,深度学习才超越了几乎其他所有的机器学习手段。但卷积为什么如此强大?它的原理是什么?在这篇博客中我将讲解卷积及相关概念,帮助你彻底地理解它。

网络上已经有不少博客讲解卷积和深度学习中的卷积,但我发现它们都一上来就加入了太多不必要的数学细节,艰深晦涩,不利于理解主旨。这篇博客虽然也有很多数学细节,但我会以可视化的方式一步步展示它们,确保每个人都可以理解。文章第一部分旨在帮助读者理解卷积的概念和深度学习中的卷积网络。第二部分引入了一些高级的概念,旨在帮助深度学习方向的研究者和高级玩家进一步加深对卷积的理解。

什么是卷积

整篇博客都会探讨这个问题,但先把握行文脉络会很有帮助。那么粗略来讲,什么是卷积呢?