demi的博客

1、概念

L0正则化的值是模型参数中非零参数的个数。

L1正则化表示各个参数绝对值之和。

L2正则化标识各个参数的平方的和的开方值。

2、问题

1）实现参数的稀疏有什么好处吗？

一个好处是可以简化模型，避免过拟合。因为一个模型中真正重要的参数可能并不多，如果考虑所有的参数起作用，那么对训练数据可以预测的很好，但是对测试数据就只能呵呵了。另一个好处是参数变少可以使整个模型获得更好的可解释性。

2）参数值越小代表模型越简单吗？

是的。为什么参数越小，说明模型越简单呢，这是因为越复杂的模型，越是会尝试对所有的样本进行拟合，甚至包括一些异常样本点，这就容易造成在较小的区间里预测值产生较大的波动，这种较大的波动也反映了在这个区间里的导数很大，而只有较大的参数值才能产生较大的导数。因此复杂的模型，其参数值会比较大，但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。

3、L0正则化

根据上面的讨论，稀疏的参数可以防止过拟合，因此用L0范数（非零参数的个数）来做正则化项是可以防止过拟合的。

不管您是工程师或是消费者，我们都能感受到AI和物联网技术给生活带来的变革，随着大数据的发展，AI和物联网技术的结合成为了一种新的技术趋势，AIoT是未来的核心驱动力，也将成为企业布局的重要领域。雷军曾在世界人工智能大会上提到，人工智能正在给人类社会带来深刻的变革，AI与IoT结合将形成AIoT，也就是万物智慧互联，在这个领域未来有着巨大的发展空间。AIoT即将成为工业机器人、智能手机、无人驾驶、智能家居及智慧城市等新兴产业的重要基础。

AIoT在工业机器人上的应用

工业机器人在“中国制造2025”战略里的地位越来越高，在自动化普及的工业时代，生产过程几乎完全自动化、机器人具备高度的适应能力，工业互联网不只是实现机器互联，还有智能。AIoT在帮助机器人实现智能互联的同时，还能让管理者任意自如的操控，尤其是在很多工业危险的领域，AIoT的作用将发挥得淋漓尽致。

AIoT在智能手机上的应用

自人工智能开始成长以来，其风波一直不断，特别是近几年，人工智能步入黄金发展期，舆论风暴更是一波接着一波。“人工智能距离威胁人类还有多远？”“八大现象论证人工智能威胁论真的存在”“AI警告！科技大佬为何纷纷站队AI威胁论”······

但是不管舆论怎样推波，我们都必须面对一个事实“AI真的让我们生活的很好！”，并且它还会持续的“好”。未来的一年，人工智能还会继续发力。

以下是2019年人工智能的发展趋势，你准备好迎接了吗？

1. 新技术实现部分任务自动化

2019年，自动化将分阶段进行。虽然距离全面自动化还需一段路程，但许多工作流程和任务都实现了部分自动化。据麦肯锡（McKinsey）统计，基于现有技术， 5%的职业有希望实现完全自动化，60%的职业可以实现30%自动化。

我们已经看到了很多依赖计算机视觉和语音技术的产品和服务，2019年我们会看到更多。语言模型和机器人技术的持续发展，将实现更全面的文本和物理解决方案。竞争将推动企业实施部分自动化解决方案，而自动化项目的成功会推动全面自动化的发展。

2. 企业中的人工智能将建立在现有的分析应用程序之上

0x00、简介

对于攻击者来说，在收集目标数据的过程当中（基础设施扫描、踩点、传递恶意软件），很容易被安全分析师发现。机器学习在防御领域的应用不仅增加了攻击者的成本，而且极大地限制了技术的使用寿命。其实攻击者已经发现了这种趋势，

  •   防御软件以及安全分析人员可以访问大量数据收集和分析

  •   机器学习无处不在，以加速防守成熟度。

攻击者总是处于不利地位，因为我们作为人类试图打败自动学习系统，这些系统利用每一次绕过尝试来更多的了解我们，并预测未来的绕过尝试。然而，正如我们在这里所说的，机器学习不仅仅是在防守方使用。这篇文章将探讨攻击者如何利用收集的很少的数据，使用机器学习技术击溃入侵检测系统。

0x01、传统沙箱逃逸介绍

在讨论机器学习之前，我们需要更仔细的看看我们作为攻击者是如何处理信息的。攻击者在任何给定的主机或网络上收集不到1%的可用信息，并使用少于3%的所收集信息来做出明智的决定（不要太在意百分比），攻击者需要提高他们的数据利用率

有太多的公开课、教程在反复传颂卷积神经网络的好，却都没有讲什么是“卷积”，似乎默认所有读者都有相关基础。这篇外文既友好又深入，所以翻译了过来。文章高级部分通过流体力学量子力学等解释卷积的做法在我看来有点激进，这些领域恐怕比卷积更深奥，所以只需简略看看即可。以下是正文：

卷积现在可能是深度学习中最重要的概念。正是靠着卷积和卷积神经网络，深度学习才超越了几乎其他所有的机器学习手段。但卷积为什么如此强大？它的原理是什么？在这篇博客中我将讲解卷积及相关概念，帮助你彻底地理解它。

网络上已经有不少博客讲解卷积和深度学习中的卷积，但我发现它们都一上来就加入了太多不必要的数学细节，艰深晦涩，不利于理解主旨。这篇博客虽然也有很多数学细节，但我会以可视化的方式一步步展示它们，确保每个人都可以理解。文章第一部分旨在帮助读者理解卷积的概念和深度学习中的卷积网络。第二部分引入了一些高级的概念，旨在帮助深度学习方向的研究者和高级玩家进一步加深对卷积的理解。

什么是卷积

整篇博客都会探讨这个问题，但先把握行文脉络会很有帮助。那么粗略来讲，什么是卷积呢？

如今人工智能发展火热，机器学习预见成熟，智能化未来似乎指日可待。表面上似乎一切都在按部就班的进行，但背后也不乏暴露出很多问题。就像近期人工智能威胁论就引发了不少的言论激战，揪其根源还是人工智能是否能够有意识违背人类意愿操控事务的问题。

因此，我们或许想问：人工智能机器人究竟有多强大？机器人真的会“反噬”人类吗？《终结者》里的Skynet（天网）会真的发生在现实生活中吗？

强弱AI

首先我们应该区分两个概念：强AI和弱AI。强AI 是指一种能够思考并可以感知自身存在的假想机器。它不仅可以解决人类为其定制的任务，还可以学习新事物。

弱AI目前很常见，它是一种用于解决特定问题的应用程序，例如图像识别、汽车驾驶、playing Go（围棋）等，也就是我们常说的“机器学习”。

目前，我们还无法预测强AI什么时候能够真正被研发出来。专家们经过调研推断的结果也是“有朝一日”。

相比强AI，弱AI目前已经存在，很多领域都可以看到弱AI的身影，并且应用范围每年都在增长。通过实例学习，机器学习几乎可以让我们在无需编程的情况下处理实际任务。

深度学习的突破将人工智能带进全新阶段。 2006 年-2015 年是人工智能崛起的黄金十年。2006 年 Hinton 提出“深度学习”神经网络，使得人工智能的性能获得了突破性进展，2006 年成为人工智能发展史上一个重要的分界点。

近年来，随着深度学习算法的逐步成熟，AI技术分支越发增多，现在让我们细数AI技术，看看领占主导地位的19种AI技术都有哪些！

1、 自然语言生成（Natural Language Generation）

自然语言生成是AI的子学科，可将数据转换成文本，使计算机能够像人一样的拥有表达和写作的能力，它能够帮助客户快速的生成商业报告和市场概要。

2、 语音识别(Speech Recognition)

智能网联汽车是汽车与信息、通信等产业跨界融合的典型应用，被认为是全球创新热点和未来产业发展制高点。随着汽车智能化、网联化程度的加深，人们实现了对汽车的更多控制，为生活带来了各种便利，但随之而来的远程攻击、恶意控制甚至入网车辆被操控等安全隐患也日益明显，如何保障智能车辆安全，实现便捷性与安全性之间的矛盾成为汽车智能化发展的重要环节。

巨大发展潜力下的安全隐患

智能网联汽车是搭载先进的车载传感器、控制器、执行器等装置，并融合现代通信与网络技术，实现车与X（人、车、路、云端等）智能信息交换、共享，具备复杂环境感知、智能决策、协同控制等功能，可实现“安全、高效、舒适、节能”行驶，并最终可实现替代人来操作的新一代汽车，随着技术的发展，智能化功能越来越丰富。

2018年1月，国家发改委发布的《智能汽车创新发展战略》（征求意见稿）中提出，到2020年，智能汽车新车占比将达到50%。按照该战略的规划，汽车产品将由以往的机械化产品向智能化控制产品转变；在应用层上，汽车将成为兼顾办公、居家、娱乐的智能化移动空间。

随着机器人技术的发展，大多数机器人已经不再是单一用途，它们可以完成更多人类无法完成的危险工作。经过几十年的发展，如今的机器人已经能够模仿人类行为，被称为类人生物。目前世界上最先进的五大机器人，或许在未来登陆宇宙各大星球的就是它们。

全球最先进五大机器人

腱悟郎（Kengoro）

目前全球公认最先进的机器人，由日本东京大学一研究小组在今年完成，它可以完成俯卧撑、引体向上甚至羽毛球都打得非常棒，因为它拥有模拟肌肉运动的致动器，所以它不仅可以发热，有趣的是他还会流汗。研究人员称，Kengoro的灵活度是人类的6倍，创造它的目的是让人类在各种无法完成的测试中增加可行性，比如汽车碰撞测试。

作者 Jeff Russell

基于物理的渲染（PBR）是近来实时渲染领域的趋势。PBR经常被提及，同时它的准确定义也经常被混淆。这里我们将来解释什么是PBR，它与之前的渲染模式区别在哪里？这篇文档的目标读者是非技术人员（主要是美术人员），文档中将不会出现任何数学公式或代码。

基于物理的着色（PBS）跟之前着色方式最大的区别在于PBS是建立在对光和物体表面行为准确推论的基础上的。当前硬件着色性能已经足够好使得一些老的基于节省性能考虑的近似处理完全可以丢弃，与之相关的老的美术产出流程也可以丢弃。这意味着技术人员和美术人员需要明白这些改变的背后理论依据。

Diffusion & Reflection

散射和反射——也称为“漫反射”和“高光”，分别描述了物体表面和光的最基本的相互作用。可能大多数人实际工作中熟悉这些概念，但是可能并不知道“漫反射”和“高光”在物理层面上的区别。

当光线以电磁波的形式传播到物体表面时，会产生反射——光线朝物体表面法线的另一侧离开。这种行为跟一个球碰撞到地面发生弹射的行为一样。在光滑的表面，将产生完美的反射现象。“高光”经常用来描述这种现象。