机器学习

由于意外的机器学习模型退化导致了几个机器学习项目的失败，我想分享一下我在机器学习模型退化方面的经验。实际上，有很多关于模型创建和开发阶段的宣传，而不是模型维护。

统计学和机器学习之间的界定一直很模糊。无论是业界还是学界一直认为机器学习只是统计学批了一层光鲜的外衣。而机器学习支撑的人工智能也被称为“统计学的外延”。例如，诺奖得主托马斯·萨金特曾经说过人工智能其实就是统计学，只不过用了一个很华丽的辞藻。

机器学习是当下人工智能浪潮的核心技术，受到了工业界的广泛应用，为社会带来了巨大的产业价值。然而，如果机器学习系统受到攻击，将会带来怎样的严重后果？我们该如何分析、规避这种风险？下面，本文作者将基于 6 个月的研究心得，教给大家破解机器学习系统攻击的正确方式！

损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。

虽然我不是专门研究迁移学习的，但是作为一个AI研究者，就如题图吴老师所说，迁移学习极为重要，是必须要学习的，今天就先总结介绍一些迁移学习的基础知识。

线性判别分析(Linear Discriminant Analysis,LDA)是一种有监督学习算法，同时经常被用来对数据进行降维，它是Ronald Disher在1936年发明的，有些资料上也称位Fisher LDA。LDA是目前机器学习、数据挖掘领域中经典且热门的一种算法。

在经典的机器学习领域，特征工程始终占据着核心位置，特征工程的质量高低往往直接决定了机器学习效果的成败。本文概述我们在加密恶意流量检测实践中的特征工程方法流程并分析最终使用的流量特征集合。

机器学习即 ML，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

Linear Discriminant Analysis (也有叫做Fisher Linear Discriminant)是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，LDA是为了使得降维后的数据点尽可能地容易被区分！

假设原始数据表示为X，（m*n矩阵，m是维度，n是sample的数量）

既然是线性的，那么就是希望找到映射向量a， 使得 a‘X后的数据点能够保持以下两种性质：

1、同类的数据点尽可能的接近（within class）

2、不同类的数据点尽可能的分开（between class）

所以呢还是上次PCA用的这张图，如果图中两堆点是两类的话，那么我们就希望他们能够投影到轴1去（PCA结果为轴2），这样在一维空间中也是很容易区分的。

接下来是推导，因为这里写公式很不方便，我就引用Deng Cai老师的一个ppt中的一小段图片了：

机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。