聊聊机器学习的套路

这里说说机器学习问题分析的一般性过程,尽管存在各种各样的机器学习问题,但大体上的步骤及最佳实践都有一定的套路。

理解问题

首先得理解要解决的是什么问题,比如

  • 业务上要解决什么问题
  • 该问题涉及到的信息管道有哪些
  • 如何采集数据,数据源在哪
  • 数据是完整的吗,数据刻度最小是多少
  • 数据是定期发布的还是实时获取的
  • 确定影响模型的有价值因素
  • 工作量

以上等等等等。

ETL处理

待收集的数据可能是表格数据、一串实时数据,N维矩阵或其他类型数据,同时也可能是多种存储介质,通过ETL处理将混合的数据源转成我们需要的格式,生成结构化数据类型。

数据预处理

对于收集的数据,可能存在缺陷,比如空值、异常值或数据产生器本身引起的偏差。这些缺陷可能导致模型效果不佳,同时为了优化更快收敛,需要做数据标准化处理,所以需要进行数据预处理。

比如缺失值可以简单设为0、列平均值、中值、最高频率值、甚至是稳健算法和knn等等。

比如标准化数据集,使数据集正态分布,平均值为0标准差为1。而且还达到了特征缩放效果。

模型定义

机器学习主要就是模型问题,我们通过机器学习来对现实进行抽象建模,以解决现实问题。所以机器学习主要工作就是使用哪种模型来建模,尽管各种大大小小模型一大堆,但大体上也有些套路。

  • 要完成的任务是预测结果还是对数据进行分类,前者是回归问题,后者是分类问题。
  • 对于分类问题,如果需要数据标记,则是监督学习,否则是非监督学习,使用聚类技术。
  • 数据是否为连续的,是的话考虑序列模型,比如自回归和RNN之类的。
  • 尽量使用简单模型,如果能用比如用单变量或多变量的线性回归或逻辑回归。
  • 简单模型解决不了的情况,可通过多层神经网络解决,比如复杂的非线性。
  • 使用了多少个维度的变量,将作用大的特征提取出来,并把不重要的特征去掉,比如用PCA降维。
  • 不是监督也不是非监督?考虑强化学习?

损失函数

损失函数用于衡量模型质量,它可以度量模型预测值与实际期望之间的差距,选择不合适的函数可能会影响模型的准确性,甚至影响收敛速度。

模型训练

数据准备好了,模型定义好了,就可以开始训练模型。训练中涉及几个关键术语:迭代,表示模型计算和调整的一次过程;批,数据集每次以一批为单位输入到模型中;epoch,每当整个数据集被处理完称为一个epoch。

另外,训练模型前先调整模型的初始权重,以便能更快更好地收敛。不能初始化为0,否则将导致学习失败。一般可以使用标准化技术将权重初始化。

数据集分割

一般将整个数据集分成三组,比例是7:2:1,第一组为训练集,用于调整模型参数;第二种为验证集,用于比较多个模型直接的表现;第三组为测试集,用于测试训练得到的模型准确性。

模型效果

模型训练完后要看效果如何,要看看泛化的能力。

对于回归问题,可以通过下面几个指标来了解拟合效果。

  • 平均绝对误差
  • 中值绝对误差
  • 均方误差等等

对于分类问题,可以通过下面几个指标来了解分类效果。

  • 准确性
  • 精确率
  • 召回率
  • F值
  • 混淆矩阵

对于聚类问题,可以通过下面几个指标来了解聚类效果。

  • 轮廓系数
  • 同质性
  • 完整性
  • V度量

本文转自:微信号 - 远洋号(seaboat-top),转载此文目的在于传递更多信息,版权归原作者所有。

推荐阅读