demi的博客

机器学习相关——协同过滤

在现今的推荐技术和算法中,最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。下面直接进入正题

1 什么是协同过滤

协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF),首先想一个简单的问题,如果你现在想看个电影,但你不知道具体看哪部,你会怎么做?大部分的人会问问周围的朋友,看看最近有什么好看的电影推荐,而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。

换句话说,就是借鉴和你相关人群的观点来进行推荐,很好理解。

2 协同过滤的实现

要实现协同过滤的推荐算法,要进行以下三个步骤:

收集数据——找到相似用户和物品——进行推荐

收集数据

这里的数据指的都是用户的历史行为数据,比如用户的购买历史,关注,收藏行为,或者发表了某些评论,给某个物品打了多少分等等,这些都可以用来作为数据供推荐算法使用,服务于推荐算法。需要特别指出的在于,不同的数据准确性不同,粒度也不同,在使用时需要考虑到噪音所带来的影响。

图像处理中的不适定问题(ill posed problem)

图像处理中不适定问题(ill posed problem)或称为反问题(inverse Problem)的研究从20世纪末成为国际上的热点问题,成为现代数学家、计算机视觉和图像处理学者广为关注的研究领域。数学和物理上的反问题的研究由来已久,法国数学家阿达马早在19世纪就提出了不适定问题的概念:称一个数学物理定解问题的解存在、唯一并且稳定的则称该问题是适定的(Well Posed).如果不满足适定性概念中的上述判据中的一条或几条,称该问题是不适定的。

典型的图像处理不适定问题包括:图像去噪(Image De-nosing),图像恢复(Image Restorsion),图像放大(Image Zooming),图像修补(Image Inpainting),图像去马赛克(image Demosaicing),图像超分辨(Image super-resolution )等。

迄今为止,人们已经提出许多方法来解决图像处理中的不适定性。但是如何进一步刻画图像的边缘、纹理和角形等图像中重要视觉几何结构,提高该类方法在噪声抑制基础上有效保持结构和纹理能力是有待深入研究的问题。

1 不适定图像处理问题的国内外研究现状评述

九大汽车主动安全系统

安全”一直是车主对车辆考核的重要指标,具有主动安全的汽车,当然就有着比较高的避免事故能力,尤其在突发情况的条件下保证汽车安全。车辆安全分可以从主动安全和被动安全两个方面进行分类。今天就和大家聊聊汽车的主动安全,大致整理了九种系统:ABS、ASR、AWS、EBD、ESC、LCA、SAS、TCS、VSA。

什么是主动安全系统?

所谓主动安全,其实是和被动安全的概念相对应的。被动安全侧重于在遇到事故时尽可能地减少车内乘客受到的伤害,例如安全气囊、笼式车身就是典型的被动安全的范畴。

而主动安全就侧重于监测到事故发生或者车辆失控的可能性,从而通过一系列介入车辆操控的手段去避免它。尽量自如的操纵控制汽车的安全系统措施。无论是直线上的制动与加速还是左右打方向都应该尽量平稳,不至于偏离既定的行进路线,而且不影响司机的视野与舒适性。

九大汽车主动安全系统

具有主动安全的汽车,当然就有着比较高的避免事故能力,尤其在突发情况的条件下保证汽车安全。

主动安全体系和分类以及各个厂家的叫法略有不同。小编大致整理了以下九种系统:ABS、ASR、AWS、EBD、ESC、LCA、SAS、TCS、VSA。

一文了解LSTM和GRU背后的秘密

你好,欢迎阅读长短期记忆网络(LSTM)和门控循环单元(GRU)的图解文章。我是Michael,是AI语音助理领域的机器学习工程师。

在这篇文章中,我们将从LSTM和GRU背后的原理出发。然后我将解释允许LSTM和GRU表现良好的内部机制。如果你想了解这两个网络的背后到底是什么,那么这篇文章就是为你准备的。

一文了解LSTM和GRU背后的秘密

问题根源短期记忆

递归神经网络(RNN)具有短期记忆。如果序列足够长,他们将很难将信息从较早的时间步骤传送到后面的步骤。因此,如果你正在尝试对一段文本进行预测,RNN可能会从一开始就遗漏掉重要信息。

在反向传播期间,递归神经网络(RNN)会遇到梯度消失问题。梯度是用于更新神经网络权重的值。梯度消失问题是当梯度随着时间的推移传播时梯度下降。如果梯度值变得非常小,则不会继续学习。

全卷积网络FCN详解

背景

CNN能够对图片进行分类,可是怎么样才能识别图片中特定部分的物体,在2015年之前还是一个世界难题。神经网络大神Jonathan Long发表了《Fully Convolutional Networks for Semantic Segmentation》在图像语义分割挖了一个坑,于是无穷无尽的人往坑里面跳。

全卷积网络FCN详解

全卷积网络 Fully Convolutional Networks

CNN 与 FCN

常见的十大物联网通讯技术优劣及应用场景

如今,“万物互联”不只是一种愿景,在很多实际的应用场景里面,已经实现了局部的物联网,如工业自动化、智慧农业、智能公交、高端酒店等场所。物联网是未来十年最具有市场前景的领域,相关的无线通讯技术也逐步出现。

在实现物联网的通讯技术里面,蓝牙、zigbee、Wi-Fi、GPRS、NFC等是应用最为广泛的无线技术。除了这些,还有很多无线技术,它们在各自适合的场景里默默耕耘,扮演着不可或缺的角色。本文笔者将通过常见的十大无线通讯技术优劣及应用场景,带大家认识真正的物联网通讯技术。

十大物联网通讯技术优劣及应用场景

常见的十大物联网通讯技术优劣及应用场景

1、蓝牙的技术特点

人工智能是一种好的网络安全工具,也是一把双刃剑

AI在安全方面的角色对白帽黑客和网络罪犯都很有吸引力,但目前似乎还没有找到双方的平衡。

人工智能已经成为网络安全开发者的新宝藏,这要归功于它的潜力,它不仅可以在很大的规模上实现功能自动化,还可以根据它在一段时间内学到的东西来做出相应的决策。这可能会对安全维护人员产生重大影响——通常情况下,公司根本没有足够的资源在众多恶意软件中“大海捞针”。

例如,如果一名工作人员通常在纽约工作,突然有一天早上从匹兹堡登录,这是一种反常现象——人工智能可以看出这是一种反常现象,因为它已经学会了期望用户从纽约登录。类似地,如果该用户在匹兹堡登录后,在几分钟后又在另一个地方登录,比如加州,那么这很可能是一个恶意的危险信号。

因此,在最简单的层面上,人工智能和“机器学习”围绕的是对行为规范的理解。系统需要一些时间来观察环境,以了解什么是正常的行为,并建立一个基准线——这样它就可以通过将算法知识应用到数据集来获取偏离规范的偏差。

针对网络安全的AI可以以多种方式帮助防御者。然而,人工智能的出现也有不利的方面。首先,网络犯罪分子也利用了这项技术,很明显,它可以被用于各种恶意的任务。比如对开放的、易受攻击的端口进行的扫描,或者是电子邮件的自动组合,这些邮件具有公司首席执行官的准确语气和声音,被24小时窃听。

4G升级5G,4G网络不会被淘汰,与5G继续共存

2020年5G开始商用,但是由于覆盖面积有限,或许只能覆盖市区热点区域,很长一段时间内4G还将是起到主要覆盖的数据网络。

就5G建设本身而言,在短短的一年左右的时间内,建站的数量一定是有限的。

4G网络,移动从2013年建设到今天,联通电信从2015年开始到今天,也只是完成了城市和郊区的基本覆盖,广大农村区域覆盖还有所欠缺。而5G即使是从现在就开始建设,到2020年也就是1年多的时间,不可能完成如今天4G的网络覆盖。也就是说,在很长一段时间内4G的数据网络覆盖区域要大于5G,而作为主要数据承载网络的4G也就不会轻易被淘汰。

5G本身而言,主要是涉及到一些高端的应用和行业应用,在大量民用级应用还没有落地的情况下,暂时找不到引导个人用户使用的应用场景。

机器学习常用评估指标的前世今生

在机器学习中,性能指标(Metrics)是衡量一个模型好坏的关键,通过衡量模型输出y_predict和y_true之间的某种“距离”得出的。

性能指标往往使我们做模型时的最终目标,如准确率,召回率,敏感度等等,但是性能指标常常因为不可微分,无法作为优化的loss函数,因此采用如cross-entropy,rmse等“距离”可微函数作为优化目标,以期待在loss函数降低的时候,能够提高性能指标。而最终目标的性能指标则作为模型训练过程中,作为验证集做决定(early stoping或model selection)的主要依据,与训练结束后评估本次训练出的模型好坏的重要标准。

在机器学习的比赛中,有部分比赛也是用metrics作为排名的依据(当然也有使用loss排名)。

在使用机器学习算法的过程中,针对不同的场景需要不同的评价指标,常用的机器学习算法包括分类,回归,聚类等几大类型,在这里对常用的指标进行一个简单的总结,小编总结了前人的很多博客,知乎等,方便自己学习。当然,需要的同学们也可以看一下。

一,分类

自动驾驶技术之——无人驾驶中的CAN总线

CAN总线在整个无人驾驶系统中有着十分重要的作用。除了在VCU信号需要通过CAN总线进行传输外,无人车上的某些传感器(如雷达、Mobileye)的信号传递也是通过CAN实现的。

前言

本文主要内容是——无人驾驶中的CAN(Controller Area Network )总线。

CAN总线在整个无人驾驶系统中有着十分重要的作用。除了在VCU信号需要通过CAN总线进行传输外,无人车上的某些传感器(如雷达、Mobileye)的信号传递也是通过CAN实现的。

我在无人驾驶,个人如何研究?中提到过

实现一个无人驾驶系统,会有几个层级: 感知层 → 融合层 → 规划层 → 控制层 更具体一点为: 传感器层 → 驱动层 → 信息融合层 → 决策规划层 → 底层控制层

“传感器层”在之前的分享中已经介绍过了,这次主要介绍的是“驱动层”相关的内容。

正文