视觉是人类认知世界最重要的功能手段，生物学研究表明，人类获取外界信息75%依靠视觉系统，而在驾驶环境中这一比例甚至高达90%。如果能够将人类视觉系统应用到自动驾驶领域，无疑将会大幅度提高自动驾驶的准确性，而这正是当前计算机科学和自动驾驶领域最热门的研究方向之一，它就是机器视觉技术。
机器视觉技术发展至今已有几十年的历史，而真正发生革命性进步的则是莫尔视觉计算理论的提出，通过实现神经网络相关算法使机器拥有同人类视觉系统同样的功能提供了可能。
一般来说，机器视觉系统包含有镜头、摄像系统和图像处理系统。其核心则是专用高速图像处理单元，也就是把存入的大量数字化信息与模板库信息进行比较处理，并快速得出结论，其运算速度和准确率是关键指标。
目前，自动驾驶系统主要通过高效合理的算法和处理能力强大的芯片来实现。随着计算机技术的进步，更先进的算法被相继发明，如采用网格分布式处理系统能够有效的提高运算的效率。
机器视觉的核心问题将是对图像的深入理解，自动驾驶中的视觉应用主要有以下方面：
1、障碍物检测
障碍物检测的准确率是车辆自动驾驶过程中安全性的重要保证。在行驶过程中，障碍物的出现是不可预知的, 也就无法根据现有的电子地图避开障碍物，只能在车辆行驶过程中及时发现, 并加以处理。
由于自动驾驶环境的不成熟，关于障碍物的定义尚没有统一的标准。因此, 可以认为一切可能妨碍车辆正常行驶的物体和影响车辆通行的异常地形都是车辆行驶过程中的障碍物。
目前，障碍物检测算法主要有以下三种：
① 基于特征的障碍物检测。
② 基于光流场的障碍物检测。
③ 基于立体视觉的障碍物检测。
在上述算法中，基于立体视觉的障碍物检测因为不需要障碍物的先验知识, 对障碍物是否运动也无限制, 还能直接得到障碍物的实际位置，所以是目前主流研究方向。但此算法对摄像机标定要求较高, 需要对摄像机进行动态标定。
2、道路检测
自动导航是自动驾驶的必要条件，自动驾驶过程中，道路检测主要是为了确定车辆在道路中的位置和方向，以便控制车辆按照正确的路线行驶。同时，还为后续的障碍物检测确定搜索范围，以及缩小障碍物检测的搜索空间，降低算法复杂度和误识率。
由于现实中的道路多种多样，再加上光照、气候等各种环境因素的影响，道路检测是一个十分复杂的问题。至今仍无一个通用的算法，现有算法基本上都对道路做了一定的假设。
通常采用的假设方法：
① 特定兴趣区域假设；
② 道路等宽假设；
③ 道路平坦假设。
目前，机器视觉技术在自动驾驶中并没有进行大规模的应用，，最终难点在于模拟神经网络的视觉算法。但是摄像头技术在汽车的应用已十分成熟，如行车记录仪，倒车影像等功能。且芯片技术也已能够高效完成图像的压缩处理
