在深度学习蓬勃发展的当下，前馈神经网络（FNN）、卷积神经网络（CNN）和循环神经网络（RNN）成为了构建智能系统的重要基石。
前馈神经网络（FNN）是最为基础的神经网络类型。它由输入层、若干隐含层和输出层组成，信息从输入层进入，沿着一个方向，依次经过各隐含层，最终到达输出层，各层之间神经元全连接，层与层之间没有反馈连接。其结构简单直接，在早期的机器学习任务中被广泛应用，为后续神经网络的发展奠定了基础。
卷积神经网络（CNN）是专门为处理具有网格结构数据（如图像、音频）而设计的。它包含独特的卷积层，卷积层通过卷积核在数据上滑动进行卷积操作，从而提取局部特征，同时利用权值共享大大减少了模型参数数量。此外，还有池化层用于对特征进行降维。CNN 在图像识别、目标检测等计算机视觉领域取得了巨大成功。
循环神经网络（RNN）与前两者不同，其神经元之间存在循环连接。这使得神经元不仅能接收上一层神经元的输入，还能接收同一层上一时刻的输入。这种结构赋予了 RNN 处理序列数据的强大能力，它可以记住序列中的历史信息，从而对序列的上下文关系进行建模，在自然语言处理、语音识别等序列相关任务中表现卓越。
相同点
- 基本组成：都由人工神经元组成，神经元通过权重连接，并且都利用激活函数来引入非线性，以学习数据中的复杂模式 。
- 训练方式：都可以使用基于梯度的优化算法（如随机梯度下降及其变种）进行训练，通过反向传播算法计算梯度，更新网络参数，以最小化损失函数。
- 应用领域：都广泛应用于人工智能的多个领域，如图像、语音、自然语言处理等，旨在解决分类、回归等任务。
不同点
结构特点：
- FNN：信息单向传播，从输入层经过隐含层到输出层，各层神经元全连接，没有反馈连接。
- CNN：引入卷积层和池化层。卷积层利用卷积核提取局部特征，权值共享减少参数；池化层对特征进行降维。层级结构能提取图像从低级到高级的特征。
- RNN：存在循环连接，神经元不仅接收上一层输入，还接收同一层上一时刻的输入，能处理任意长度序列，保留历史信息状态。
数据处理类型：
- FNN：适合处理无明显空间和时间结构的固定大小输入数据，如简单的分类和回归任务。
- CNN：主要处理具有空间结构的数据，如图像、视频等，通过卷积操作挖掘数据局部相关性。
- RNN：擅长处理序列数据，如文本、语音、时间序列数据等，考虑数据点的先后顺序和依赖关系。
优势：
- FNN：结构简单，易于理解和实现，在一些基础任务上能快速搭建模型。
- CNN：在图像和视频处理任务中表现出色，能自动提取特征，对平移、旋转等具有一定不变性，泛化能力较强。
- RNN：在处理序列数据时能有效利用历史信息，对序列的上下文关系有较好的建模能力。
局限性：
- FNN：全连接结构导致参数过多，容易过拟合，对复杂的空间和时间结构数据处理效果不佳。
- CNN：对于长距离依赖关系的建模能力相对较弱，在处理长序列数据时可能存在信息丢失问题。
- RNN：存在长程依赖问题（梯度消失或爆炸），处理长序列时难以有效利用较早时间步的信息。
