神经网络是一种受到生物神经系统启发而设计的计算模型，用于机器学习和人工智能领域。神经网络由大量的人工神经元（模拟生物神经元）组成，这些神经元通过连接权重相互连接，形成网络结构。神经网络的目标是通过学习和调整权重来模拟和解决复杂的问题。
神经网络通常被认为是机器学习的圣杯，无所不知，解决一切问题，主要是因为它们很复杂。另一方面，基于树的方法并没有被同样的敬畏和炒作，主要是因为它们看起来很简单。虽然它们看起来如此不同，但它们只是一枚硬币的两面。
深度学习网络模型训练困难的原因是，cnn包含很多隐含层，每层参数都会随着训练而改变优化，所以隐层的输入分布总会变化，每个隐层都会面临covariate shift的问题。
9月30日，“2020中国新能源智能汽车产业峰会（NEIV2020）”在佛山隆重举行。因为国外疫情影响，会议邀请英国Imagination公司的AI高级总监安德鲁·格兰特录制演讲报告《半导体IP驱动汽车行业智能发展》与会分享。他在报告中以丰富的神经网络加速器的使用案例，阐述人工智能和边缘系统级芯片的计算能力如何实现汽车产业变革，加速人工智能自动驾驶的发展。
神经网络通常被认为是机器学习的圣杯，无所不知，解决一切问题，主要是因为它们很复杂。另一方面，基于树的方法并没有被同样的敬畏和炒作，主要是因为它们看起来很简单。虽然它们看起来如此不同，但它们只是一枚硬币的两面。
9月18日，Imagination Technologies 高管Andrew Grant 受邀参加由旷视公司承办的“人工智能开源开放与生产力促进论坛”，并在论坛上发表主题演讲——《在边缘侧神经网络处理器IP中使用开源的AI框架》，并从芯片IP供应商的角度介绍Imagination如何借助神经网络加速器IP，推动开源AI框架。
众所周知，全连接层之前的作用是提取特征，全连接层的作用是分类。
在循环神经网络可以用于文本生成、机器翻译还有看图描述等，在这些场景中很多都出现了RNN的身影。
随着深度学习的快速发展，人们创建了一整套神经网络结构来解决各种各样的任务和问题。尽管有无数的神经网络结构，这里有十一种对于任何深度学习工程师来说都应该理解的结构，可以分为四大类: 标准网络、循环网络、卷积网络和自动编码器。
一般而言，比较成功的神经网络需要大量的参数，许许多多的神经网路的参数都是数以百万计，而使得这些参数可以正确工作则需要大量的数据进行训练，而实际情况中数据并没有我们想象中的那么多……
在深度学习中，神经网络模型是其较为常见的模型之一。神经网络已经在计算机视觉、自然语言处理、语音识别等领域取得了突飞猛进的发展，其强大的特征学习能力引起了国内外学者的广泛关注，有着十分广泛的应用前景。但是，神经网络在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳，这种情况称为过拟合。