demi的博客

经过前面章节学习，我们对Opengl ES在android中开发有了基本的整体认识，知道顶点着色器和片段着色器，以及它们的写法，可以绘制图形（三角形）和图像（纹理操作），本文我们对前面章节的学习做个总结。

在强化学习（二）马尔科夫决策过程(MDP)中，我们讨论了用马尔科夫假设来简化强化学习模型的复杂度，这一篇我们在马尔科夫假设和贝尔曼方程的基础上讨论使用动态规划(Dynamic Programming, DP)来求解强化学习的问题。

动态规划这一篇对应Sutton书的第四章和UCL强化学习课程的第三讲。

1. 动态规划和强化学习问题的联系

对于动态规划，相信大家都很熟悉，很多使用算法的地方都会用到。就算是机器学习相关的算法，使用动态规划的也很多。

动态规划的关键点有两个：一是问题的最优解可以由若干小问题的最优解构成，即通过寻找子问题的最优解来得到问题的最优解。第二是可以找到子问题状态之间的递推关系，通过较小的子问题状态递推出较大的子问题的状态。而强化学习的问题恰好是满足这两个条件的。

我们先看看强化学习的两个基本问题。

一般的梯度下降方法寻找的是loss function的局部极小值，而我们想要全局最小值。如下误差曲面图所示，我们希望loss值可以降低到右侧深蓝色的最低点，但loss有可能“卡”在左侧的局部极小值中，也就是图中红线所走的路径。

经典的“铁三角”定律决定了每个项目都有三大目标：快速、低成本和优质效果，客户往往需要从中决定优先考虑实现的二个目标。Unity的光线追踪功能通过使用广泛运用且相对低廉的计算硬件，在实时渲染中实现极为逼真的可视化效果，打破了这个铁三角定律，这种组合效果展现了我们的关键突破。

如果你把图像看作信号，那么噪声就是干扰信号。我们在采集图像时可能因为各种各样的干扰而引入图像噪声。前面提到，我们可以把图像看作一个函数，那么带有噪声的图像，就可以看作是原始图像函数与噪声函数相加的和。

在本篇我们会讨论HMM模型参数求解的问题，这个问题在HMM三个问题里算是最复杂的。

数量爆发式增长的背后，Wi-Fi、蓝牙、Zigbee三大无线连接技术正上演一场“争霸赛”。本文通过对三项技术的详细对比，以分析三项技术在具体应用场景中的优劣势。

企业比以往任何时候都更受数据所驱动，物联网(IOT)是这种转变的原因之一。如今，许多企业都在使用物联网数据来驱动决策。据专家预测，到2020年，物联网设备将超过300亿台，其中一个主要趋势是数据货币化。但有一个问题：物联网数据并没有被充分利用。

5G应用距离生活已经越来越近，作为市场中难得的一块新鲜出炉的蛋糕，大家都对5G发展有着很高期许。而5G与安防行业的发展也可谓休戚相关，以无人机为例，5G可以有效地促进无人机在巡检、应急、安防、物流等多个场景深度融合应用，实现无人机工作全时化、智能化和自主化。

通过阅读，你将对游戏开发与实时渲染中加速渲染算法的以下要点有所了解：常用空间数据结构（Spatial Data Structures）；各种裁剪技术（Culling Techniques）；各种层次细节（LOD，Level of Detail）技术；大型模型的渲染（Large Model Rendering）；点渲染（Point Rendering）。