随机优化、鲁棒优化和分布鲁棒优化有什么联系和区别?
推荐
在线提问>>
一、随机优化、鲁棒优化和分布鲁棒优化的联系和区别
三个都是考虑了数据的不确定性，即存在扰动y，但是假设不一样。
假设现实情况下的y属于某个概率分布p，随机规划假设决策者是知道这个p，这是不现实的；
鲁棒优化假设决策者有一个不确定集U，这个集合中的元素均满足某个条件，但鲁棒优化要求最坏的情况也要能够应对，实际上最坏的情况有时候绝不可能发生，这将会过于保守甚至不存在解；
分布鲁棒优化假设决策者不完全知道p，但大概知道p会是个什么样子，因此他确定某个概率分布的集合P，在P里面找出最坏的p worst，在p worst的情况去优化。
优化问题有四大类：传统确定优化问题，随机规划问题，鲁棒优化，分布鲁棒优化
相对于传统确定规划而言，也就是参数都是确定的，比如加工时间确定，运送时间确定，实际生活中，这些值往往是有波动的，就有了不确定优化。
不确定优化一般分为随机规划和鲁棒优化：前者假定参数服从一个分布，一般来说会以期望值为优化目标；后者假定分布未知但是现实中的数据中可以获得一些信息，比如参数出现的所有情况，这就是离散的鲁棒优化，或者是每个参数的取值区间，这就是区间鲁棒优化，而鲁棒优化的目标，可以根据需要的保守程度来制定，如果问题涉及安全，那我们肯定是要不出现任何事故，类似这样的就可以制定绝对目标，优化最差的情况，如果是其他的不需要如此保守的，或许可以制定优异化最大后悔值，等等。
分布鲁棒优化是比较新的研究方向，研究难度相对来说也是大一点点的，结合了随机规划和鲁棒优化，假定参数有多个取值情况，而每一个取值又服从一个分布。
总之，如果概率分布集合P仅包含y的实际分布p，分布鲁棒优化变为随机规划；如果概率分布集合P包含U中的所有情况，分布鲁棒优化变为鲁棒优化。
延伸阅读：
二、RMSprop
为了进一步优化损失函数在更新中存在摆动幅度过大的问题，并且进一步加快函数的收敛，于是提出了 RMSprop，该算法通过引入一个衰减系数，让梯度累计量
每回合都衰减一定比例，类似于 Momentum 中的做法，是对 AdaGrad 算法的改进。优点是减小了梯度在变化幅度较大的分量上的更新速度，提高了变化幅度较小的分量上的更新速度，使用了指数移动加权平均来对历史梯度信息做处理，提高了收敛速度。RMSprop 可以实现学习率自适应调整，变化较大的梯度分量上的学习率会自动减小，变化较小的梯度分量上的学习率会自动增大。
RMSprop 的缺点是依然依赖于全局学习率。它是 Adagrad 的一种发展，和 Adadelta 的变体，效果趋于二者之间；适合处理非平稳目标，针对 RNN 效果不错。
以上就是关于随机优化、鲁棒优化和分布鲁棒优化有什么联系和区别的内容希望对大家有帮助。
