民间配资平台

我的账户
五莲百事通

自媒体资讯干货

亲爱的游客,欢迎!

已有账号,请

立即登录

如尚未注册?

加入我们
  • 客服电话
    点击联系客服

    在线时间:8:00-16:00

    客服电话

    400-000-0000

    电子邮件

    xjubao@163.com
  • APP下载

    五莲百事通APP

    随时随地掌握行业动态

  • 官方微信

    扫描二维码

    关注五莲百事通公众号

五莲百事通 网站股票配资 资讯列表 资讯内容

案例实践丨最优化算法的前世今生

2020-07-18 发布于 五莲百事通

原标题:案例实践丨最优化算法的前世今生

近期,大岩资本黄铂博士联合生活实践中的案例,深入浅出阐释了最优化算法的前世今生。

从现实生活中最基础的应用切入,黄铂将抽象的算法观点生动化,解释了什么叫最优化问题、凸优化及算法分类、呆板学习与人工智能应用。

最优化问题及基础应用

民间配资平台人生不快意之事十之八九,想到达我们想要到达的目标时,通常都有各种各样的限定。那么所谓最优化问题,就是指用最优的方式去平衡理想与现实之间的关系。

以简朴的邮差送信问题为例,邮差从A出发,送信到BCD,末了回到A。邮差天天必须颠末BCD,而且每个点天天只能颠末一次,在如许的束缚条件下,他的目标函数是尽可能以最短的时间完成送信。这个问题非常简朴,只要把全部的路径枚举出来,然后取最短时间的方式即可。

根据前面的例子,我们严酷的将目标函数分为两大类。

民间配资平台第一类是最大化,包括最大化红利,最大化效率。另一类是最小化,包括最小化用度、时间和错误率。在金融行业,我们可以最大化预测股价的正确率,也可以最小化用度、最小化时间和错误率。

民间配资平台固然,我们可以同时最大化红利,最小化用度和时间。以是通常在许多的优化问题中,这两种使命可以组合起来出现在同一个问题框架下,这就是对于目标函数的界说。

民间配资平台最优化问题的两大类:连续优化与离散优化

关于束缚条件,理想很优美,现实很骨感,在现实生活中,我们会遇到好比预算有限、时间有限、外部强制性条件等各种各样的问题,与目标函数一样,这些限定条件不是单一存在的,也可能同时存在同一个问题里,对于某一个优化问题来讲,限定条件越庞大,求解就越困难。

民间配资平台基于此,我们简朴根据它的束缚条件以及目标函数变量类型将最优化问题分成两大类,连续优化和离散优化。

连续优化正如图上所画,线中心没有断点,而离散优化的变量取值,是一个不连续的记载,就犹如一开始讲的邮差送信问题。

民间配资平台两类相较而言,离散优化会更难解决,由于离散优化多了一条限定条件 -- 不连续的集合。许多时候,我们要求我们的变量是一个整数,或者来自一个给定的区间,以是说离散优化会比连续优化更难解,而两种算法也会有非常大的不一样。

从学术角度而言,连续优化与离散优化对应的是两个比力独立的学科,离散优化可能更多的应用于统计、大数据相干的场景,连续优化则会跟计算机暗码学相干,更多的与我们现实生活中的运筹优化应用相干。

从目标函数出发,它的最优值也分为两类,局部最优和全局最优。我们看图中黄色的点,在局部区域内是最低的,我们管这个值叫做局部最优值,但是当我们看整个图时,赤色的点才是最低的,以是这个点我们叫全局最优值。

通常来说,取局部最优值是相较容易的,由于基本上你只需要看它临近一小部门的信息就可以准确判断是否局部最优,而在现实应用中,实在仅仅知道局部最优值就足以解决许多问题。而更难的问题在于全局最优值,由于条件是你需要看到整个画面。

以是,对于这一类问题,我们目前没有一个特别好的解决要领。现实生活中,我们会有比力多的要领去求局部最优值,而每每我们找到的险些跟现实上的全局最优值不一样。

但有一个问题是破例,这类问题它具有比力好的性子,只要找到局部最优值,它就肯定是全局最优值,这类问题就叫凸优化。

凸优化问题中的最优值

民间配资平台凸优化的要害字在“凸”,我们要界说什么样的工具是凸的呢?看上图,蓝色区域代表优化问题里变量可以取值的空间,当取值空间是凸的时候,这是凸优化的一个须要条件。

民间配资平台那么什么样的集合是凸的集合?我们在集合里任意选两点X、Y,我们将这两点连成线,从X到Y的这条线上全部的点都必须在集合里,只有如许的集合才叫做凸的集合。

相反,如果有任意一个点在集合之外,那就不是凸的集合。而对于一个凸优化的问题而言,它全部的变量取值必须来自于凸的集合。

以是说,对于全部的离散优化而言,它都不是凸优化的,由于它的取值实在不是一个空间,而是一个洞一个洞的,它是许多洞的集合。

民间配资平台以是,通常求解这类问题时很困难,许多时候我们求解的都是一个局部最优值。在现实生活中,我们求解的都是局部优化的问题,而这类问题在全部问题中所占比例是非常非常低的。

民间配资平台如果把整个集合看作一个优化问题的集合,那么相对来讲,比力小的一部门是属于连续优化的问题,其他更大的区域属于离散优化的问题,而在连续优化的空间里只有很小的一部门属于凸优化的问题。以是说,在最优化的领域里,我们真正解决的只是现实问题中的冰山一角。

凸优化问题的经典算法

民间配资平台对于凸优化的问题,黄铂博士给各人先容几个最经典的算法。

第一个算法,最速降落法。起首,我们看下图,这是一个等高线,我们可以把它理解为我们的高楼,每一个圈代表一层,最中心是最高的位置,我们终极目标是用最快的方式上到中心位置。

那么,最速降落法是怎么做的呢?好比从一楼上二楼可以有多种要领,很明显我们从垂直偏向往上跳,在局部来看是最快的,然后以如许的要领上到最高层。

最速降落法有哪些特点呢?每一步都做到了最优化,但很遗憾的是,对于整个算法而言,它并不是非常好的算法。由于它的收敛速率是线性收敛,线性收敛对于最优化算法而言是一种比力慢的算法,但也是凸优化里最自然的一个算法,最早被应用。

第二个算法,共轭梯度法。与最速降落法相比力(看下图),绿色的线是最速降落法的迭代,从最外层到中心点可能需要五步迭代,但是共轭梯度法可能只需两步迭代(赤色线)。

共轭梯度法最大特点是罗致前面的经验再做下一步的行动,好比从四楼上五楼,我们会思量偏向是否最佳,罗致之前跳过的四步经验,再探索新的偏向往上跳。从数学的角度来讲,每一步进步的偏向和之前全部走过的路径都是垂直的,由于如许的性子,共轭梯度法的收敛速率远远高于最速降落法。

民间配资平台第三个算法,牛顿法。前面两种算法,从数学的角度讲,他们只用到了一阶导数的信息,对于牛顿法而言,它不仅仅用到了局部一阶导的信息,还用到了二阶导的信息。

民间配资平台相比前面两种算法,牛顿法的每一步,它在决定下一步怎么走时,不仅思量当前的降落速率是否足够快,还会思量走完这一步后,下一步坡度是否更陡,下一步是否更难走。可见,牛顿法所看到的区间会更远,收敛速率更快,属于二阶收敛速率。

民间配资平台如果最速降落法需要100步的话,牛顿法就只需要10步,但也正由于牛顿法使用了二阶导的信息,以是它需要更多的运算量。

第四个算法,拟牛顿法。1970年,Broyden、Fletcher、Goldfarb、Shanno四人险些同一时间发表了论文,对于传统的牛顿法举行了非常好的改进,这个算法叫拟牛顿法,它的收敛速率与牛顿法相似,但是它不再需要计算二阶导数,以是每一步的迭代速率大大增长。

民间配资平台它是通过当前一阶导数的信息去近似二阶导数的信息,因此整个运算速率大幅度增长。由于这个算法是四小我私人险些同一时间发明的,以是也叫BFGS算法。下图中的照片是他们四小我私人聚在普林斯马上拍的,很幸运的是,Goldfarb是我博士时期的导师。

民间配资平台现实生活中,被应用最广的两种算法,一个是BFGS,另一个就是共轭梯度法。这两种算法经常会出现在许多的程序包里或者开源代码里,如果使用在大范围的优化问题或者成千上万个变量的问题中,也会有非常好的效果。

最优化算法的高级应用

随着这些年大数据与人工智能的发展,最优化的算法也随之进一步发展,接下来几个应用可能更有意思。

第一个应用叫压缩感知,起首我们把一个图去掉80%、90%的像素点,然后如何还原到原有的图片,这个问题看起来非常困难,但是在现实应用中,压缩感知的算法就有非常好的效果。与这个问题相干的,另有许多很优美的优化算法,好比稀疏优化,对偶加速算法、Lasso。

这个算法另有另外一个应用,人脸辨认。看下图,这个图上是同一小我私人在做各种心情,甚至戴上墨镜,人脸辨认通常会用在海关、捉拿罪犯。当我们原始输入的人脸有许多噪音时,它会通过最优化算法,将人脸画像出来,好比当输入的是戴有墨镜的人脸,算法会将墨镜和人脸分散开来。

民间配资平台同样的算法可以应用在配景分散,好比我们想要一张非常美的海景,但是又不想要太多人在这个照片上,那么就可以通过这个算法将人物和配景分散开。

民间配资平台看下图右侧,这是一个电梯口的监控录像,配景是静止的,而来来每每的人是动态的,通过最优化算法就可以将远景和配景分散出来。这项研究是在2009年由微软研究员的几名学者一起研究出来的。

末了一部门是深度学习。深度学习有许多层神经网络,这个算法在97年就已经被提出来了,但是之以是最近才会有非常大范围的应用,由于在算法上会有非常大的提高,我们可以通过GPU来举行加速运算。

另外,我们在优化算法上也有了非常好的进展。其相干的优化算法是随机优化,顾名思义,它不会优化全部的变量、全部的样本,而是随机挑选一个或者几个样本举行优化,然后在不需要看完备样本的情况下就可以有非常好的效果,可以大范围的提高模子训练速率。

最优化算法,源于生活高于生活,许多应用实在出现在我们天天的一样平常生活中,希望今天的演讲对各人有所帮助。谢谢各人。雷锋网雷锋网(公众号:雷锋网)雷锋网

雷锋网原创文章,未经授权克制转载。详情见转载须知。


 
1

鲜花
1

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

五莲百事通

扫一扫二维码关注我们Get最新资讯

相关分类
热点推荐
关注我们
五莲百事通与您同行

客服电话:400-000-0000

民间配资平台客服邮箱:xjubao@163.com

民间配资平台周一至周五 9:00-18:00

五莲百事通 版权所有

Powered by 五莲百事通 X1.0@ 2015-2020

最近股市

强势股

基金重仓股

场外配资

配资玩法

配资成本

配资方

配资机构

配资单位

机构配资