文章导航PC6首页软件下载单机游戏安卓资源苹果资源

pc软件新闻网络操作系统办公工具编程服务器软件评测

安卓新闻资讯应用教程刷机教程安卓游戏攻略tv资讯深度阅读综合安卓评测

苹果ios资讯苹果手机越狱备份教程美化教程ios软件教程mac教程

单机游戏角色扮演即时战略动作射击棋牌游戏体育竞技模拟经营其它游戏游戏工具

网游cf活动dnf活动lol周免英雄lol礼包

手游最新动态手游评测手游活动新游预告手游问答

您的位置:首页单机游戏角色扮演 → 怪物猎人世界新装备介绍 怪物猎人世界新装备新系统一览

邻客

深度强化学习中的好奇心

    本文是AI研究所编写的一个技术博客。最初的标题是《深层强化中的好奇心》。

    本文是AI研究所编写的一个技术博客。最初的标题是:

    深度强化学习的好奇心

    作者|迈克尔·克莱尔

    翻译|缩写2018

    校对|酱梨涂饰|菠萝女孩

    链接到原始文本:

    Http://towardsdata..com/holio.-in-.-.ment-.-.-.-network-.llation-747b322e2403

    深度强化学习中的好奇心

    早期密集学习的困难任务之一,Montezuma的复仇,在探索随机网络蒸馏方面取得了重大突破(来源:Parker兄弟博客)。

    Atari游戏是深层强化学习(RL)算法的一个流行的基准任务。Atari很好地平衡了简单性和复杂性:一些游戏(如Pong)是如此简单,以至于它们可以通过基本算法(如一般策略梯度)来解决,而其他游戏则足够复杂以至于可以击败甚至最先进的算法。

    在最简单和最复杂的游戏之间的一系列有用的任务已经成为许多深入加强学习研究论文的核心。

    来自OpenAI博客。

    前者“未解决”的阿塔里游戏,蒙提祖马的复仇,最近已经解决了一个算法(在某种程度上),可以在得分上超过人类表现。研究人员可以鼓励代理人在1级探索不同的房间,这是赢得游戏积分的好方法。

    通过好奇心探索

    人类在玩冒险游戏时有一种内在的探索欲望,比如蒙提祖玛的复仇。游戏设计者构建这样的游戏来鼓励这种行为,通常需要玩家在继续游戏之前进行探索。这就是为什么冒险游戏很有趣。(问任何喜欢玩天空游戏的人。)

    像Montezuma的《复仇》或《天空》这样的冒险游戏充分利用了玩家探索的自然欲望,使得探索成为游戏任务的关键部分。

    深度强化学习算法执行“探索”的典型方法是通过随机策略:从神经网络提供的动作似然分布中随机采样动作。因此,特别是在早期阶段(当策略没有时间收敛时),它是随机行动的明显选择。

    这种方法在某些情况下是有效的。例如,Pong的解决方案是随机旋转桨并观察结果。幸运的是,球偏转可以启动优化。

    在像蒙特祖马的复仇游戏中,这种方法是不可行的。想象一下,从游戏的开始,化身随机地左右移动,随机地跳跃。结果,化身掉进熔岩中或直接进入敌人而没有获得点数。没有积分或奖励,算法无法得到优化的信号。

    那你会随便甩一甩吗?祝你好运。

    好奇

    重点放在寻找更好的探索方法上。基于好奇心的探索可以看作是激发人类玩家好奇心的一种尝试。

    但是,我们如何创建一个好奇的代理呢?

    有很多方法可以实现这个想法。其中之一,甚至使用下一个状态预测,由于其简单性和可伸缩性而很有趣。

    其基本思想是同时培养独立的预测模型和策略模型。预测模型输入所观测到的当前状态和所选择的动作,并对下一次观测进行预测。

    为了探索足够的轨迹,我们假设损失很小(因为我们通过监督学习不断开发预测模型);对于探索不足的轨迹,我们假设损失很大。

    那么,我们能做的就是创建一个新的奖励函数(称为“内在奖励”),它提供与预测模型的损失成比例的奖励。因此,当探索新的轨迹时,代理接收到强烈的奖励信号。

    (a)一级学习探索(b)二级快速探索

    使用马里奥模拟器任务(来源)中的下一个预测,学习探索从第一级的好奇心转移到第二级的快速探索。

    这项技术在超级马里奥模拟器中产生了一些令人鼓舞的结果。

    拖延症代理人:电视问题

    这项技术并不完美。一个已知的问题是代理被环境中的随机或噪声元素所吸引。这种时钟情况有时被称为“白噪声”问题或“电视问题”;也称为“拖延”。

    为了证明这种效果,设想一个代理人通过观察他所看到的像素来学习在迷宫中导航。

    下一状态预测引起代理人学习成功导航迷宫的好奇心。

    代理人很好地完成了任务;他开始寻找迷宫中未被探索的部分,因为他有能力在探险丰富的地区做出好的预测(或者换句话说,他不能在未开发地区做出好的预测)。

    现在在迷宫的墙上放一个“电视”,快速连续地显示随机选择的图像。由于图像的随机来源,代理不能准确预测接下来会出现什么图像。该预测模型将产生高损耗,从而为代理商提供高“内在”回报。最终的结果是,特工们倾向于停止看电视,而不是继续探索迷宫。

    在环境(源)中,当代理人面对电视或随机噪声源时,下一个状态预测引起代理人的好奇心,最终导致“拖延”。

    为了避免延误,采用随机网络蒸馏。

    OpenAI的一些优秀人员最近发表了一篇论文,提出了噪声电视问题的解决方案,探讨了随机网络蒸馏(RND)。

    这里的新思想是将类似的技术应用到下一个状态预测方法,但是消除对先前状态的依赖。

    下一状态预测相对于RND(源)的概述。

    RND并不预测下一个状态,而是观察下一个状态并试图预测下一个状态。这是一个非常微不足道的预测,不是吗?

    RND随机网络的目的是采用这种小的预测任务,并将其转化为硬预测任务。

    使用随机网络

    这是一个聪明但违反直觉的解决方案。

    其思想是我们使用随机初始化神经网络将观测值映射到潜在的观测向量。函数本身的输出并不重要;重要的是,我们有一些未知的确定性函数(随机初始化的神经网络),以某种方式转换观测值。

    因此,我们的预测模型的任务不是预测下一个状态,而是预测给定观测状态的未知随机模型的输出。我们训练该模型使用随机网络输出标签。

    当代理处于熟悉的状态时,预测模型应该能够很好地预测随机网络的期望输出。当智能体对状态不熟悉时,预测模型会对随机网络的输出做出较差的预测。

    通过这种方式,我们可以定义一个内在的奖励函数,它再次与预测模型的损失成比例。

    内部报酬计算的概念概述。只使用下一个观察状态。

    这可以解释为“新奇性检测”方案,其中当进行新的观测或不熟悉的观测时,预测模型具有较高的计算损失。

    作者使用MNIST作为这个概念的证明。在本实验中,他们通过随机初始化神经网络提供MNIST样字符。然后,在给定的输入条件下,它们训练并行网络来预测随机网络的输入。如预期,当目标类的训练样本数量增加时,它们将看到目标类被并行网络丢失。

    数据2:MNIST上的新奇性检测:预测器网络模拟随机初始化的目标网络。训练数据包括不同比例的图像和目标类别与“0”类别。每个曲线都表示MSE测试显示的目标类的训练用例的数量(对数)。

    论文对MNIST概念进行了验证。

    这样,当代理看到随机噪声源时,它不会被卡住。它不需要试图预测屏幕上下一个不可预测的帧,只需要知道这些帧是如何通过随机网络转换的。

    探寻蒙太祖玛的复仇

    由于解决方法不佳,以往的状态预测的好奇机制并不能解决蒙台梭玛的复仇问题,但RND似乎已经克服了这些问题。

    好奇心驱使的代理人探索房间,学习收集钥匙,这样他们就可以打开新房间。

    尽管取得了这样的成功,但是代理仅“偶尔”通过了一级。这是因为通过最后一道门来完成检查点,需要严格管理密钥的使用。需要内部状态模型(如LSTM)来克服这一障碍。

    因此,虽然RND已经允许代理人在得分上超过一般人的表现,但是在掌握游戏之前还有很长的路要走。

    这是关于深度强化学习算法的实验的一系列文章的一部分。查看本系列以前的一些帖子:

    理解演进的战略梯度。

    感谢卢多维奇·本尼斯坦特。

    要继续查看本文的链接和参考资料吗?

    长时间点击链接打开或点击底部[好奇心在深度强化学习]:

    Http://ai.yanxishe.com/page/Text./1363

    AI协会每天更新精彩内容,观看更多精彩内容:雷锋网、雷锋网和雷锋网。

    五大CNN架构

    深度强化学习中的好奇心

    使用Pytorch进行深度学习(第一部分)手柄:使用PyTorch实现图像分类器(第二部分)

    等待您翻译:

    如何为初学者聚类混沌数据以使用Keras进行迁移学习增强学习:对于情绪行为系统,如果你想学习数据科学,这七个资源不能错过

当前文章:http://www.gnyu.cn/0omex7/486572-1054852-24270.html

发布时间:12:59:47

广州设计公司  二四六免费玄机图  二四六天天好彩玄机图  二四六免费玄机图  二四六天天好彩每期文字资料大全  二四六天天好彩每期文字资料大全  246天天好彩玄机资料  二四六天天好彩免费资料大全  二四六图片玄机  二四六图片玄机  246天天好彩玄机资料  

{相关文章}

大型商业公司头条:上海查车网关于汽车平台,12月31日起传输,非驾车点滴等关于汽车的网络;莫比说,20%-30%的裁员都是不真实的;平安市50亿套长租房房地产信托基金批准,将建200万套长租房。

 &蓝染忽右介_实践论读书笔记网nbsp;  改变生活方式的大公司

    高通仍在推动对苹果实施强制措施。12月25日,高通中国专利诉讼律师姜宏毅告诉《北京青年报》,如果苹果仍然不遵守禁令,高通有权向苹果在中国的四家被告公司的法定代表申请罚款、拘留、出口限制和信用报告系统记录。

    Wechat小程序开发助理已经升级为“小程序助理”。开发者可以使用它来管理他们自己的手机上的小应用程序。同时,在支付完applet之后,开发人员可以获得用户UnionID。具有版本查看、成员增减、小程序关键数据查看、小程序性能分析等功能。

    华晓发起了“春节铁路客票阶段免息计划”。从12月26日起,用户可以在支付宝收到部分免息火车票优惠券,并享受三期免息分期付款。华侨的目标是团结饥饿的人、新手和网上银行家,帮助外卖车手、快递员、编码员和其他农民工减轻购票负担。预计该计划将覆盖数千万人。

    东八区新闻

    瑞盛咖啡实现了开店2000家的目标。这些商店分布在上光和深圳的22个大城市。瑞盛表示,它覆盖了北京和上海等城市核心区域的100%,距离500米以内,顾客步行5分钟就能到达。瑞星咖空气清香剂_百家姓头像网啡B轮融资业务计划显示,瑞星咖啡前九个月的总销售额为3.7动漫美女黄漫_表单元素网5亿元,净亏损8.57亿元。

    国务院向人民代表大会常务委员会提交财政性医疗卫生经费的分配和使用报告。我国医疗费用的快速增长给医疗保险基金的顺利运行带来了巨大的压力。2017年,部分统筹地区职工和城乡居民医疗保险基金出现赤字。个别地区多年来甚至积累了赤字。2013年至2017年,卫生保健(包括计划生育)累计支出5952亿元,年均增长11.7%,比同期国家财政支出增长2个百分点。

    北京广播电视局表示,北京将加强广播电视和网络视听文艺节目的管理,纠正一些文艺公关中影视明星过多、追星、泛娱乐、高价电影付费、收视率和点击率欺诈等问题。绘制行业生态图,净化行业生态。

    北京网通信息办公室推行自助媒体账户专项管理。截至12月18日,从微博、新浪、搜狐、网易和今天的头条新闻中删除了496000条非法和非法的自我媒体信息,并关闭了110000个非法和非法的自我媒体账户。

    明年,上海证券交易所将部署八项主要任务,优先建立科技创新委员会和试点登记制度。提出要加快业务规则和配套制度的制定,努力建设一个充满活力、充满活力的科技创新板市场,推动注册制度形成可复制、可推广的典型样本。上海证券交易所将加强市场风险预警系统的建设,建立与科技创新委员会相适应的分析监控指标体系。

    雄安新区首家融资租赁公司成立,注册资本30亿元。雄安融资租赁有限公司是雄安新区成立以来第一家融资租赁公司。公司已与中国建设银行河北雄安分行、中国银行河北雄安分行和上海海虹实业(集团)有限公司等六家公司签订战略合作协议,并与河北雄安分行和中国银行开展业务合作。河北雄安分公司分别有200亿元人民币。

    莫拜证实了裁员,但否认裁员30%。涉及的部门包括市场、金融和技术。裁员是为了优化与公司业务重叠的部门的员工。Mobay表示,这是正常的业务调整,一些工作仍在招聘中。这一轮人事调整始于12月24日。胡伟伟周日致函内部,宣布辞去首席执行官一职。

    2018年最后一次IPO审计顺利通过,年会率为60%,为五年来最低。证监会已于2018年完成上次IPO审计。今年共有182家企业出席了这次会议,其中110家已经成功出席。

    平安的50亿套长租房房地产信托基金已经获得批准,200万套长租房将建成。这是第一个合作长租房存储框架REITs(房地产信托基金)正式通过。未来十年,平安地产计划在北京、上海、广州、深圳、南京、杭州、成都、武汉等重点二线城市和省会城市开发8000万平方米、200万套长租房,资产管理总规模2000亿元。

    贵州省计划在四年内培育35亿白酒上市公司。贵州省政府官方网站5月25日发布了《贵州省十亿级工业振兴行动计划》,建议加快发展基础能源、清洁高效电力、优质烟酒、百亿美元级工业,大数据电子信息、健康医学等。它的目标是到2020年达到50万升白酒,产值1200亿元;到2022年,白酒产量将达到80万升,白酒产值将达到1600亿元。报告还提到要尽一切努力巩固茅台酒的增长势头。

    社会科学院的报告说,在2017年,个人理财规模接近45万亿元。中国社会科学院国家金融与发展实验室与友谊金福联合发布了《中国个人理财40年发展与创新报告》,重点介绍中国近40年来的“个人借贷史”。报告提到,到2008年底,中国的个人理财规模只有6万亿元。从2009年到2017年,我国个人理财已经进入“大发展”阶段。

    奥林巴斯宣布将出售其负责数码相机生产的中国子公司。这笔交易总计约300亿日元,其中一些将在2019财政年度贷记入收入。这是为了应对随着智能手机的普及,数码相机的需求正在减少的现状。

&nbs海上硕和城_星座饰品网p;   上海市交通委员会执法组视察网络汽车预约平台。254名没有资格的司机和818辆没有资格的车辆被上海各大网络汽车平台清理干净。水资源的重要性_速写培训网它将通知所有平台164名涉嫌使用虚假驾驶执照、驾驶执照、身份证和在线汽车登记资格从事在线汽车预订的司机。联合检查组将加强对上海非法客运和平台违章行为的调查和处罚。

    京东物流与好商家达成战略合作。京东物流将向全国各地优秀商家开放其仓储物流网络,为它们提供一体化的供应链服务。京东物流将为精品店提供仓储保障、干线运输、部分装运和车辆调运服务。

  广州限价房_我心中的偶像网;  云芳的母公司于家汇终止了对雅芳精油的收购。公告称,原因在于“公司和交易对手面临的外部环境,尤其是资本市场环境,已经发生了很大变化”。2018年6月,余家汇发布公告,计划收购北京毛斯雅芳精油母公司。云芳和非洲精油都是从淘宝开始的淘宝品牌。

    同样在新闻里

    以色列已经批准英特尔50亿美元的工厂扩建,政府将提供1.85亿美元的补贴。政府预计英特尔将新增250名本地员工,并创造5557万美元的本地采购。英特尔是以色列最大的雇主之一。

    据世界钢铁协会统计,去年11月,64个国家和地区的原钢产量同比增长5.8%,达到1.486亿吨。连续31个月,这一数字逐年增加。中国是最大的生产国,增长了10.8%。此外,对国内工业供应强劲的美国也增长了11.8%。

    喜欢这篇文章吗?每天去应用商店看看不同的东西。

相关阅读 哪里有最漂亮的双屏/滑动盖/挖洞的全屏手机?荆州市银监局出具8张罚单,工商银行农业发展银行等三家机构被新浪财经局罚款110万元。突破国外绝对封锁!中国自主铸成重型燃机大尺寸一级静叶腾讯TSRC年度峰会破界召开 开放心态加码安全投入瑞银高级交易员:美联储明年不会提高利率,但可能会降低利率。文化封面:为什么班加罗尔和旧金山的路边食品摊位消失了?76名官员开始与第三方作战,在拆封前写评论LG新PC机架设计曝光:冷顶把手,大面积电源按钮

文章评论
发表评论

热门文章 变压器大黄蜂老塞伯顿司机新片段与警车比赛警察报告来了!这个小女孩被全家打败了。观看真令人心碎。山东:区域股票市场促进民营经济转型与发展高通:它正在收集苹果iPhone在中国非法销售的证据,并将在本周内提交法院。

最新文章 克莱夫博士收到全建律师的一封信,信中说:“欢迎通知”|全建新浪财经网三星S10外观对比iPhone X苹果最终被超越 电子商务使新疆爱滋病,而杂粮成为“金狒狒”。北京东方*百度*上面写道:AR 100“喝”整本书,100元人民币开始全球葡萄酒之旅七点文件北京网审裁定,15秒的短片应当受到著作权法的保护。

人气排行 恐惧万分!我本来可以那样和他玩的。备受争议的泉健奇妙的包装技巧:舒玉辉荣登假的《财富》封面创作记录新浪科技造纸印刷包装:定制家居赛道或将进一步拥挤 荐2股苹果无法忍受:历史上最大的折扣是华为手机,可以抵消新浪科技公司元旦春节空地救援演练于明天举办HTC的旗舰店只剩下一条数据线了?官方答复24个年度关键词告诉你今年全世界人们吃了什么甜瓜腾讯为了携带震颤,抽取了100个短片进行分组战斗。

https://4l.cc/article.php?id=294&page=3https://4l.cc/article.php?id=284&page=1https://4l.cc/article.php?id=284&page=2https://4l.cc/article.php?id=277&page=1https://4l.cc/article.php?id=274&page=2https://4l.cc/article.php?id=260&page=2https://4l.cc/article.php?id=249&page=9https://4l.cc/article.php?id=238&page=1https://4l.cc/article.php?id=235&page=1https://4l.cc/article.php?id=233&page=4https://4l.cc/article.php?id=230&page=5https://4l.cc/article.php?id=228&page=4https://4l.cc/article.php?id=225&page=2https://4l.cc/article.php?id=316https://4l.cc/article.php?id=314https://4l.cc/article.php?id=279https://4l.cc/article.php?id=263https://4l.cc/article.php?id=261https://4l.cc/article.php?id=250https://4l.cc/article.php?id=245https://4l.cc/article.php?id=243https://4l.cc/article.php?id=233https://4l.cc/article.php?id=230http://4l.cc/article.php?id=311&page=2http://4l.cc/article.php?id=299&page=1http://4l.cc/article.php?id=294&page=3http://4l.cc/article.php?id=290&page=1http://4l.cc/article.php?id=254&page=2http://4l.cc/article.php?id=253&page=1http://4l.cc/article.php?id=253&page=2http://4l.cc/article.php?id=319&page=2http://4l.cc/article.php?id=249&page=2http://4l.cc/article.php?id=243&page=1http://4l.cc/article.php?id=241&page=2http://4l.cc/article.php?id=238&page=1http://4l.cc/article.php?id=235&page=3http://4l.cc/article.php?id=234&page=2http://4l.cc/article.php?id=231&page=1http://4l.cc/article.php?id=223&page=2http://4l.cc/article.php?id=315http://4l.cc/article.php?id=314http://4l.cc/article.php?id=293http://4l.cc/article.php?id=290http://4l.cc/article.php?id=288http://4l.cc/article.php?id=273http://4l.cc/article.php?id=256http://4l.cc/article.php?id=320http://4l.cc/article.php?id=237http://4l.cc/article.php?id=225