641被浏览165,187分享邀请回答1.1K207 条评论分享收藏感谢收起258 条评论分享收藏感谢收起【NIPS 主旨演讲】Yann LeCun：用预测学习替代无监督学习（75PPT）
1 新智元编译
来源：Medium、Yann LeCun
作者：Carlos E. Perez、Yann LeCun
编译：王楠、刘小芹
新智元启动新一轮大招聘：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。
简历投递：j.cn
新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。
加盟新智元，与人工智能业界领袖携手改变世界。
【新智元导读】日前，Facebook AI 实验室负责人、纽约大学教授 Yann LeCun 受邀在今年的 NIPS 大会发表主旨演讲，畅谈深度学习最近技术进展。值得注意的是，LeCun 试图改变人们对 AI 的通常分类（即无监督学习、监督学习和增强学习），他在演讲中用“预测学习”替代“无监督学习”，因为预测学习要求机器不仅能在没有人类监督的情况下学习，而且能够学习世界的预测模型。
此外，LeCun 还引入了使用 RNN 实体从文本中推断世界的状态等新的技术，结合深度学习领域最新发展，比如 TorchCraft、使用对抗训练让系统预测视频接下来的内容。【在新智元微信公众号回复1207，可下载全部75页PPT】
要了解今年 NIPS 的盛况，先上一张图：
2016 年，作为学界顶级盛会的 NIPS 共收到投稿超过 2500 篇，最终接收了 568 篇——保守估计接收率 22.7%。这个论文接收率并不算那么低（相较其他顶会），不过，得到口头展示机会的名副其实百里挑一。
再看参会人数及其近年来的增长趋势（上图右）——尤其是近两年，用“直线上升”形容毫不夸张。如果这个显示的是某个国家的 GDP，估计领导人绝对合不拢嘴了。
作为 2016 年 NIPS 大会受邀发表主旨演讲的第一人，纽约大学教授、Facebook 人工智能实验室（FAIR）主管 Yann LeCunn 的演讲备受瞩目：
（文／Carlos E. Perez）Yann LeCun 今年演讲中多次提到这样一个类比：
如果把“智能”（intelligence）比作一个蛋糕，那么无监督学习就是蛋糕本体，监督学习是蛋糕上的糖霜，而增强学习是蛋糕上的樱桃。我们知道如何得到糖霜和樱桃，但不知道怎样做蛋糕。
在 NIPS 2016 上，LeCun 开始使用“预测学习”（predictive learning）这个词代替“无监督学习”（unsupervised learning）。LeCun 在演讲中说：
我们缺乏的一个关键要素是预测（或无监督）学习：机器具有模拟环境，预测未来的可能性，以及通过观察和参与理解世界如何运作的能力。
这是一个有趣的变化，表明 LeCun 的“做蛋糕”观点有了一些微妙的变化。在 LeCun 看来，需要建立基础，然后才能让 AI 加速进步。换句话说，在我们能够建立“预测基础层”（predictive foundational layer）之前，试图通过增加更多的内存、知识库、协作智能体等构建当前的监督学习将会十分困难。
在 NIPS 大会上，他贴出了下面这张 PPT：
1. 机器需要学习/理解世界的运转方式
物理世界、数字世界、人
需要掌握常识
2. 机器需要学会大量的背景知识
通过观察或者行动
3.机器需要感知世界的变化
以作出精准的预测和计划
4.机器需要更新并记住对世界状态的预测
关注重大事件、记住相关事件
5. 机器需要会推理和计划
预测哪些行动会带来预期的改变
智能&常识=感知+预测模型+记忆+推理&计划
LeCun 的演讲强调了我们面前的艰巨任务。
预测学习要求机器不仅能在没有人类监督的情况下学习，而且能够学习世界的预测模型。这点非常重要，这也是为什么 LeCun 试图改变人们对 AI 的通常分类（即无监督学习、监督学习和增强学习）。
以下为 Yann LeCun NIPS 2016 演讲实录——《预测学习》
很高兴跟大家分享，今天我演讲的主题是“预测学习”。
什么是预测学习？首先，我们还是要先从感知机讲起。从下面的照片中可以看见年轻的 Geoff Hinton，他当时还是 CMU 的研究员。Tarry Knoafski、Jay McLaren（他当时也在CMU），在 McLaren 旁边是 Michael Jordan。照片上的这些人现在基本都已经成就了一番大事业。还有我，我就在那里。
当时是段美好的时间。那时候是人们第一次开始提起 Backpropagation，Backpro 这个概念在当时真的超级火，虽然论文还没有发表出来——照照片的时候还是 1986 年7月，在章节中涉及 BP 算法的书后来才出版，相关论文也是一年后才在 Nature 发表。
我现在展示的这张照片显示的是感知机——我们都忘记了 20 世纪 50 年代的感知机，但感知机可以说是所有神经网络的基础。感知机实际上并不是一个计算机程序，而是一台模拟计算机（analog computer）。与神经元模型不同，感知器中的权值是通过训练得到的。你只要一按键，当系统发生错误时，所有的模块都会“死过去”。
我们都知道监督学习是什么了，而我之所以要提监督学习，是因为后面我们会涉及为什么它有局限。在机器学习中，我们将样本——比如汽车或者飞机的图像，输入有很多可调参数的机器里——这实际上是一个类比。当输入的是一辆车时，红灯就会亮，当输入是飞机时就打开绿灯。然后我们就不停调整参数。通过增加梯度，我们可以调整亮绿灯的次数。
深度学习，从监督学习开始
这张 Slide 大家都看过很多次了，用于物体识别的深度卷积网络。监督学习实际上就是学会层次化的表征。例如下面用卷积网络做自动驾驶，这是当初 DARPA 挑战赛做的机器人。
使用卷积网络生成图说、进行图像词义分割
使用卷积网络进行的自动驾驶
多层神经网络：
一个单元包含多层神经网络
一个单元计算其获得的输入的一部分加权和
加权和会通过一个非线性函数
学习算法会改变权重
人工智能发展所面临的困境
1. 机器需要学习/理解世界的运转方式
物理世界、数字世界、人
需要掌握常识
2. 机器需要学会大量的背景知识
通过观察或者行动
3.机器需要感知世界的变化
以作出精准的预测和计划
4.机器需要更新并记住对世界状态的预测
关注重大事件、记住相关事件
5. 机器需要会推理和计划
预测哪些行动会带来预期的改变
智能&常识=感知+预测模型+记忆+推理&计划
什么是常识？代词“它”的指代对象，动作的执行者。机器该怎么理解。
预测学习/无监督学习的重要性
训练大型学习机器所要求的样本的数量，取决于我们让它预测的信息量
我们向机器提问的信息越多，所需的样本数量越大
大脑有 10^14 的神经突触，而我们的生命只有 10^9 秒。我们拥有的参数的量远超数据的量。这就激发了一种想法，即由于知觉输入（包括本体感觉）是唯一能每秒得到 10^5 个维度的约束的地方，我们必须要做很多的无监督学习。
预测人类提供的标记是不足够的
预测一个价值函数也不足够
如果把“智能”（intelligence）比作一个蛋糕，那么无监督学习就是蛋糕本体，监督学习是蛋糕上的糖霜，而增强学习是蛋糕上的樱桃。我们知道如何得到糖霜和樱桃，但不知道怎样做蛋糕。
在 FAIR 使用强化学习训练系统玩游戏的例子
顺便给刚刚开源的 打一下广告
有趣的是，在LeCun讲解 Sutton例子时，Sutton 本人就在下面听（最后排最右边）。来源：Twitter
经典的基于模型的优化控制
用初始控制序列模拟世界
调整控制序列，通过梯度下降优化对象
在上世纪 50 年代，通过控制论，发明了 BP 算法
智能系统的架构
AI 系统 = 会学习的智能体 + 不可变对象
AI 系统 = 会预测 + 会规划= 能够进行推理
我们需要的是基于模型的强化学习系统
智能体的关键在于能够预测
要进行预测，就必须对世界进行模拟，至少对物体功能进行一定程度上的预测
让机器学习会预测世界的模型
学习物理：物理网络
从文本中推断世界的状态：使用实体RNN
具有记忆模块的增强神经网络
递归神经网络不能长久地记忆，需要一个额外的记忆模块
递归网络的记忆时间不长：大脑皮层能维持的记忆时间只有 20 秒
我们需要“海马体”（一个单独的记忆模块）
LSTM [Hochreiter 1997]
记忆网络 [Weston et 2014] （FAIR），关联记忆
Stack RNN [Joulin & Mikolov 2014] （FAIR）
神经图灵机 [Graves 2014]
可微分神经计算机 [Graves 2016]
记忆增强递归网络
保持对世界当前现状的估计
每个模块都是一个带有“记忆”的递归网络
每次输入都当值记忆单元更新
无监督学习
基于能量的非监督学习，能量函数
塑造能量函数的七大策略
构建机器使低能物质的容量恒定
使数据点能量下降，其余上升
使数据点能量下降，选定位置能量上升
使梯度最小，数据点周围曲率最大
训练动态系统
利用正则化项限制低能量的空间容量
假如 E(Y) = IIY - G(Y)II^2，使 G(Y) 尽量“恒定”
基于能量的非监督学习
对抗训练：可训练的对象函数
在图像识别上的应用
使用对抗训练，对视频内容进行预测
人类的大脑是“预测机器”
我们能够把机器训练得能够预测未来吗？
在这方面，使用“对抗训练”取得了一些进展
但是，离成功或者说完善的解决方案，还要十分遥远的距离
使用对抗网络进行视频内容预测实例
【在新智元微信公众号回复1207，可下载全部75页PPT】
编译来源：
https://medium.com/intuitionmachine/predictive-learning-is-the-key-to-deep-learning-acceleration-93e#.7ia0cj6ip
LeCun NIPS 2016 演讲
新智元招聘
职位 运营总监
职位年薪：36- 50万（工资+奖金）
工作地点：北京-海淀区
所属部门：运营部
汇报对象：COO
下属人数：2人
年龄要求：25 岁 至 35 岁
性别要求：不限
工作年限：3 年以上
语 言：英语6级（海外留学背景优先）
负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作，人工智能及机器人产业方向
擅长开拓市场，并与潜在客户建立良好的人际关系
深度了解人工智能及机器人产业及相关市场状况，随时掌握市场动态
主动协调部门之间项目合作，组织好跨部门间的合作，具备良好的影响力
带领团队完成营业额目标，并监控管理项目状况
负责公司平台运营方面的战略计划、合作计划的制定与实施
大学本科以上学历，硕士优先，要求有较高英语沟通能力
3年以上商务拓展经验，有团队管理经验，熟悉商务部门整体管理工作
对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解
具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力
具备优秀的时间管理、抗压能力和多任务规划统筹执行能力
有广泛的TMT领域人脉资源、有甲方市场部工作经验优先考虑
有媒体广告部、市场部，top20公关公司市场拓展部经验者优先
新智元欢迎有志之士前来面试，更多招聘岗位请访问新智元公众号。
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
今日搜狐热点《真爱至上》：爱，其实无处不在_沪江英语学习网
网页版学习工具
12月份和1月份是讨人欢喜的月份，仿佛从头到尾都笼罩着节庆的热闹。
挑选礼物、收寄礼物、去信问候、聚会嬉闹…我们热衷且擅长着去做这些表达爱意的事情，连带心底也柔软异常。
每年此时，最适合看一些很甜很腻的电影：还有什么比happy ending更适合新年，还有什么比爱更暖心。
Love Actually真爱至上
Whenever I get gloomy with the state of the world, I think about the arrivals gate at Heathrow Airport.每当我为时局感到忧伤时，就会想到希思罗机场的入境大厅。
General opinion’s starting to make out that we live in a world of hatred and greed, but I don’t see that.世人认为世界充满仇恨与贪婪，但我却不苟同。
Seems to me that love is everywhere.在我看来爱似乎无处不在。
Often it’s not particularly dignified or newsworthy, but it’s always there.时常并不特别高贵，不值得一提，但是爱永远存在。
Fathers and sons, mothers and daughters, husbands and wives, boyfriends, girlfriends, old friends.父子、母女、夫妻、男朋友、女朋友、老朋友。
When the planes hit the Twin Towers, as far as I know,当飞机撞上世贸大楼时，
none of the phone calls from the people on board were messages of hate or revenge.乘客所打出的电话，都不是仇恨或报复。
They were all messages of love.它们都是爱的讯息。
If you look for it, I’ve got a sneaky feeling you’ll find that love actually is all around.如果你仔细寻找，你会发现爱其实无处不在。
上面的话出自2003年的电影Love Actually，这部英国“贺岁片”众星云集，配图的海报曾传遍大街小巷。
而影片的开场白也是被引用最多的，它简单、平凡，却温暖直接：爱的讯息，无处不在。
gloomy：adj. 黑暗的，忧伤的，忧郁的
think about：想起，想到
make out：理解，发现，说成
hatred：n. 憎恶，厌恨
greed：n.贪婪，adj. greedy 贪婪的
dignified：adj. 有尊严的，高贵的
newsworthy：adj. 有新闻价值的，值得报道的
on board：在船上，在飞机上
revenge：n./v. 报复，报仇
sneaky：adj. 悄悄的，偷偷摸摸的
这段话的用词和句式都不复杂，甚至旁白的声音都不抑扬顿挫，穿插着导演在希思罗机场捕捉到的真实画面，意外地动人。
这段独白从“我”的自身感受切入，层层向外铺开，以震惊世界的“911事件”做具体事例，带来强大的说服力，然后戛然而止，平静收尾。
而这不仅是英文写作，也是中文写作的常见惯例。最平凡的往往最戳人，最平静的往往藏着最激烈的感情。
第一句中的the state of the world可以直接翻译，将“世界的状态”转成汉语中更为常见的“时局”或“现世”。
第二句的前半部分是主谓宾结构，that we live in a world of hatred and greed是宾语从句，即“普遍的观点开始将它解读/理解为…”，后半句的see则表示“认为（have opinion）”。
而“Seems to me that love is everywhere”是it seems to sb. that…句式的变体，我们习惯见到的it是形式主语，真正的主语是that引导的从句；这里是个倒装句。
particularly表示“尤其，特别”，比very、rather等词更添措辞的美感。
as far as I know作句子的插入语，去掉不影响句子结构的完整，在译文中可以根据实际情况决定它的位置，或者存在与否。
最后一句的sneaky用得很妙，它原意是“悄悄的，偷偷摸摸的”，用在这里则引申出一种俏皮，类似于圣诞老人偷偷摸摸送礼物的感觉。
人人都说爱，但爱却不是一种有形的、触之可及的存在，如掌心流沙，可能转瞬即逝，也可能踪影难寻。
某种程度上，sneaky传达了“寻爱”过程中的虚幻真假。
在翻译时可以适当将它化进整个句子，如果直译成“一种偷偷摸摸的感觉”，就与整体的风格和感情色彩不相称。
译文有不同的版本，英大更喜欢这版的处理。
将寻找的动作加上“仔细”来修饰，以显示“这种讯息的存在是微妙的，不易被发现的”。
须得认真感受，方知love is actually all around。
《真爱至上》是英大近几年的圣诞元旦保留节目，甚至它适合任何喜庆的节日，只不过配上寒冬、毛毯和热巧会更有说服力。
不同的人，经历着不同的故事：从相聚到别离，原本相隔甚远、努力靠近，又或是用尽全力，只为说一句爱你……
这所有的结局都在圣诞节那天到来，欢聚一堂，俗套却让人开心。
每个故事都不是那么圆满，可不圆满的才是生活。
影片中有着错失、背叛、无奈、遗憾，全都与爱有关，细碎重复着的，更多是无波无澜。
导演将开头和结尾定格在机场，这个每天都上演无数聚散离合的地方。那些微笑拥抱、亲吻流泪的人们，可能是你，也可能是我，是万千的普通人。
唯一能引起共鸣的，就是爱。
相关热点：高中政治必修四辨证论部分_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
高中政治必修四辨证论部分
&&高中政治必修四
阅读已结束，下载本文需要
想免费下载更多文档？
定制HR最喜欢的简历
下载文档到电脑，同时保存到云知识，更方便管理
还剩7页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢远离儿童电视孤独症
来源：搜狐母婴
　　齐齐今年3岁半，由于父母工作比较忙，所以，齐齐从小一直由保姆来带。保姆除了为齐齐洗衣做饭之外，还发现了一个带孩子的好方法。她只要把电视一开，齐齐便被吸引过去了。所以，在保姆带齐齐的几年里，很大一部分时间，齐齐都是与电视为伴的。
　　保姆为自己找到了一个简单方便带孩子的方法感到挺自豪的，而父母看到齐齐有了电视，便乖巧听话，也不淘气，感觉很省心。可是，如今，齐齐上幼儿园刚刚几个月，问题便接踵而来了。
　　幼儿园老师反映，齐齐在幼儿园里几乎不与小朋友交往，集体活动更是不参与了。他与人很少有眼神的交流，好像活在自己的世界一样。老师觉得，和同龄的孩子比，齐齐的表现有些不对劲，建议齐齐妈妈带着齐齐到心理咨询中心去咨询一下。
　　无奈之下，齐齐妈妈带着儿子来到了当地儿童医院的心理科，经过医生详细诊断，告诉齐齐妈妈，齐齐所出现的这种情况，可以说是“儿童电视孤独症”。
　　什么是“儿童电视孤独症”？
　　“儿童电视孤独症”简单地讲，就是由于儿童看电视时间过长，陷于其中，而脱离了现实世界，完全活在自己世界中的一种状态。
　　陷入电视孤独症状态的儿童，除了电视之外，对其他活动都不感兴趣，他们不愿意交往，不愿意活动，更确切地说，是他们根本没有发展出交往的能力，同时，吃饭也不香。由于小孩子模仿能力比较强，他们常常会不停地模仿节目中人物和动物的语言和动作，把自己当作剧中人，沉浸其中。而这种模仿，有时还会被家长认为是聪明，学得快而津津乐道。
　　但是，如果我们再近一步了解一下儿童成长的过程，父母们便不难理解，儿童电视孤独症，对孩子究竟意味着什么。儿童从1岁半到2岁左右开始发展出了自我意识。此时，也便逐渐进入了我们常提到的“认生期”。即孩子不仅可以区分出“我”“你”“他”是不同的人，同时还有了“亲疏”意识，对不熟悉的人会感到恐惧。随着身体的逐渐发展，他们学会了走路，说话，他们幼小心灵所触及的世界也越来越广阔了，他们开始和母亲（或重要抚养人）建立依恋关系，借由良好的依恋来发展自我，强大自我，他们开始建立同伴关系，借由与他人的交往，来理解他人，体会他人，同时也在增加着对自己的理解&&
　　你看，这一系列的心理过程，都是要靠儿童与现实世界不断发生交流、碰撞、磨合才能得以发展和实现的。然而，这么丰富和现实的生命过程，如果不让孩子去经历，而是把他们交给了电视，可想而知，后果是什么样的吧。
　　从这个角度讲，我想，父母便不难理解，什么叫“电视孤独症”了。
　　不是电视惹的祸
　　表面上看，这似乎是电视惹的祸，而实际上，这与电视可以说又没有必然的联系。
　　电视作为一种现代化的电气设备和媒介的载体，可以说承载着传递信息、娱乐教育、休闲放松等等重要的功能。从儿童教育的角度来讲，目前也有很多非常优秀的儿童类电视节目，动画片等等。所以，让孩子适当看电视，本来不是问题。
　　问题在于，孩子为什么会身陷电视中无法自拔，而且不仅是深陷儿童节目，而是有很多根本不适合儿童看的电视节目，父母也并没有帮助甄别。实际上，电视对于儿童来讲，就像是他的毛毛熊，电子琴一样，是一个有声音，有图像的大玩具。当母亲（或是）家人的关爱与陪伴严重不足的时候，孩子的精神寄托在哪里呢？于是，电视，这个有图像，能说话的家伙，便成为了孩子心灵地寄托。
　　孩子和电视学说话，学走路，学跳舞，学唱歌。然而，这一切的模仿与学习，与来自母亲（或家人）的活生生的陪伴和关爱是完全不同的。这样的孩子内心是空的，因为没有真实的爱。他们在最需要母亲，需要和母亲建立依恋关系的时候，母亲是缺失的。所以，表面上看起来，孩子常常在电视旁表现得兴奋，而实际上，他们内心中确是孤独，茫然和不安的。因此，儿童电视孤独症的孩子情绪反复无常，躁动不安。就像上文中提到的齐齐一样，在没有电视的情况下，他会莫名其妙地大发脾气，乱扔东西。
　　所以，从这个角度来讲，儿童电视孤独症和青少年的网络成瘾有很多相似的地方，不是电视惹的祸，也不是网络惹的祸，是家庭关系出了问题，是父爱和母爱的缺失。
　　如何预防“儿童电视孤独症”？
　　很显然，要想预防“儿童电视孤独症”一方面要协调好儿童与电视的关系，更重要的一方面，是要协调儿童与父母的关系，具体来讲，给父母们提如下几点建议：
　　1. 对于学龄前儿童，看电视的时间每天最好不要超过一个小时。
　　2. 关于电视节目的选择，父母需要先帮孩子做一些筛选，选择那些适合孩子年龄特点，
　　情节简单，易于理解且内容健康的电视节目。有些时候，父母也可以陪着孩子一起看，走近孩子内心的世界，理解孩子的内心世界。
　　3. 如果要规范孩子看电视的时间，父母首先要以身作则，如果父母业余生活匮乏，严重依赖电视的话，自然会影响到孩子。
　　4. 如果父母实在忙，孩子由老人或保姆来带，那么，也要和老人或保姆做好沟通，规范孩子看电视的时间。
　　5. 父母应主动成长和学习，激发自己内心爱的能力，爱的能力够了，您自然知道该给孩子什么，不该给孩子什么，您心中的这份爱会自然传递给孩子，当然，孩子也不会因为关爱的匮乏而依赖于电视了。
　　特别提醒：电视孤独症≠孤独症
　　一提到“孤独症”，很多父母会非常担心，“儿童电视孤独症”与经常提到的“儿童孤独症”是一回事吗？请父母们不要担心，“电视孤独”指的是先天正常的孩子，由于后天缺少人际交往，过于依赖电视而表现出的躲在自己内心世界的状态，经过家庭环境的改善和心理辅导，会有比较大的改观的。而我们通常提到的“儿童孤独症”是由先天因素引起的孤独症状，这是两种不同的情况。
来源：《聪明宝宝》9月刊
(责任编辑：朴B)
关于亲子阅读，不仅要读书，还要带着孩子读自然…[]
主演：黄晓明/陈乔恩/乔任梁/谢君豪/吕佳容/戚迹
主演：陈晓/陈妍希/张馨予/杨明娜/毛晓彤/孙耀琦
主演：陈键锋/李依晓/张迪/郑亦桐/张明明/何彦霓
主演：尚格?云顿/乔?弗拉尼甘/Bianca Bree
主演：艾斯?库珀/ 查宁?塔图姆/ 乔纳?希尔
baby14岁写真曝光
李冰冰向成龙撒娇争宠
李湘遭闺蜜曝光旧爱
美女模特教老板走秀
曝搬砖男神奇葩择偶观
柳岩被迫成赚钱工具
大屁小P虐心恋
匆匆那年大结局
乔杉遭粉丝骚扰
男闺蜜的尴尬初夜
客服热线：86-10-
客服邮箱：}