第253章 AI革命
生成式对抗网络解决这个问题的思路跟以前的方法不太一样，生成式对抗网络是同时学习两个神经网络：一个神经网络生成图像，另外一个神经网络给图像进行分类，区分真实的图像和生成的图像。
在生成式对抗网络里面，第一个神经网络也就是生成式神经网络，生成式对抗网络的目的是希望生成的图像非常像自然界的真实图像，这样的话，那后面的第二个网络，也就是那个分类器没办法区分真实世界的图像和生成的图像；而第二个神经网络，也就是分类器，生成式对抗网络的目的是希望能够正确的把生成的图像也就是假的图像和真实的自然界图像能够区分开。
这两个神经网络的目的其实是不一样的，他们一起进行训练，就可以得到一个很好的生成式神经网络。
生成式对抗网络最初提出的时候，主要是对于图像的生成。
章杉论文里提出来的显然是将该方法应用到各个不同的问题上。
不过论文的着重点还是章杉针对如何从无标注的数据进行学习！
在文中他提出了一个新思路，叫做对偶学习。
对偶学习的思路和前面生成式对抗学习会非常不一样。
章杉发现很多人工智能的任务在结构上有对偶属性。
在机器翻译里面，章杉把中文翻译成英文，这是一个任务，但是章杉同样也需要把英文翻译成中文，这是一个对偶的任务。
这种原任务和对偶任务之间，他们的输入和输出正好是反着来的。
原本章杉还因为论文是系统弄得而心存愧疚，但现在看来这论文完全是照着他的思路去写的。
因为之前对多门语言的卓越性。
章杉自己本人来写这个论文的话，最可能想到的涉及对偶属性的应用也是翻译工作。
不过对偶工作不止于此。
在语音处理里面，语音识别是把语音转化成文字，语音合成是把文字转化成语音，也是互为对偶的两个任务。
在图像理解里面，看图说话，也就是给一张图生成一句描述性的语句，生成式对抗网络的对偶任务是给一句话生成一张图，这两个任务一个是从图像到文本，另外一个是从文本到图像。在对话系统里面，回答问题和问题生成也是互为对偶的两个问题，前者是给定问题生成答案，后者是给定答案生成问题。
在搜索引擎里面，给定检索词返回相关文档和给定文档或者广告返回关键词也是互为对偶的问题：搜索引擎最主要的任务是针对用户提交的检索词匹配一些文档，返回最相关的文档；当广告商提交一个广告之后，广告平台需要给他推荐一些关健词使得他的广告在用户搜索这些词能够展现出来被用户点击。
对偶学习试图把这种结构的对偶属性应用在机器学习里。
其基本思想比较简单，章杉以机器翻译为例子来说明。
当我们想把一个中文句子翻译成英文，可以先用一个中文到英文的翻译模型，把这个句子翻译成英文的句子，因为没有英文的标注，所以不知道这个英文的翻译是好还是坏以及有多好多坏。章杉再利用从英文到中文的翻译模型，把这个英文的句子翻译成中文的句子，这样一来，章杉就得到了一个新的中文句子。
整个过程包含了正向翻译和反向翻译互为对偶的两个步骤。
然后章杉比较原始中文的句子和后来得到的中文句子，如果两个翻译模型都很好的话，这两个中文的句子应该比较相似，如果两个模型不好或者有一个模型不好的话，得到的两个中文句子就不相似。因此章杉可以通过这种对偶过程从无标注的数据获得反馈信息，知道章杉的模型工作的好还是不好，进而根据这些反馈信息来训练更新正向反向模型，从而达到从无标注数据学习的目的。
章杉在机器翻译里面做了一些实验，发现通过对偶学习的过程，章杉只需要用10%标注的数据（大概100万英法双语句对），再加上很多没有标注的数据，达到用100%标注数据（1200万英法双语句对）训练的模型的准确度。
一千万个训练语料标注的费用差不多2200万美元，如果章杉能把标注的人工费用从2200万美元降到200万美元，这会是一个非常好的结果，能够大大降低公司运营成本提高运营效率。
很多问题以前是因为受限于没有标注的数据，没有办法用深度学习技术。
现在章杉能够从无标注的数据进行学习，那么很多应用很多问题里面都可以应用深度学习技术。
论文到这里已经很牛了！
但仅仅如此吗~
章杉继续读完，很快就震惊了！
因为论文里似乎提出了一种崭新的概念。
现在虽然深度学习很受欢迎，但是说到底深度学习主要是从大数据进行学习，就是通过很多标注的数据，使用深度学习算法学习得到一些模型。
虽然叫着人工智能的名字。
但是这种学习方式和人的智能是非常不一样的。
人是从小样本进行学习。
人对图像进行分类，只需要很少几个样本就可以做到准确分类。
两三岁小孩，开始认识世界的时候，他如果想知道什么样的动物是狗，我们给他看几张狗的图片，并且告诉他狗有什么特征，和其他动物像猫或者羊有什么区别的话，小孩可以很快很准确的识别狗。
但是像深度残差神经网络，一般来说一个类别大概需要上千张图片才能进行比较充分的训练，得到比较准确的结果。
再比如汽车驾驶，一般来说，通过在驾校的培训，也就是几十个小时的学习，几百公里的练习，大多数人就可以开车上路了。
但是像现在的无人车可能已经行驶了上百万公里，还是达不到人的全自动驾驶的水平。
原因在于，人经过有限的训练，结合规则和知识能够应付各种复杂的路况，但是当前的AI还没有逻辑思考、联想和推理的能力，必须靠大数据来覆盖各种可能的路况，但是各种可能的路况几乎是无穷的。
随着一项项能力的提升，章杉现在对人的理解也很深。
人的智能包含了很多方面，最基本的阶段是认知性智能，也就是对整个世界的认知。
尽管现在对于图象识别、语音识别，AI已经差不多能达到人类的水平，当然可能是在某些特定的约束条件下，能够达到人类的水平。
但是其实这种认知性的任务，对人类而言都是非常简单的，现在AI所能做的这种事情或者能达到的水平，人其实也很容易做到。
只是AI可能在速度上更快，并且规模上去之后成本更低，并且24小时都不需要休息。更有挑战的问题是，人工智能能不能做一些人类做不了或者是很难做好的事情。
像图象识别、语音识别这类认知性的任务，AI之所以做得好，是因为这些任务是静态的，所谓静态就是给定输入，预测结果不会随着时间改变。
但是决策性问题，往往和环境有很复杂的交互，在某些场景里面，如何做最优决策，这些最优决策往往是动态的，会随着时间改变。
现在有人尝试把AI用到金融市场，例如如何用AI技术来分析股票，预测股票涨跌，对股票交易给出建议，甚至是代替人来进行股票交易，这类问题就是动态决策性问题。
决策性问题的第二个难点在于各种因素相互影响，牵一发而动全身。
一支股票的涨跌会对其他股票产生影响，一个人的投资决策，特别是大的机构的投资决策，可能会对整个市场产生影响，这就和静态的认知性任务不一样的。
在静态认知性任务我们的预测结果不会对问题（例如其他的图像或者语音）产生任何影响。
但是在股票市场，任何一个决定，特别是大的机构的投资策略会对整个市场产生影响，对别的投资者产生影响，对将来会产生影响。
当前深度学习已经在静态任务里面取得了很大的成功，如何把这种成功延续和扩展到这种复杂的动态决策问题中，也是当前一个深度学习的挑战之一。
章杉认为，一个可能的思路是博弈机器学习。
在博弈机器学习里，通过观察环境和其他个体的行为，对每个个体构建不同的个性化行为模型，AI就可以三思而后行。
选择一个最优策略，该策略会自适应环境的变化和其他个体的行为的改变。
……
章杉在这篇论文继提出了一种几乎是完全反深度学习思路的机器学习——浅度学习。
强调增强博弈机器学习的重要性，强调AI的逻辑性和思辨性，大幅度降低“机器学习”任务量。
毫无疑问，这是一种全新的机器学习方式！
最起码，这种全新的模型在处理动态信息上取得的成绩将是革命性的。
浅度学习名字听起来有点怪异！
之所以不叫听起来更直白明了的浅层学习。
是因为事实上浅层学习曾经出现在历史的舞台上！
由于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了“基于统计模型“的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显示出优越性。这个时候的人工神经网络，虽然也被称作多层感知机（Multi-layer Perceptron），但实际上是一种只含有一层隐层节点的浅层模型。
到了90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，Support Vector Machines）、Boosting、最大熵方法（如LR，Logistic Regression）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期浅层人工神经网络反而相对沉寂。
不过叫浅度学习似乎也不太妥当，之前的浅度学习通常指的是浅度监督式学习~
浅度的监督式的具有 1 个隐藏层的神经网络具有一些受人喜爱的性质，使得它们比深度网络更容易被解释、分析和优化；但它们的表征能力却不及深度网络。
一般使用了具有 1 个隐藏层的学习问题来序列式地逐层构建深度网络，其能够继承浅度网络的属性。
章杉在论文中也提及了这些~
浅度监督学习通过反向传播算法在大规模有监督数据上训练的深度卷积神经网络已经成为了大多数计算机视觉任务中的主导方法。
这也推动了深度学习在其它领域的成功应用，比如语音识别、自然语言处理和强化学习。但是，我们仍然还难以理解深度网络的行为以及它们表现出色的原因。这种困难的一大原因是网络的层中采用了端到端的学习方式。
监督式的端到端学习是神经网络优化的标准方法。
但是其也存在一些值得考虑的潜在问题。
首先，使用全局目标就意味着一个深度网络的单个中间层的最终函数行为只能以间接的方式确定：这些层是如何协同工作以得到高准确度的预测结果的，这一点却完全不明晰。
有一些研究者认为并且通过实验表明 CNN 能够学习实现这样的机制：将不变性逐渐诱导成复杂但不相关的可变性，同时增加数据的线性可分性。
通过求解浅度监督学习问题而实现的 CNN 层的序列学习是一种可替代端到端反向传播的方法。
这一策略可以直接指定每一层的目标，例如通过激励对表征的特定属性的精细化，比如渐进的线性可分性。然后，就可以根据对浅度子问题的理论理解来开发用于深度贪婪式方法的理论工具。
但传统的浅度监督学习各种各样的缺点还是较为明显。
请记住本书首发域名：www.bqg99.cc。顶点小说网手机版更新最快网址：m.bqg99.cc
在生成式对抗网络里面，第一个神经网络也就是生成式神经网络，生成式对抗网络的目的是希望生成的图像非常像自然界的真实图像，这样的话，那后面的第二个网络，也就是那个分类器没办法区分真实世界的图像和生成的图像；而第二个神经网络，也就是分类器，生成式对抗网络的目的是希望能够正确的把生成的图像也就是假的图像和真实的自然界图像能够区分开。
这两个神经网络的目的其实是不一样的，他们一起进行训练，就可以得到一个很好的生成式神经网络。
生成式对抗网络最初提出的时候，主要是对于图像的生成。
章杉论文里提出来的显然是将该方法应用到各个不同的问题上。
不过论文的着重点还是章杉针对如何从无标注的数据进行学习！
在文中他提出了一个新思路，叫做对偶学习。
对偶学习的思路和前面生成式对抗学习会非常不一样。
章杉发现很多人工智能的任务在结构上有对偶属性。
在机器翻译里面，章杉把中文翻译成英文，这是一个任务，但是章杉同样也需要把英文翻译成中文，这是一个对偶的任务。
这种原任务和对偶任务之间，他们的输入和输出正好是反着来的。
原本章杉还因为论文是系统弄得而心存愧疚，但现在看来这论文完全是照着他的思路去写的。
因为之前对多门语言的卓越性。
章杉自己本人来写这个论文的话，最可能想到的涉及对偶属性的应用也是翻译工作。
不过对偶工作不止于此。
在语音处理里面，语音识别是把语音转化成文字，语音合成是把文字转化成语音，也是互为对偶的两个任务。
在图像理解里面，看图说话，也就是给一张图生成一句描述性的语句，生成式对抗网络的对偶任务是给一句话生成一张图，这两个任务一个是从图像到文本，另外一个是从文本到图像。在对话系统里面，回答问题和问题生成也是互为对偶的两个问题，前者是给定问题生成答案，后者是给定答案生成问题。
在搜索引擎里面，给定检索词返回相关文档和给定文档或者广告返回关键词也是互为对偶的问题：搜索引擎最主要的任务是针对用户提交的检索词匹配一些文档，返回最相关的文档；当广告商提交一个广告之后，广告平台需要给他推荐一些关健词使得他的广告在用户搜索这些词能够展现出来被用户点击。
对偶学习试图把这种结构的对偶属性应用在机器学习里。
其基本思想比较简单，章杉以机器翻译为例子来说明。
当我们想把一个中文句子翻译成英文，可以先用一个中文到英文的翻译模型，把这个句子翻译成英文的句子，因为没有英文的标注，所以不知道这个英文的翻译是好还是坏以及有多好多坏。章杉再利用从英文到中文的翻译模型，把这个英文的句子翻译成中文的句子，这样一来，章杉就得到了一个新的中文句子。
整个过程包含了正向翻译和反向翻译互为对偶的两个步骤。
然后章杉比较原始中文的句子和后来得到的中文句子，如果两个翻译模型都很好的话，这两个中文的句子应该比较相似，如果两个模型不好或者有一个模型不好的话，得到的两个中文句子就不相似。因此章杉可以通过这种对偶过程从无标注的数据获得反馈信息，知道章杉的模型工作的好还是不好，进而根据这些反馈信息来训练更新正向反向模型，从而达到从无标注数据学习的目的。
章杉在机器翻译里面做了一些实验，发现通过对偶学习的过程，章杉只需要用10%标注的数据（大概100万英法双语句对），再加上很多没有标注的数据，达到用100%标注数据（1200万英法双语句对）训练的模型的准确度。
一千万个训练语料标注的费用差不多2200万美元，如果章杉能把标注的人工费用从2200万美元降到200万美元，这会是一个非常好的结果，能够大大降低公司运营成本提高运营效率。
很多问题以前是因为受限于没有标注的数据，没有办法用深度学习技术。
现在章杉能够从无标注的数据进行学习，那么很多应用很多问题里面都可以应用深度学习技术。
论文到这里已经很牛了！
但仅仅如此吗~
章杉继续读完，很快就震惊了！
因为论文里似乎提出了一种崭新的概念。
现在虽然深度学习很受欢迎，但是说到底深度学习主要是从大数据进行学习，就是通过很多标注的数据，使用深度学习算法学习得到一些模型。
虽然叫着人工智能的名字。
但是这种学习方式和人的智能是非常不一样的。
人是从小样本进行学习。
人对图像进行分类，只需要很少几个样本就可以做到准确分类。
两三岁小孩，开始认识世界的时候，他如果想知道什么样的动物是狗，我们给他看几张狗的图片，并且告诉他狗有什么特征，和其他动物像猫或者羊有什么区别的话，小孩可以很快很准确的识别狗。
但是像深度残差神经网络，一般来说一个类别大概需要上千张图片才能进行比较充分的训练，得到比较准确的结果。
再比如汽车驾驶，一般来说，通过在驾校的培训，也就是几十个小时的学习，几百公里的练习，大多数人就可以开车上路了。
但是像现在的无人车可能已经行驶了上百万公里，还是达不到人的全自动驾驶的水平。
原因在于，人经过有限的训练，结合规则和知识能够应付各种复杂的路况，但是当前的AI还没有逻辑思考、联想和推理的能力，必须靠大数据来覆盖各种可能的路况，但是各种可能的路况几乎是无穷的。
随着一项项能力的提升，章杉现在对人的理解也很深。
人的智能包含了很多方面，最基本的阶段是认知性智能，也就是对整个世界的认知。
尽管现在对于图象识别、语音识别，AI已经差不多能达到人类的水平，当然可能是在某些特定的约束条件下，能够达到人类的水平。
但是其实这种认知性的任务，对人类而言都是非常简单的，现在AI所能做的这种事情或者能达到的水平，人其实也很容易做到。
只是AI可能在速度上更快，并且规模上去之后成本更低，并且24小时都不需要休息。更有挑战的问题是，人工智能能不能做一些人类做不了或者是很难做好的事情。
像图象识别、语音识别这类认知性的任务，AI之所以做得好，是因为这些任务是静态的，所谓静态就是给定输入，预测结果不会随着时间改变。
但是决策性问题，往往和环境有很复杂的交互，在某些场景里面，如何做最优决策，这些最优决策往往是动态的，会随着时间改变。
现在有人尝试把AI用到金融市场，例如如何用AI技术来分析股票，预测股票涨跌，对股票交易给出建议，甚至是代替人来进行股票交易，这类问题就是动态决策性问题。
决策性问题的第二个难点在于各种因素相互影响，牵一发而动全身。
一支股票的涨跌会对其他股票产生影响，一个人的投资决策，特别是大的机构的投资决策，可能会对整个市场产生影响，这就和静态的认知性任务不一样的。
在静态认知性任务我们的预测结果不会对问题（例如其他的图像或者语音）产生任何影响。
但是在股票市场，任何一个决定，特别是大的机构的投资策略会对整个市场产生影响，对别的投资者产生影响，对将来会产生影响。
当前深度学习已经在静态任务里面取得了很大的成功，如何把这种成功延续和扩展到这种复杂的动态决策问题中，也是当前一个深度学习的挑战之一。
章杉认为，一个可能的思路是博弈机器学习。
在博弈机器学习里，通过观察环境和其他个体的行为，对每个个体构建不同的个性化行为模型，AI就可以三思而后行。
选择一个最优策略，该策略会自适应环境的变化和其他个体的行为的改变。
……
章杉在这篇论文继提出了一种几乎是完全反深度学习思路的机器学习——浅度学习。
强调增强博弈机器学习的重要性，强调AI的逻辑性和思辨性，大幅度降低“机器学习”任务量。
毫无疑问，这是一种全新的机器学习方式！
最起码，这种全新的模型在处理动态信息上取得的成绩将是革命性的。
浅度学习名字听起来有点怪异！
之所以不叫听起来更直白明了的浅层学习。
是因为事实上浅层学习曾经出现在历史的舞台上！
由于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了“基于统计模型“的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显示出优越性。这个时候的人工神经网络，虽然也被称作多层感知机（Multi-layer Perceptron），但实际上是一种只含有一层隐层节点的浅层模型。
到了90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，Support Vector Machines）、Boosting、最大熵方法（如LR，Logistic Regression）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期浅层人工神经网络反而相对沉寂。
不过叫浅度学习似乎也不太妥当，之前的浅度学习通常指的是浅度监督式学习~
浅度的监督式的具有 1 个隐藏层的神经网络具有一些受人喜爱的性质，使得它们比深度网络更容易被解释、分析和优化；但它们的表征能力却不及深度网络。
一般使用了具有 1 个隐藏层的学习问题来序列式地逐层构建深度网络，其能够继承浅度网络的属性。
章杉在论文中也提及了这些~
浅度监督学习通过反向传播算法在大规模有监督数据上训练的深度卷积神经网络已经成为了大多数计算机视觉任务中的主导方法。
这也推动了深度学习在其它领域的成功应用，比如语音识别、自然语言处理和强化学习。但是，我们仍然还难以理解深度网络的行为以及它们表现出色的原因。这种困难的一大原因是网络的层中采用了端到端的学习方式。
监督式的端到端学习是神经网络优化的标准方法。
但是其也存在一些值得考虑的潜在问题。
首先，使用全局目标就意味着一个深度网络的单个中间层的最终函数行为只能以间接的方式确定：这些层是如何协同工作以得到高准确度的预测结果的，这一点却完全不明晰。
有一些研究者认为并且通过实验表明 CNN 能够学习实现这样的机制：将不变性逐渐诱导成复杂但不相关的可变性，同时增加数据的线性可分性。
通过求解浅度监督学习问题而实现的 CNN 层的序列学习是一种可替代端到端反向传播的方法。
这一策略可以直接指定每一层的目标，例如通过激励对表征的特定属性的精细化，比如渐进的线性可分性。然后，就可以根据对浅度子问题的理论理解来开发用于深度贪婪式方法的理论工具。
但传统的浅度监督学习各种各样的缺点还是较为明显。
请记住本书首发域名：www.bqg99.cc。顶点小说网手机版更新最快网址：m.bqg99.cc