周志华：与一般软件产业相比，AI产业更凸显“个人英雄主义” | 中新人工智能高峰论坛

周志华表示，我们在构建深度学习模型的时候，并不是只有“深度神经网络”这一条路。

6月1日，以“深度视野，对话未来”为主题的首届“中新人工智能高峰论坛”在新加坡·南京生态科技岛召开。

本次论坛，大咖云集，汇聚了李德毅、周志华、凌晓峰等多位中、新方院士，以及科大讯飞、小i机器人、云知声等企业代表。其中，南京大学计算机科学与技术系主任、人工智能学院院长、欧洲科学院外籍院士周志华发表了《关于机器学习的一点思考》的主题演讲。

图 | 周志华

周志华认为“机器学习无所不在，很多AI应用背后关键支撑就是机器学习技术。”

他的第一点思考是机器学习的发展路径，深度神经网络是由多层的、可参数化以及可微分的非线性模块所构建，它需要用BP算法来训练，但是在一些图像、视频处理任务上，深度神经网络并不是最佳的选择。“当我们重新审视神经网络模型的时候，是不是可以基于不可微构件进行深度学习？”

基于对深度学习的反思，周志华院提出了他们自己的“深度森林”模型，“这是第一个‘非神经网络’、不使用BP算法训练的深度学习模型”。目前，该套模型已经应用在蚂蚁金服的反套现检测上，并且被证明是目前性能最好的模型。

第二点思考是机器学习解决的任务，以围棋对弈为例，它其实属于封闭静态环境的任务，而以往的机器学习也非常擅长解决这种封闭静态环境任务，但是我们今天的任务是如何在开放环境下做更好的机器学习，周志华强调最关键的就是鲁棒性：要求人工智能必须很好的应对未知环境，是通往鲁棒人工智能的核心环节。

第三点思考是AI人才，他指出和传统软件产业不同的是：AI领域内个别人的聪明才智如果能带来算法上的突破，可能就真的带来生产力。所以，他认为“与一般软件产业相比，AI产业更凸显‘个人英雄主义’。”

以下，是周志华的演讲实录：

我今天跟大家汇报的题目是“关于机器学习前沿的一点思考”，因为我本人主要是从事机器学习方面的研究。

现在处于一个大数据时代，但这个“大数据”并不意味着真正大的价值，要得到数据里面的价值，我们就必须进行有效的数据分析。现在，我们通过计算机来进行数据分析，而这个离不开机器学习。

可以看到，机器学习已经无所不在。很多人工智能应用背后最关键的支撑就是机器学习。所以，我想从三个方面来谈一谈我对于机器学习发展的思考。

首先，从学术研究出发，我们先谈一谈技术。

人工智能热潮也好，人工智能产业也好，其实很大程度上就是因为机器学习技术，尤其是里面的深度学习技术取得了巨大的进展。所以我们可以看到各种各样的应用中，特别是在图像、视频、语音，包括我们现在用的讯飞实时翻译器，其背后都有很多深度学习技术在支撑。

但是，如果我们今天问这么一个问题：深度学习是什么？我想绝大部分人的回答是：深度学习就是深度神经网络。

举一个例子，有一个很著名的学会叫SIAM（国际工业应用数据协会），它有一个旗舰报纸叫《SIAM News》，去年6月的头版里面有这么一篇文章，它的第一句话就说“深度学习是什么呢？是机器学习中使用深度神经网络的一个子领域”。

所以，当我们要谈深度学习，必然要谈到深度神经网络。我们接下来就从神经网络开始说起。

实际上，“神经网络”并不是一个新东西，我们学术界已经研究了几十年。

以往我们用神经网络的时候，通常用里面的一层或者两层的引节点，这是什么东西？从生理学上讲——就是一个细胞接收到很多信号之后，如果这个信号的强度超过了一个固定的电位，这个细胞就会被激活。

这个简单的现象在1943年就被两位学者总结成了一个简单的数学公式——激活函数，我们一直到今天还在使用这个公式。

再看如今这么复杂的深度学习系统，它的奥秘是什么？其实最基本的单元就是激活函数。神经网络也好，深度神经网络也好，它本质上就是一个由简单数学函数历经迭代嵌套之后所得到的数学系统。

都说深度神经网络很深，大概有多深？给大家看几个数据：

在著名的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比赛中，2012年的冠军用了8层深度神经网络，2016年的冠军则用到了1207层。

深度神经网络是一个非常庞大的系统，该怎样让这些系统工作起来呢？这里面用到了很多技巧。但是，其中非常重要的一点就是，整个系统里面最基本的单元，就是我们刚才说到的激活函数，是连续可微的。

这个基本单元的连续可微会带来一个什么样的结果？它将使得我们能够很容易的计算梯度，能够用BP算法来进行训练。所以说今天深度神经网络的成功以及它最后使用的基础构件，关键都在于可微构件，这是密不可分的。

不过，神经网络虽然取得了很多胜利，但也还有很多缺陷。比如神经网络有太多超参数，以致于大量的时间都花费在调参数上，大家甚至觉得这已经是一个体力活……还有很多很多的问题。

另外，或许有些做应用的人不关心学术成就，只要能提高性能就好。就算从这个非学术角度来看，我们也可以看一看，如今深度神经网络取得好效果的应用主要涉及到图像、视频、语音，然而，还有大量的应用任务并没有涉及这些，比如说电商网店做的用户推荐。

所以如果用非常学术化的语言来说，今天的深度神经网络是多层的、可参数化的、可微分的、非线性模块构建的、需要用BP算法来训练的一种模型。

但是，现实世界里面并不是所有的规律都是可微的，或者用可微构件来最优建模的。

以往机器学习界做了大量的、非可微的构建，我们能不能使用这些构建取得更好的结果呢？能不能基于不可微构建来进行深度学习？

这个问题相当本质，如果研究出成果，它可以帮助我们理解一系列问题，比如说深度学习是不是就等于深度神经网络？我们有没有可能使用新的深度学习模型，在图像、视频、语音之外更多的任务中得到更好的性能？

在这方面的研究中，我们提出了一个新的模型，叫做“深度森林”。这不是一个基于深度神经网络的模型，但是它在很多任务上已经取得了与深度神经网络接近的性能。这是第一个基于非神经网络、不使用BP算法来训练的深度学习模型。

最近，我们已经和蚂蚁金服公司合作，把这个技术用于“反套现”欺诈的检测，取得的成效应该是现有技术中最好的。但这还只是一个开头，它是一个非常初生的技术，未来再发展下去应该有更多的机会。

国际上，在我们提出“深度森林”之后，有很多学者也开始反思“深度学习”领域。比如说Keras的创始人，他就说可微层是当前深度学习模型的根本弱点；又比如深度学习的创始人之一杰夫·辛顿，他希望放弃BP，从头开始。比起我们已经做出的工作，他们的这些论断已经晚了半年左右。

对于这件事情，我想更重要的意义是，以往我们都知道深度学习很有效，但在深度学习这个屋子里面只知道一种叫“深度神经网络”的模型，而忽视了其他的模型。如今，我们可以看到深度学习的效用在大多数领域里面已经应用的相当充分了，当我们有了新的技术模型之后，有没有可能在更多的领域重新得到一些新的技术价值呢？这是一个值得探讨的方向。

第二个部分，我想简单谈一谈机器学习技术新的任务。

前年AlphaGo下棋获胜在世界上引起很大的反响，这可以说是机器学习取得的巨大成功。但事实上，人工智能界很早就知道，对这种规则明确的棋类游戏，机器学习一定会超过人类。

围棋并不是最难的任务，我们说围棋难，是因为它的状态很多，棋盘有361个点，每个点上有三种可能，所以它的可能性有3的361次方。这个数据有多大呢？是10的172次方。再形象一点，以原子为例，我们宇宙中现在所有知道的原子个数是10的80次方，也就是说，再构造出一个宇宙，它所有原子数目还没有围棋的状态数多。

这告诉我们，如果靠强力计算，一个状态一个状态去评估，哪怕量子计算机，或者更强大的计算机做出来了，围棋问题也是解决不了的。所以这不是一个单靠强力计算就能解决的事情，必须要有聪明的算法，而聪明的算法现在已经有了。

从另外一个角度来看，其实比围棋更困难的问题有很多。围棋有一个很基本假设或者说共性条件，就是精确感知、完备信息、共识目标。我们下围棋的时候，棋盘上所有的棋子大家都能看到，而且大家对获胜标准这一点也有共识。

我们有很多问题不是这样的，比如打麻将，这就是不完备信息，你只能看到桌上的和自己的牌，其他几家牌看不到。另外，麻将的牌张数只有136张，张数比较少。如果张数达到361张，和围棋棋盘数一样，我们就可以严格从理论上证明它比围棋复杂得多。

事实上，还有很多非共识目标的问题，比如说很多管理层面的问题，领导的目标是不一样的，这时候的判断就会很难。

总的来说，我们以往的机器学习主要是解决封闭环境、静态环境下的任务，我们假定很多东西都是不变的，比如说数据分布恒定，样本类别恒定，样本属性恒定，甚至是评价目标恒定。

但是现在的任务变了，由封闭静态环境变为开放动态环境，一切东西都可能发生变化。比如说我们把一条破冰船开到两极去，它看到的海滨是在变的，未知险情可能出现，目标也会多样化等等。所以我们今天的任务是如何在开放环境下更好的做机器学习。

国际人工智能大会有一个主席报告，由学会主席为未来做一个判断。他有一个题目是“通往鲁棒的AI”。在这个报告里面，他提到说，随着人工智能技术取得巨大发展，现在的我们越来越多地面临高风险应用，例如自动驾驶汽车、自主武器、远程外科手术等等。所有这些应用有一个共性，就是一旦你犯错误，它的损失是巨大的，因此我们必须要用鲁棒的人工智能。

鲁棒的人工智能技术要求我们的系统必须要能够很好地应对未知环境，也就是开放环境，所以开放环境下的机器学习是我们特别要关注的事情，它是通往鲁棒人工智能的一个核心环节。

第三部分，我想简单地谈一谈人工智能产业发展。

如今，人工智能技术在很多产业被广泛应用，如果大家问到底什么产业是具备代表性的？我想主要就是互联网行业。

原因是什么？很基本的一个原因是他们积累了大量的数据，机器学习技术也好，人工智能技术也好，只是提供了利用数据的方法。

事实上，人工智能技术可以进入所有领域，因为后者经过十多年的发展都能够产生很多的数据。所以我们现在应该问的，不是人工智能技术可能在哪些领域用得好，而是应该问，人工智能技术接下来会在哪些领域取得更大的提高？

我觉得，现在已经将人工智能技术用得很好的领域已经不太容易取得更大的提高，用得比较少的领域可能进展会更大。未来，人工智能技术就像电力一样，它迟早会进入所有的行业。

人工智能产业发展到底需要什么呢？需要设备？不是的，因为我们基本不需要什么特殊精密设备；需要数据？现在数据遍地都是。

真正需要的是什么呢？是人才。

一定程度上，人工智能行业可以说是“有多好的智能人工，才有多好的人工智能”。和一般的软件产业比，人工智能产业应该是一个非常凸显“个人英雄主义”的行业。

前些日子，就在我们组里，一个还没有毕业的博士生被旷视聘请去做他们研究院的院长，就是说，他还没有毕业就已经要去指导别人做事情了。这种事情在传统软件业是不可能的，高校毕业出来的人才一定要在企业里面经过两三年的打磨才能做这个事。

为什么？在软件行业，一个软件要有很多人一起来做，这样的培养在大学里面是做不到的，所以必须要到企业里面去做。

人工智能行业的代表性就是，它是软件行业里面的一个明珠，只要个别人的聪明才智取得算法上的突破，就真的带来生产力。这个行业特点，决定了“人工智能的人才培养”是特别重要的，所以现在可以说进入了一个全球争抢人工智能人才的年代。

对于高水平人工智能人才培养的造血能力，我们认为它真的会导致产业核心竞争力的差别，而人工智能人才培养基地也能直接促进人工智能产业人才的急剧形成。

最近，我们南京大学成立了一个人工智能学院，我们也希望从源头做起，为国家、社会、产业来培养高水平的人才。南京市对此也非常重视，南京市委张敬华书记和我们的校长吕建院士一起为这个学院来进行揭牌，所以我也欢迎各位以各种方式来支持我们南京大学人工智能学院。

最后，记得关注微信公众号：镁客网（im2maker），更多干货在等你！