一堂「强化学习」大师课 | 42章经

吴翼： RL 是机器学习这个大概念下一类比较特殊的问题。 曲凯： 今天我们请来了国内强化学习 (RL) 领域的专家吴翼，吴翼目前是清华大学交叉信息研究院 助理教授，他曾经在 OpenAI 工作过，算是国内最早研究强化学习的人之一，我们今天就争取一 起把 RL 这个话题给大家聊透。 首先吴翼能不能简单解释一下，到底什么是 RL？ 传统机器学习的本质是记住大量标注过正确答案的数据对。 举个例子，如果你想让机器学习能分辨一张图片是猫还是狗，就要先收集 10000 张猫的照片和 10000 张狗的照片，并且给每一张都做好标注，让模型背下来。 上一波人工智能四小龙的浪潮其实都以这套框架为基础，主要应用就是人脸识别、指纹识别、图 像识别等分类问题。 这类问题有两个特点，一是单一步骤，比如只要完成图片分辨就结束了；二是有明确的标准答 案。 但 RL 很不一样。 RL 最早是用来打游戏的，而游戏的特点和分类问题有两大区别。 第一，游戏过程中有非常多的动作和决策。比如我们玩一个打乒乓球的游戏，发球、接球、回 球，每一个动作都是非标的，而且不同的选择会直接影响最终的结果。 第二，赢得一场游戏的方式可能有上万种，并没有唯一的标准答 ...