参会总结：AI未来说——百度奖学金专场
2020年7月26日，第17期“AI未来说·青年学术论坛”以线上平台直播形式举行。本次论坛邀请了麻省理工学院在读博士生赵明民，卡内基梅隆大学梁俊卫，清华大学丁霄汉，南京大学赵鹏和上海交通大学方浩树作为嘉宾。
一、能穿墙透视的计算机视觉
作者简介：赵明民，麻省理工学院在读博士生，导师为美国工程院院士Dina Katabi。代表性工作是非接触式的智能感知技术，以及其在智能家居、健康监测领域的应用。他主导研发了系统来识别用户情绪，监测用户睡眠以及估计人体的姿态。他的工作收获主流媒体超过200次的报道。曾获得2019年百度奖学金，2020年WAIC明日之星云帆奖。
报告概述：障碍物遮挡是计算机视觉长期以来面临的一个挑战。我们提出能穿墙透视的视觉系统。这一系统使用无线信号来实现穿墙透视，并能识别出障碍物后面的人体姿态。这项工作引入跨模态学习的方法进行训练深度神经网络。基于该项目的多篇论文发表在了计算机视觉和无线网络的顶级会议上(CVPR, ICCV, SIGCOMM)。
报告内容：赵明民介绍的主要内容是过去几年他在博士阶段做的一系列工作。他们使用了人工智能和无线系统的一个结合，这个结合体能够结合计算机视觉和无线信号的优势，它既能做到穿越障碍不受障碍物的影响，也能捕获到更丰富的人体姿态信息。
在赵明民的团队系统中，他们使用的是跨模态知识蒸馏的方法。系统中有两个神经网络，一个是老师神经网络，一个是学生神经网络。老师神经网络以 RGB图片作为输出，再利用现有的一些方法来估计这里面的人体姿态，并产生一个自信度图。与此同时，学生神经网络以无线信号作为输出，在训练过程中，学生神经网络会模仿老师的行为，试图产生一个和老师一样的自信度图，有了这样的自信度图之后，再经过一些后处理，学生神经网络就能提取出人体的姿态。这样的系统在训练完成之后，就不再需要老师神经网络，也不再需要摄像机，只需要无线信号就能完成推理。
最后，赵明民简单介绍了这个研究方向未来的一些工作。对于自身而言，赵明民很感兴趣的是如何使用这些无线感知的技术来进一步改变或者是提升现在医疗系统的效率。现在很多的疾病，特别是一些慢性疾病，缺少很有效的检测和观测方法的，比如抑郁症、阿尔兹海默症以及帕金森综合症等等。如果能够把这样一些非侵入式也非穿戴式的设备放在家里面，就可以很好的检测和监测一些拥有慢性疾病的老人的生活状况，这也能够提前感知或者是提前检测到他们生活中的一些异样。同时对于现在世界各国影响比较严重的肺炎，无线信号检测也有它的作用，就像前面提到的无线信号能够检测一个人的生理信号一样，一个人的呼吸和心跳是现在检测肺炎，或者是观测一个病人肺部感染变化的很重要的指标。当一个人的肺部感染之后，他的呼吸频率和呼吸模式都会发生很明显的变化，现有的这些无线信号感知技术，不仅能够很方便的识别这个人的生理特征，而且能够帮助医生做到非接触式的衡量一个病人的体征等等。
二、视频中行人的多种未来路径预测
作者简介：梁俊卫，卡内基梅隆大学计算机学院三年级博士生，师从Prof. Alexander Hauptmann。在2017年拿到卡内基梅隆大学的人工智能硕士，并在2018年拿到雅虎博士生奖学金，2019年拿到百度奖学金，2020年获得WAIC明日之星云帆奖。他研究的方向主要是基于视频的计算机视觉和机器学习。他与李飞飞教授合著的CVPR'19行人未来预测文章获得量子位和机器之心等媒体的关注，他的视频事件重建系统以及枪手定位系统获得包括CBS在内的广大美国媒体报道。
报告概述：此次讲座主要介绍团队最新的CVPR'20工作。在这项工作中，我们研究行人在不同场景中的多种未来可能路径的预测问题。我们有两个重要贡献。第一，我们提出了一个新的基于3D模拟器的数据集。这个数据集重建出真实的行人路径，然后由人类标注者控制完成不同的潜在未来路径，为行人多种未来可能路径的预测问题提供了第一个量化评测标准。第二个贡献是我们提出了一个新的概率预测模型，在两个数据集上均达到最佳性能。行人未来路径预测是一个自动驾驶应用中的重要研究方向。
报告内容：在今年CVPR2020上的工作，梁俊卫主要解决多未来轨迹预测问题。上图中左下角行人往停车场走过来，它是有可能走向其中任意一辆，但是如果用这个视频作为一个评测标准的话，就会忽略掉行人会往车辆行走的这些可能的预测。所以梁俊卫就提出了一个新的可创造多未来轨迹的数据集。利用 simulation也就是3D模拟器，可以把真实的视频重建进去，通过让人类标志者控制这些agent，可以得到所有可能的未来路径的一个数据集，叫做the forkingpaths dataset。
接下来，梁俊卫介绍了他们这篇论文的三点主要贡献。一是提出了第一个可以去量化考核、多未来轨迹预测的数据集。二是提出了一个new effective model。三是在一个叫做VIRAT/ActEV的真实视频、数据集以及提出的多未来轨迹预测数据集上拿到了STOA。
三、深度网络重参数化：让你的模型更快更强
作者简介：丁霄汉，清华大学在读博士生，研究领域为卷积神经网络基本模型，包括重参数化、压缩、加速、架构设计、组件设计等。在CVPR、ICML、ICCV、NeurIPS等会议作为第一作者发表论文5篇。曾获得百度奖学金、国家奖学金等荣誉。
报告概述：介绍个人在深度网络重参数化方面的前沿研究进展。重参数化指的是在部署时网络结构不变的前提下，在训练过程中用不同的一套参数进行优化，并在训练结束后等效转换为部署时的参数。这一思想在提升卷积网络性能和模型压缩方面均取得了成功：用非对称卷积构建重参数化模块，可以提升卷积网络的精度而不增加任何推理开销，这一效果在分类、分割、检测、去噪等多个领域都得到了验证；用1x1卷积做重参数化用于通道剪枝，效果达到了同领域最高水平。
报告内容：丁霄汉本次的报告分为五个部分：1.什么是重参数化；2.重参数化的应用——增强模型性能；3.重参数化的应用——模型裁剪；4.重参数化的应用——NAS；5.关于结构与参数的思考。
丁霄汉提出了关于结构与参数的几点思考。
第一，区分“结构”和“参数”。需要一个模型，然后需要一些参数，然后在训练的时候也训练需要的那么多参数，这个事情是理所当然的吗？其实不一定。思考这个问题时，是要区分结构和参数的。当不区分的时候，思维方式是这样的，需要一个模型，在这里说到模型的时候，心里其实想的也是参数和结构，但是我们不会把它区分开，需要一个模型，所我训联了一个模型，训好的模型不够强，所以我不满意。但是如果你把结构和参数区分开的话，是这样想的，我需要用到这样的模型的结构，他要载入这么多的参数，然后为了得到一套强有力的参数，我要怎么做？一种做法是构建原来的结构，训练一套参数，训练上来的参数就是我用的参数，然后这套参数不够强烈，我不满意，或者用重参数化的方法来思考，就是我构建一个不一样的结构，然后训出另外一套参数，然后把这些参数给变成我最终需要的参数。
第二，为什么我们认为“训什么就用什么”的想法是理所当然的呢？因为参数转换不等价，转换过去之后有一点误差的话，深度网络对误差极其敏感，这个模型可能直接就崩掉，就导致转换后的参数根本就不能用。另外，如果一定要等价转换的话，参数的等价转换一般依赖于它的线性，若干个操作之间如果有非线性的话就难以转换，而更为致命的是连续线性操作被认为它等价于单一性的操作，这个很容易理解，因为同样的输入先乘矩阵A再乘矩阵B，它就等于乘以矩阵A乘以矩阵B，但连续线性操作它不一定等价于单一线性操作。
第三，第三，重参数化work的本质是什么？一是深度模型它训练动力学特征的复杂性，就是前向传播的时候它等价，不意味着你反向传播更新梯度的时候也等价。这一点在丁霄汉去年的一篇paper里面也提到了这一点，深度网络是复杂的，深度网络的动力学是复杂的，不能简单的去理解它。二是关于参数量的基本原则。就是为什么他们重算的话加了那么多参数，它就work了，就是一个关于操作量基本原则，简单的讲多就是好，大就是猛，大力出奇迹，越多越work，这是一个简单的原则。三是对关于通过重参数化引入的那些部分的思考。通过重参数化引入的那些额外的输入，各种花式操作留出了空间。
四、动态环境在线学习的算法与理论研究
作者简介：赵鹏，南京大学计算机系在读博士生。主要从事机器学习与数据挖掘方面的研究，在ICML, AISTATS, AAAI, UAI, KDD, ICDM等会议发表多篇文章。曾获得2019年百度奖学金。
报告概述：传统机器学习算法通常假定数据分布恒定，但在真实场景中，数据收集环境往往是动态的，因而分布常常会发生变化。特别在很多流式数据的应用场景，分布会随时间不断变化，这就要求学习算法能够快速更新以适应动态环境。本次报告将汇报在这方面算法与理论的研究进展。
报告内容：首先，赵鹏介绍了动态环境下在线学习的研究动机。考虑监督学习这一经典的学习范式，其基本流程是通过一些有标记的训练样本执行学习算法获得学习模型，然后这个模型会在未见的测试样本上面进行预测。这里一个重要的潜在假设是：训练和测试样本的数据分布要是相同的。但是在很多真实情况中，训练和测试的分布往往是不同的。例如训练数据可能是一些标准格式的图片，如从电商网站上面找到的图片。但真实测试可能是办公室或实验室环境，因此训练和测试的数据分布有很大差异。如果不加以考虑这种分布变化，学习算法的性能及理论保障都会丧失。这还只是两阶段的分布变化，在很多真实的场景中，数据是以在线的方式获得的。例如视频图像、天气预测、语音识别等任务中，数据随时间不断累积，而且环境不断发生变化，因此数据分布也会不断发生变化。这就要求我们重新思考并发展一些技术以对这类场景进行建模和分析。这就是动态环境下在线学习算法设计和理论研究的整体出发点。
紧接着，赵鹏介绍了针对BCO问题的评价指标。在线学习中一个广用的评价指标是regret（遗憾）。遗憾定义为算法产生序列的累计损失和离线算法的累计损失之差。但是这样的评价指标在动态场景中有一定不足之处，因为在动态环境下很难有一个固定的最优离线决策——固定的单点很难在动态环境中一直表现得很好。在动态环境下，每个时刻的最优决策都可能发生变化，这就要求我们考虑新的评价指标。一个做法是把求最小化操作放到求和号里面，这样展开后可以发现是将算法的决策跟每轮的最优决策进行对比，这样的评价指标称之为动态遗憾（dynamic regret）。进一步的，和任意一个决策序列进行比对，这样的评价指标更通用。
五、人类行为理解与机器人物体操作
作者简介：方浩树，上海交通大学吴文俊人工智能荣誉博士班，致远荣誉博士计划，计算机专业一年级博士生，主要研究方向为人类行为理解与机器人物体操作。此前在ICCV,CVPR,AAAI,ECCV会议上发表十篇论文，其中6篇一作。博一期间获得CCF-CV学术新锐奖与百度奖学金。
报告概述：智能机器人的出现将为人类的生产制造，日常生活带来巨大的便捷。其中重要的一环是如何使机器人快速地向人类学习操作技能并应用到实际场景中。这一过程涉及到人类行为的理解，与机器人的知识学习及物体操作。报告将介绍目前作者在人类行为理解与机器人物体操作方面的进展。
报告内容：方浩树对他的研究做了一个概述：自己的主要愿景是机器人会在工业农业还有服务业会发挥越来越大的作用。他面临的挑战是机器人怎么样快速的适应不同的环境，或者说如果让机器人有这么一个能力，那么目标是希望机器人可以从人类的示例中学习，赋能机器人进行物体操作。
