参会总结：AI未来说——深度学习专场

参会总结：AI未来说——深度学习专场

2020年4月26日，第14期“AI未来说·青年学术论坛”深度学习线上专场论坛举行。论坛介绍了深度学习及其在各种场景中的应用。

一、自动深度学习解读

作者简介：徐俊刚，中国科学院大学教授，博士生导师，云计算与智能信息处理实验室主任，中国科学院大学《深度学习》课程首席教授。研究方向为大数据与人工智能，主要包括行业大数据分析、自动机器学习、自然语言处理、计算机视觉等。国家科技专家库专家，北京市科委专家，贵安新区战略咨询研究院专家。中国计算机学会人工智能与模式识别专委会委员、中文信息技术专委会委员、数据库专委会委员，中国人工智能学会智能服务专委会常务委员。主持国家科技支撑计划、国家自然科学基金、北京市科技计划、北京市自然科学基金等科研项目多项，发表文章100余篇。获2016年度中国科学院朱李月华优秀教师奖。

报告概述：通过介绍目前自动深度学习的一些主要算法和应用案例，介绍了自动深度学习面临的主要问题，同时指出未来的研究重点以及主要研究方向。

报告内容：机器学习和深度学习的不同在于：机器学习在输入数据（以图像为例）之后，首先需要人工来进行特征提取，比如图片的纹理、颜色、轮廓等等，基于这些特征再去做分类；而深度学习不需要人工进行特征提取，完全靠神经网络就可以提取特征然后再做分类，最后判断出类别，这样省掉了大部分人工提取特征的工作。

深度学习和自动深度学习的不同在于：深度学习中虽然特征提取和分类都可以由神经网络自动来做，但是神经网络结构还需要人工设计，超参数还需要人工调整；而自动深度学习中神经网络结构设计和超参数调优也可以自动进行，可以把自动深度学习看作一个黑箱。

神经架构搜索由搜索空间、搜索策略和评估策略组成。首先确定搜索空间，用搜索策略找出一些结构出来，用评估策略评估每次找到的网络结构，最终确定一个最优结构。目前主流的搜索空间定义分两层：微结构和宏结构。微结构只是搜索一个局部的网络结构（非完整结构），之后将其当成组件按照一定规则堆叠形成宏结构（完整结构）。堆叠方式现在主要有两种：一种是链式堆叠，另外一种是多分支结构。目前主流做法是链式堆叠，多分支结构方面的研究工作还较少。

搜索空间一般用有向无环图（Directed Acyclic Graph, DAG）表示。

搜索策略有三大类：基于强化学习的搜索策略、基于进化算法的搜索策略以及基于梯度的搜索策略。

自动深度学习的未来研究方向：在微结构中探索可变的DAG设计，以扩大搜索空间；在宏结构中探索多分支结构设计；可以探索与量子算法、图神经网络结合的NAS算法；开发通用的NAS-Bench，目前的基准测试集徐老师觉得还不是很通用，还能进一步实现多数搜索所得结构性能的查询。徐老师还建议将NAS和超参数优化结合起来，形成一阶段同时完成两项任务；他还建议将NAS跟元学习紧密结合。而在应用方面希望能够探索更多应用，如图像描述、机器翻译、自动摘要、自动写作、图像生成和视频生成等等；基于多源数据融合的应用目前仍有较大探索空间。

二、昆虫目标检测技术

作者简介：孙钰，北京航空航天大学大学网络空间安全学院副教授，北京林业大学信息学院兼职硕士导师。2018及2019年C4-AI创意赛一等奖团队指导教师，同时获优秀指导教师奖。2019年全国大学生物联网设计竞赛一等奖团队指导教师。主持教育部-谷歌校企协同育人项目两项，教育部-百度校企协同育人项目一项。主要研究方向为智能物联网AIoT、生物特征识别、智能安全。

报告概述：以2018年C4-AI创意赛一等奖作品《智能虫情监测物联网》为例，介绍人工智能+生态的典型项目，讲解针对林业害虫红脂大小蠹的目标检测技术，内容覆盖数据采集、模型设计、飞桨软硬件选型、物联网部署等完整流程。

报告内容：孙钰老师主要就2018年的C4-AI创意赛一等奖作品《智能虫情监测物联网的解析》进行了分享，主要包括三个部分：研究意义、系统设计、创新点总结，每一个部分又包括了作品介绍、得分点分析以及飞桨资源指南。

三、EasyDL，加速企业AI转型

尤晓赫，浙江大学硕士，现任百度AI开发平台部高级研发工程师。负责EasyDL定制化模型训练和服务平台的技术研发，包括图像分类、物体检测、图像分割、多目标跟踪等。

报告概述：尤晓赫老师的分享内容主要分为三部分，第一部分是EasyDL平台的介绍，包括功能跟特性；第二部分是EasyDL的技术原理；第三部分是EasyDL的实际应用案例。

报告内容：第一部分是百度大脑EasyDL平台的介绍。百度大脑早期在和波士顿咨询公司的联合调研中，发现约86%的企业需求都需要定制开发业务场景下的AI模型。在定制开发AI模型的时候往往面临着一些困难与挑战，包括大量数据采集及标注成本较高、算法选型及反复调参需要专业算法工程师反复试验、以及在模型训练完毕后需要大量的工程开发来完成AI服务平稳集成在已有业务系统中。为了解决这些困难和挑战，百度团队开发了EasyDL定制化训练和服务平台。

第二部分是EasyDL部分技术原理，主要讲解了数据服务、数据预处理和模型训练三块技术。

第三部分是EasyDL的实际应用案例，简单举了四个案例。第一个是医疗方面的，第二个是制造业方面的，第三个是零售行业方面的，最后是在媒体上一些应用。

四、飞桨视觉技术解析与应用

报告人 ：邓凯鹏，2017年本硕毕业于上海交通大学电子信息与电气工程学院，现于百度深度学习技术平台部从事CV方向模型研究和优化工作。PaddleDetection目标检测库和PaddleVideo视频库的核心设计者和开发者，两个模型库均是在工业端到端落地的优秀实践，支撑了大量线上业务，其中基于Paddle开发并优化的YOLOv3目标检测模型，在精度和速度上达到业界最优，通过裁剪蒸馏等方法压缩的YOLOv3模型在移动端精度和速度大幅领先于当前最优的SSDLite-MobileNetV3。Paddle 3D视觉方向负责人，完成Paddle 3D视觉方向的建设和推广，建设的Paddle 3D模型库支撑百度研究院发表论文10余篇。

报告概述：介绍飞桨视觉技术的发展现状，分析飞桨开源的各视觉模型库的特色和优势，并结合图像分类，目标检测和模型压缩及部署上端到端优化及应用案例，解读飞桨在视觉模型完备性和领先性上的已有建设工作，介绍视觉模型精度和预测速度优化上的方法技巧和实用效果，并分享飞桨在视觉模型选择，性能优化和部署应用上的优秀实践，解析飞桨视觉模型在工业应用实践上的优越性。

五、感受

   如何将算法应用到自己的领域是一件很重要的事情。