[摘要]  自从《Attention is all you need》发表以来，开启了Transformer和预训练模型的时代，作为更加优异的序列处理模型，我希望在该文中对其原理进行介绍。同时，我将对目前流行的两种预训练模型进行介绍。如有错误，希望指正。

[摘要]  CSIG参会报告当前机器学习技术收到广泛的应用，在1月16日由中国图形学会和北京大学机器感知与智能重点实验室联合举办的CSIG大会上，众多大牛对机器学习相关问题进行了探讨，我针对个人比较喜欢的几个报告进行了相应的记录，希望对各位对机器学习同样有兴趣的人一个参考，如有错误，欢迎指正。报告一：Deep ...