当前位置：网站首页>关于NLP自监督学习，面试时被问崩溃了！

关于NLP自监督学习，面试时被问崩溃了！

2022-07-15 08:29:00 【夕小瑶】

不要错过文末福利

扫盲自监督无监督

（有不少同学还答不上来自监督和无监督真正的区别，我不是针对谁。）

无监督学习：无监督学习不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务。

自监督学习：和无监督学习不同，自监督学习主要是利用辅助任务 (pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。

总结：自监督学习的监督信息不是人工标注的，而是是通过辅助任务 (pretext）在大规模无监督数据中自动构造监督信息，通过得到的标签，就可以类似有监督学习一样进行训练。

自监督无监督发展

自监督学习cv方向的视频，医学图像，自动驾驶等领域发展态势十分良好，比如基于对比学习的自监督学习方法《moco》的提出就对cv领域的相关研究产生了深远的影响。

同理，自监督学习在推动自然语言处理(NLP)领域取得了巨大成功，包括Collobert-Weston 2008 model, Word2Vec, GloVE, fastText等。系统以这种方式进行预训练产生的性能要比仅以监督方式进行训练时高得多。

nlp从哪入手自监督学习

掌握自监督无监督学习在nlp领域的技术演化，就是在打地基！16号晚深度之眼邀请到5年深度学习和机器学习经验，在ICDM等会议发表多篇学术论文的赵老师来为大家讲解自监督无监督在nlp领域的技术发展要点，以及对比学习的重点。从经典论文cpc（《Representation Learning with Contrastive Predictive Coding》）入手，带你吃透nlp自监督学习。最后还有nlp自监督学习学习路径推荐！内容丰富，超值干货，不容错过。