constrative-learning

记录对比学习的一些tips.

对比学习的定位

对比学习属于无监督学习的一种方式,无监督学习以及监督学习都是深度学习的场景。

生成式学习以及对比学习都是无监督学习的一种,这两个方式我都了解的不太多。在 Deep Learning Hardware: Past, Present, and Future 的演讲中,有一个深度学习的各种方法和奶油蛋糕的比喻。

对比学习是无监督学习的一种,比如有好多数据在没有办法获得有效标注的情况下就可以考虑使用对比学习,科学场景中获得高质量的标注数据本身就是一个很难的事情,因为需要好多专业知识。

其最后通过训练得到的是一个关键特征的提取器。

autoencider

参考材料

phdvlog 10分钟深入了解对比学习 [https://www.bilibili.com/video/BV1gb421p7jn/?spm_id_from=333.337.search-card.all.click&vd_source=c079f7117dc37c8230df11c4eee4228f]

https://zhuanlan.zhihu.com/p/537647617

推荐文章