与无监督对比学习中所使用数据增强之关系

[HAL-42]

作者您好，非常感谢你的工作。
您在文中强调，strong augumentation的目的是产生prediction disagreement，但对为什么prediction disagreement能提升性能，没有做太多解释。
不知道我这么理解对不对：与无监督对比学习同理，在strong augmentation下，消除S-T不一致，将迫使Student网络，过滤掉被augmentation破坏的低层信息（如色彩、纹理等），而专注于提取语义信息。
希望作者解答一下，感谢！

BTW，arxiv版论文的公式4、5，theta_s和theta_t似乎是写反了？

[ZhenZHAO]

是的。也可能更简单粗暴的理解。你需要有loss才能训模型，对吧。如果两个view很接近，那么就没有足够的loss来学。这也有个极端情况需要考虑，如果用非常强的augmentation呢？超出模型可学习的能力了，那也是不好的。

对比学习里我在21年那会尝试用strong aug的方式是不work的。我的理解是，无监督没有任何正确信息的监督（半监督是有部分label的），所以无监督的方式训练模型，用过强的扰动会导致模型学不到什么。但是你可以设计一些progressive的策略。本来也是模型能力越强，就应该给更强的aug去继续训练它