BYOL的预训练中好像使用了gt_label？

[youqingxiaozhua]

• 在byol的config 中设置了 num_classes=1000:

  PASSL/configs/byol/byol_r50_IM.yaml

  Line 34 in 9d7a9fd

  num_classes: 1000

• 在model中设置了self.classifier = nn.Linear(embedding_dim, num_classes)，并且forward中将classif_out和label一起传给了head

PASSL/passl/modeling/architectures/BYOL.py

Line 263 in 9d7a9fd

outputs = self.head(a1, b1, a2, b2, classif_out, label)

• 在L2 Head中将对比loss和有监督的CE loss加在了一起返回

PASSL/passl/modeling/heads/l2_head.py

Line 43 in 9d7a9fd

outputs["loss"] = outputs['rep_loss'] + outputs["class_loss"]

[jerrywgz]

问题是否还存在，建议使用mae 可以先转到 https://github.com/PaddlePaddle/PLSC/tree/master/task/ssl/mae 来使用