訓練データを1,000件だけ使って学習してみる試み、Train with 1000をやってみたコード。
tf.kerasを使って1ファイルで全て実装したので、初心者にもわかりやすいコードになってます! (嘘)
[INFO ] Val Accuracy: 0.8106 (5 runs)
[INFO ] Val Cross Entropy: 0.7423 (5 runs)
[INFO ] Test Accuracy: 0.8083 (5 runs)
[INFO ] Test Cross Entropy: 0.7477 (5 runs)
Valは訓練データの末尾10,000件。(独自)
- TensorFlow (2.6.0で動作確認)
- Horovod
- OpenMPI (複数GPU時)
- albumentations
- scikit-learn
- ResNet風
- Anti-Aliasing https://arxiv.org/abs/2108.03489
- SGD+Nesterov momentum
- cosine annealing https://arxiv.org/abs/1608.03983
- Random Erasing https://arxiv.org/abs/1708.04896
- mixup https://arxiv.org/abs/1710.09412
- Label smoothing https://myrtle.ai/how-to-train-your-resnet-8-bag-of-tricks/
- Refined Data Augmentation https://arxiv.org/abs/1909.09148
- その他たくさんの怪しいDataAugmentation
- TTA