A MNIST-like fashion product database. Benchmark :point_down:
Fashion-MNIST
60,000 サンプルの訓練セットと 10,000 サンプルのテストセットから成る、Zalando の記事の画像のデータセットです。各サンプルは 28×28 グレースケール画像で、10 クラスからのラベルと関連付けられています。Fashion-MNIST は、機械学習アルゴリズムのベンチマークのためのオリジナルの MNIST データセット の 直接的な差し込み式の (= drop-in) 置き換え としてサーブすることを意図しています。
ここにどのようにデータが見えるかのサンプルがあります (各クラスは３行取ります) :
何故でしょう？
オリジナルの MNIST データセットは沢山の手書き数字を含みます。AI/ML/データサイエンス・コミュニティの人々はこのデータセットを好みそして彼らのアルゴリズムを検証するためのベンチマークとしてそれを使用します。実際に、MNIST はしばしば試してみる最初のデータセットです。「もしそれが MNIST で動作しなければ、まったく動作しないだろう」と彼らは言いました。「そうですね～、もし MNIST で動作するとしても、他の上では依然として失敗するかもしれませんが。」
Fashion-MNIST は、機械学習アルゴリズムのベンチマークのためのオリジナルの MNIST データセットの直接的な差し込み式の (= drop-in) 置き換えとしてサーブすることを意図しています、というのはそれは同じ画像サイズでそして訓練及びテスト分割の構造を共有しているからです。
真面目な機械学習研究者へ
真面目な話し、MNIST を置き換えることについて話しをしています。幾つかの良い理由がここにあります :
- MNIST は簡単過ぎます。 私たちの比較ベンチマーク と “Most pairs of MNIST digits can be distinguished pretty well by just one pixel” を確かめてください。
- MNIST は使用され過ぎています。 “Ian Goodfellow wants people to move away from mnist.”を確かめてください。
- MNIST はモダンな CV タスクを表現できません。 “François Cholle: Ideas on MNIST do not transfer to real CV.” を確かめてください。
データを取得する
多くのMLライブラリには既にFashion-MNISTデータ/ APIが含まれています。試してみてください！
データセットをダウンロードするためには直接リンクを使用することができます。データはオリジナルの MNIST データと同じフォーマットでストアされています。
| 名前 | 内容 | サンプル | サイズ | リンク | MD5チェックサム |
|---|---|---|---|---|---|
train-images-idx3-ubyte.gz |
訓練セット画像 | 60,000 | 26 MBytes | ダウンロード | 8d4fb7e6c68d591d4c3dfef9ec88bf0d |
train-labels-idx1-ubyte.gz |
訓練セット・ラベル | 60,000 | 29 KBytes | ダウンロード | 25c81989df183df01b3e8a0aad5dffbe |
t10k-images-idx3-ubyte.gz |
テストセット画像 | 10,000 | 4.3 MBytes | ダウンロード | bef4ecab320f06d8554ea6380940ec79 |
t10k-labels-idx1-ubyte.gz |
テストセット・ラベル | 10,000 | 5.1 KBytes | ダウンロード | bb300cfdad3c16e7a12a480ee83cd310 |
あるいはこのレポジトリを clone することもできます、データセットは data/fashion の下です。この repo はベンチーマークと可視化のための幾つかのスクリプトを含みます。
git clone [email protected]:zalandoresearch/fashion-mnist.git
ラベル
各訓練とテスト・サンプルは以下のラベル群の一つに割り当てられています :
| ラベル | 記述 |
|---|---|
| 0 | T-shirt/top |
| 1 | Trouser |
| 2 | Pullover |
| 3 | Dress |
| 4 | Coat |
| 5 | Sandal |
| 6 | Shirt |
| 7 | Sneaker |
| 8 | Bag |
| 9 | Ankle boot |
使い方
Python (NumPyが必要)でデータをロードする
この repo の utils/mnist_reader を使用する :
import mnist_reader
X_train, y_train = mnist_reader.load_mnist('data/fashion', kind='train')
X_test, y_test = mnist_reader.load_mnist('data/fashion', kind='t10k')
でデータをロードする
私たちのデータセットをダウンロードしてくださいことを確認し、それを data/fashionの下に置きます。それ以外の場合、* Tensorflowは自動的に元のMNISTをダウンロードして使用します。 *
from tensorflow.examples.tutorials.mnist import input_data
data = input_data.read_data_sets('data/fashion')
data.train.next_batch(BATCH_SIZE)
Fashion-MNISTを訓練するための高レベルのAPIであるtf.kerasの使用に関する公式のTensorflowチュートリアルがここにあります。
他の機械学習ライブラリを使用する
今日まで、以下のライブラリは、組み込みデータセットとして Fashion-MNISTを含んでいます。 したがって、自分でFashion-MNISTをダウンロードする必要はありません。 そのAPIに従うだけで、あなたは準備が整いました。
- Apache MXNet Gluon
- TensorFlow.js
- Kaggle
- Pytorch
- Keras
- Edward
- Tensorflow
- TensorFlow Datasets
- Torch
- JuliaML
- Chainer
- HuggingFace Datasets
ようこそ私たちに参加して、各機械学習ライブラリ用のFashion-MNISTのサポートを追加してください。
他の言語でデータをロードする
機械学習コミュニティでもっとも人気のあるデータセットの一つですので、人々は多くの言語で MNIST loader を実装してきています。それらは Fashion-MNIST データセットをロードするためにも使用できるでしょう (最初に decompress する必要があるかもしれません)。それらは私たちによってテストはされていないことには注意してください。
ベンチマーク
scikit-learn ベースの自動ベンチマーキング・システムを構築しました、これは異なるパラメータの 129 の (深層学習ではない) 分類器をカバーします。 結果はここで見つかります。.
結果は benchmark/runner.py を実行することで再現できます。推奨方法はこの docker コンテナをビルドして deploy することです (訳注 : リンク欠落)。this Dockerfile.
貴方のベンチマークを submit することを歓迎します。新しい issue を作成してください、貴方の結果はここでリストされます。詳細は contributor guidelines セクションを確認してください。ベンチマークを submit する前に、このリストにリストされていなことを必ず確認してください。
| 分類器 | 前処理 | Fashion テスト精度 | MNIST テスト精度 | Submitter | コード |
|---|---|---|---|---|---|
| 2 Conv+pooling | None | 0.876 | - | Kashif Rasul | 🔗 |
| 2 Conv+pooling | None | 0.916 | - | Tensorflow’s doc | 🔗 |
| 2 Conv+pooling+ELU activation (PyTorch) | None | 0.903 | - | @AbhirajHinge | 🔗 |
| 2 Conv | Normalization, random horizontal flip, random vertical flip, random translation, random rotation. | 0.919 | 0.971 | Kyriakos Efthymiadis | 🔗 |
| 2 Conv <100K parameters | None | 0.925 | 0.992 | @hardmaru | 🔗 |
| 2 Conv ~113K parameters | Normalization | 0.922 | 0.993 | Abel G. | 🔗 |
| 2 Conv+3 FC ~1.8M parameters | Normalization | 0.932 | 0.994 | @Xfan1025 | 🔗 |
| 2 Conv+3 FC ~500K parameters | Augmentation, batch normalization | 0.934 | 0.994 | @cmasch | 🔗 |
| 2 Conv+pooling+BN | None | 0.934 | - | @khanguyen1207 | 🔗 |
| 2 Conv+2 FC | Random Horizontal Flips | 0.939 | - | @ashmeet13 | 🔗 |
| 3 Conv+2 FC | None | 0.907 | - | @Cenk Bircanoğlu | 🔗 |
| 3 Conv+pooling+BN | None | 0.903 | 0.994 | @meghanabhange | 🔗 |
| 3 Conv+pooling+2 FC+dropout | None | 0.926 | - | @Umberto Griffo | 🔗 |
| 3 Conv+BN+pooling | None | 0.921 | 0.992 | @gchhablani | 🔗 |
| 5 Conv+BN+pooling | None | 0.931 | - | @Noumanmufc1 | 🔗 |
| CNN with optional shortcuts, dense-like connectivity | standardization+augmentation+random erasing | 0.947 | - | @kennivich | 🔗 |
| GRU+SVM | None | 0.888 | 0.965 | @AFAgarap | 🔗 |
| GRU+SVM with dropout | None | 0.897 | 0.988 | @AFAgarap | 🔗 |
| WRN40-4 8.9M params | standard preprocessing (mean/std subtraction/division) and augmentation (random crops/horizontal flips) | 0.967 | - | @ajbrock | 🔗 🔗 |
| DenseNet-BC 768K params | standard preprocessing (mean/std subtraction/division) and augmentation (random crops/horizontal flips) | 0.954 | - | @ajbrock | 🔗 🔗 |
| MobileNet | augmentation (horizontal flips) | 0.950 | - | @苏剑林 | 🔗 |
| ResNet18 | Normalization, random horizontal flip, random vertical flip, random translation, random rotation. | 0.949 | 0.979 | Kyriakos Efthymiadis | 🔗 |
| GoogleNet with cross-entropy loss | None | 0.937 | - | @Cenk Bircanoğlu | 🔗 |
| AlexNet with Triplet loss | None | 0.899 | - | @Cenk Bircanoğlu | 🔗 |
| SqueezeNet with cyclical learning rate 200 epochs | None | 0.900 | - | @snakers4 | 🔗 |
| Dual path network with wide resnet 28-10 | standard preprocessing (mean/std subtraction/division) and augmentation (random crops/horizontal flips) | 0.957 | - | @Queequeg | 🔗 |
| MLP 256-128-100 | None | 0.8833 | - | @heitorrapela | 🔗 |
| VGG16 26M parameters | None | 0.935 | - | @QuantumLiu | 🔗 🔗 |
| WRN-28-10 | standard preprocessing (mean/std subtraction/division) and augmentation (random crops/horizontal flips) | 0.959 | - | @zhunzhong07 | 🔗 |
| WRN-28-10 + Random Erasing | standard preprocessing (mean/std subtraction/division) and augmentation (random crops/horizontal flips) | 0.963 | - | @zhunzhong07 | 🔗 |
| Human Performance | Crowd-sourced evaluation of human (with no fashion expertise) performance. 1000 randomly sampled test images, 3 labels per image, majority labelling. | 0.835 | - | Leo | - |
| Capsule Network 8M parameters | Normalization and shift at most 2 pixel and horizontal flip | 0.936 | - | @XifengGuo | 🔗 |
| HOG+SVM | HOG | 0.926 | - | @subalde | 🔗 |
| XgBoost | scaling the pixel values to mean=0.0 and var=1.0 | 0.898 | 0.958 | @anktplwl91 | 🔗 |
| DENSER | - | 0.953 | 0.997 | @fillassuncao | 🔗 🔗 |
| Dyra-Net | Rescale to unit interval | 0.906 | - | @Dirk Schäfer | 🔗 🔗 |
| Google AutoML | 24 compute hours (higher quality) | 0.939 | - | @Sebastian Heinz | 🔗 |
| Fastai | Resnet50+Fine-tuning+Softmax on last layer’s activations | 0.9312 | - | @Sayak | 🔗 |
他の探求
Fashion-MNIST: Year in Review
Fashion-MNIST on Google Scholar
Generative adversarial networks (GANs)
- Tensorflow implementation of various GANs and VAEs. (Recommend to read! Note how various GANs generate different results on Fashion-MNIST, which can not be easily observed on the original MNIST.)
- Make a ghost wardrobe using DCGAN
- fashion-mnist的gan玩具
- CGAN output after 5000 steps
- GAN Playground - Explore Generative Adversarial Nets in your Browser
クラスタリング
- Xifeng Guo’s implementation of Unsupervised Deep Embedding for Clustering Analysis (DEC)
- Leland McInnes’s Uniform Manifold Approximation and Projection (UMAP)
ビデオチュートリアル
Machine Learning Meets Fashion by Yufeng G @ Google Cloud
Introduction to Kaggle Kernels by Yufeng G @ Google Cloud
动手学深度学习 by Mu Li @ Amazon AI
Apache MXNet으로 배워보는 딥러닝(Deep Learning) - 김무현 (AWS 솔루션즈아키텍트)
可視化
t-SNE on Fashion-MNIST (左) とオリジナルの MNIST (右)
PCA on Fashion-MNIST (左) とオリジナルの MNIST (右)
UMAP Fashion-MNIST (左) とオリジナルの MNIST (右)
PyMDE Fashion-MNIST (左) とオリジナルの MNIST (右)
貢献する
Thanks for your interest in contributing! There are many ways to get involved; start with our contributor guidelines and then check these open issues for specific tasks.
接触
To discuss the dataset, please use .
引用Fashion-MNIST
If you use Fashion-MNIST in a scientific publication, we would appreciate references to the following paper:
Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms. Han Xiao, Kashif Rasul, Roland Vollgraf. arXiv:1708.07747
Biblatex entry:
@online{xiao2017/online,
author = {Han Xiao and Kashif Rasul and Roland Vollgraf},
title = {Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms},
date = {2017-08-28},
year = {2017},
eprintclass = {cs.LG},
eprinttype = {arXiv},
eprint = {cs.LG/1708.07747},
}
License
The MIT License (MIT) Copyright © [2017] Zalando SE, https://tech.zalando.com
Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the “Software”), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.