Merge branch 'improvement_ClothingClassification' into 'main'

Notebook tagged and description added

See merge request ki_lab/machine-learning-services!16

Warehouse/Classification of clothing through images/notebook.ipynb

@@ -2,41 +2,81 @@
  "cells": [
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "editable": true,
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": []
+   },
    "source": [
-    "# 1. Business Understanding"
+    "## 1. Business Understanding"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "editable": true,
+    "include": true,
+    "paragraph": "Business",
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": [
+     "business"
+    ]
+   },
+   "source": [
+    "Viele Online-Versandhandelsunternehmen haben eine hohe Rücksendequote (von bis zu 50%), wobei 97% aller zurückgesendeten Produkte wieder auf Lager genommen und verkauft werden können. Um die Waren wieder zu verkaufen, müssen sie entsprechend identifiziert, etikettiert und wieder eingelagert werden.\n",
+    "\n",
+    "Angenommen, dass im Jahr 2020 185,5 Millionen Bestellungen (Statista, 2021) mit jeweils 6 Artikeln (Annahme) eingehen würden, dann würde eine Rücksendequote von 50% bedeuten, dass 556,5 Millionen Artikel neu identifiziert und kategorisiert werden müssten.\n",
+    "\n",
+    "Um diesen Prozess zu unterstützen und die Identifizierung der zurückgesendeten Kleidungsstücke zu erleichtern, soll eine Bilderkennungssoftware entwickelt werden, die die zugehörigen Kategorien der einzelnen Kleidungsstücke anhand von Bildern erkennt."
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "editable": true,
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": []
+   },
    "source": [
-    "Many online mail order companies have a high return rate\n",
-    "(of up to 50%), with 97% of all returned products being able to be restocked\n",
-    "and can be sold. In order to resell the goods\n",
-    "goods, they must be identified, labeled, and restocked accordingly.\n",
-    "again.\n",
-    "Assuming that in 2020 185.5 million orders (Statista, 2021) with\n",
-    "6 items each (acceptance) would be received, then a return rate of 50% would mean that\n",
-    "of 50%, 556.5 million items would have to be re-identified and re-categorized.\n",
-    "To support this process and to facilitate identification of the\n",
-    "returned garments, image recognition software is to be developed that will\n",
-    "the associated categories of the individual garments on the basis of images.\n",
-    "of the individual garments on the basis of images."
+    "## 2. Data Understanding"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "editable": true,
+    "include": true,
+    "paragraph": "Daten",
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": [
+     "daten"
+    ]
+   },
    "source": [
-    "# 2. Read Data"
+    "Der Datenrahmen **fashion-mnist_test** stammt von Kaggle und ist über das [Fashion-MNIST GitHub Repository](https://github.com/zalandoresearch/fashion-mnist) zugänglich. Dieser Datensatz wurde 2017 von Zalando erstellt und besteht aus Artikelbildern des Unternehmens.\n",
+    "\n",
+    "Der Datensatz liegt im CSV-Format vor und enthält insgesamt 70.000 Bilder von Kleidungsstücken, die in 60.000 Trainingsbilder und 10.000 Testbilder unterteilt sind. Jedes Bild wurde auf eine Größe von 28x28 Pixel skaliert und in Graustufen umgewandelt.\n",
+    "\n",
+    "Der Datensatz umfasst 784 Merkmale, die jeweils einem Pixel des Bildes entsprechen, sowie ein zusätzliches Label, das die Kategorie des Kleidungsstücks angibt. Sowohl die Merkmale als auch die Labels sind als Integer-Werte gespeichert. Die Pixelwerte repräsentieren die Intensität des Grautons, während die Labels die verschiedenen Kleidungsstückkategorien darstellen.\n",
+    "\n",
+    "Insgesamt enthält der Datensatz 70.000 Beobachtungen. Die Parameter \"Standort\", Verteilungsparameter und Korrelationsanalyse sind für diesen Datensatz nicht anwendbar.\n",
+    "\n",
+    "Der Fashion-MNIST-Datensatz bietet eine moderne und herausfordernde Alternative zum klassischen MNIST-Datensatz, da er realistischere und komplexere Bilder von Kleidungsstücken enthält. Dies stellt eine größere Herausforderung für Bildklassifizierungsmodelle dar und bietet eine realistischere Anwendungsmöglichkeit im Bereich der maschinellen Bildverarbeitung."
    ]
   },
   {
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "## 2.1. Import of Relavant Modules "
+    "### 2.1. Import von relevanten Modulen"
    ]
   },
   {
@@ -130,14 +170,14 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "## 2.2 Read Data\n"
+    "### 2.2 Daten einlesen\n"
    ]
   },
   {
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "The training- and test-data is already labeled and split up into two datasets"
+    "Die Trainings- und Testdaten sind bereits aufgeteilt in zwei verschiedene CSV Dateien"
    ]
   },
   {
@@ -374,11 +414,12 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Describe the dataframe, not really helpful in this case, but is shows that the data is not corrupted by evaluating:\n",
-    "- Label must be between 0 and 9\n",
-    "- Pixel values must be between 0 and 255 (non-negative)\n",
-    "- Count must be 60000 (train) 10000 (test)\n",
-    "- Maximum number of pixels must be 784 for all rows"
+    "Das Beschreiben des Datenrahmens ist in diesem Fall nicht wirklich hilfreich, aber zeigt, dass die Daten nicht beschädigt sind, indem folgende Punkte überprüft werden:\n",
+    "\n",
+    "- Das Label muss zwischen 0 und 9 liegen.\n",
+    "- Die Pixelwerte müssen zwischen 0 und 255 (nicht negativ) liegen.\n",
+    "- Die Anzahl muss 60.000 (Training) und 10.000 (Test) betragen.\n",
+    "- Die maximale Anzahl an Pixeln muss für alle Zeilen 784 betragen."
    ]
   },
   {
@@ -1005,14 +1046,14 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Both test data and train data seems to be valid and uncorrupted"
+    "Sowohl die Testdaten als auch die Trainingsdaten scheinen gültig und unbeschädigt zu sein."
    ]
   },
   {
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Define human readable names for the 10 categories"
+    "Für Menschen lesbare Namen für 10 Kategorien definieren."
    ]
   },
   {
@@ -1029,7 +1070,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Split the dataset an check the distribution of each class (split could be also done later)"
+    "Teile den Datensatz und überprüfe die Verteilung jeder Klasse (das Teilen kann auch später erfolgen)."
    ]
   },
   {
@@ -1058,7 +1099,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Show the distribution for each set"
+    "Zeige die Verteilung für jedes Datenset"
    ]
   },
   {
@@ -1140,8 +1181,8 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "This is already helpful, we can see that it is quite evenly split.\n",
-    "Print the data as a pie chart, to make it even nicer."
+    "Das ist bereits hilfreich, wir können sehen, dass die Verteilung ziemlich gleichmäßig ist.\n",
+    "Drucke die Daten als Tortendiagramm aus, um es noch ansprechender zu gestalten."
    ]
   },
   {
@@ -1203,7 +1244,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Print a single image"
+    "Ein einziges Bild ausgeben"
    ]
   },
   {
@@ -1243,7 +1284,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Print one image from each category to see how they look like and how they differ"
+    "Drucken Sie jeweils ein Bild aus jeder Kategorie, um zu sehen, wie sie aussehen und wie sie sich unterscheiden."
    ]
   },
   {
@@ -1284,16 +1325,37 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "editable": true,
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": []
+   },
    "source": [
-    "# 3. Data preperation"
+    "## 3. Datenvorbereitung"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "editable": true,
+    "include": true,
+    "paragraph": "Datenvorbereitung",
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": []
+   },
+   "source": [
+    "Die Data Preparation Phase beginnt mit der Aufteilung der Daten in Trainings-, Validierungs- und Testsets sowie der Skalierung der Merkmale. Anschließend werden die Bildformate von 784 auf 28x28 umgewandelt (falls als CSV mit 784 Spalten geladen) und die Labels in ein kategorisches Format konvertiert. Die Überprüfung der Datenformate gewährleistet, dass alle Daten im korrekten Format vorliegen."
    ]
   },
   {
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "## 3.1. Test and Train Data"
+    "### 3.1. Test- und Trainingsdaten"
    ]
   },
   {
@@ -1317,7 +1379,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "## 3.2. Feature Scaling"
+    "### 3.2. Merkmalsskalierung"
    ]
   },
   {
@@ -1335,7 +1397,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Convert the image shape from 784 to 28x28 (only if load as CSV with 784 columns)"
+    "Wandeln Sie die Bildform von 784 auf 28x28 um (nur wenn sie als CSV mit 784 Spalten geladen wurden)."
    ]
   },
   {
@@ -1356,7 +1418,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "## 3.3. Convert Labels"
+    "### 3.3. Labels konvertieren"
    ]
   },
   {
@@ -1374,7 +1436,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Check the data shapes to get ensure that the data is in the correct format"
+    "Überprüfen Sie die Datenformate, um sicherzustellen, dass die Daten im richtigen Format vorliegen."
    ]
   },
   {
@@ -1408,29 +1470,32 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "editable": true,
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": []
+   },
    "source": [
-    "# 4. Modelling and Evaluation"
+    "# 4. Datenmodell"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "editable": true,
+    "include": true,
+    "paragraph": "Datenmodell",
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": [
+     "datenmodell"
+    ]
+   },
    "source": [
-    "Define how the model will look like. Below some descriptions for different Layer types.\n",
-    "The first trial of this model was just a DNN with simple dense layers, but the results can be improved by using a CNN.\n",
-    "As a start architecture the LeNet-5 implementation was chosen and then altered.\n",
-    "The hyperparameters could also be optimized with a Keras Optimizer which tries out several defined combinations.\n",
-    "The current parameters got chosen by exploration.\n",
-    "\n",
-    "- Dense: receives all inputs from previous layer, creates dot product \n",
-    "- Dropout layer: removes noise for overfitting, drops at specific rate\n",
-    "- Reshape layer: changes the shape of the input, not used\n",
-    "- Permute layer: alter shape of the input, not used\n",
-    "- ReapeatVector layer: repeats the input for fixed number of times, not used\n",
-    "- Flatten Layer: flattens the matrix\n",
-    "- MaxPooling2D Layer: reduces number of input\n",
-    "- Conv2D Layer: convolves an input"
+    "In der Modellierungsphase wird die Architektur des Modells definiert, die verschiedene Arten von Schichten umfasst. Zunächst wurde ein einfaches DNN mit dichten Schichten ausprobiert, jedoch konnten verbesserte Ergebnisse erzielt werden, indem auf eine CNN-Architektur umgestellt wurde. Als Ausgangsarchitektur wurde die Implementierung von LeNet-5 gewählt und angepasst. Die Hyperparameter wurden mithilfe eines Keras-Optimierers optimiert, der verschiedene Kombinationen ausprobierte, um die aktuellen Parameter auszuwählen. Das Modell umfasst Schichten wie Dense für die Berechnung des Skalarprodukts, Dropout zur Vermeidung von Überanpassung, Flatten zum Flachlegen von Matrizen, MaxPooling2D zur Reduzierung der Eingabedimensionen und Conv2D für Faltungsoperationen auf den Eingabedaten."
    ]
   },
   {
@@ -1560,7 +1625,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Compile the model"
+    "Modell kompilieren"
    ]
   },
   {
@@ -1580,7 +1645,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Train/Fit the model"
+    "Trainieren und fitten des Modells"
    ]
   },
   {
@@ -1647,7 +1712,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "We want do know how especially the loss changes over time"
+    "Wir wollen besonders wissen wie sich der Loss (Verlust) über die Zeit entwickelt"
    ]
   },
   {
@@ -1701,14 +1766,14 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "We can see that the model is performing quite well, but after the second epoch it starts to overfit. To prevent that we could try with different train-validation splits, add more dropout or restructure parts of the model."
+    "Es ist zu erkennen, dass das Modell recht gut funktioniert, aber nach der zweiten Epoche beginnt es zu überanpassen. Um dies zu verhindern, könnten wir verschiedene Trainings-Validierungs-Splits ausprobieren, mehr Dropouts hinzufügen oder Teile des Modells umstrukturieren."
    ]
   },
   {
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Evaluate the test-data"
+    "Testdaten evaluieren"
    ]
   },
   {
@@ -1741,14 +1806,14 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "The model performs quite well with an accuracy of > 90% on the test-data. The loss is acceptable."
+    "Das Modell schneidet mit einer Genauigkeit von > 90 % bei den Testdaten recht gut ab. Der Verlust ist akzeptabel."
    ]
   },
   {
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Show results by class"
+    "Zeige Resultate nach Klasse an"
    ]
   },
   {
@@ -1809,9 +1874,73 @@
    "source": [
     "print(classification_report(y_test, predicted_classes, target_names=class_names))"
    ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "editable": true,
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": []
+   },
+   "source": [
+    "## 5. Evaluation"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "editable": true,
+    "include": true,
+    "paragraph": "Evaluation",
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": [
+     "evaluation"
+    ]
+   },
+   "source": [
+    "Nach dem Training und der Validierung des Modells wird die Leistung anhand der Testdaten ausgewertet. Dabei erreicht das Modell eine Testgenauigkeit von über 90 %, was darauf hinweist, dass es gut in der Lage ist, neue, bisher ungesehene Daten zu klassifizieren. Der Testverlust ist ebenfalls akzeptabel niedrig, was darauf hinweist, dass das Modell Vorhersagen nahe an den tatsächlichen Daten trifft. Zusätzlich zeigen klassenspezifische Metriken wie Präzision, Rückruf und F1-Score für jede Klasse (z.B. Top, Trouser, Pullover usw.), dass das Modell gute bis sehr gute Ergebnisse erzielt, insbesondere bei Klassen wie Sneaker, Bag und Ankle boot. Diese Ergebnisse bieten eine umfassende Bewertung der Modellleistung und helfen dabei, seine Eignung für praktische Anwendungen zu beurteilen."
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "editable": true,
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": []
+   },
+   "source": [
+    "## 6. Umsetzung"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "editable": true,
+    "include": true,
+    "paragraph": "Umsetzung",
+    "slideshow": {
+     "slide_type": ""
+    },
+    "tags": [
+     "umsetzung"
+    ]
+   },
+   "source": [
+    "Im Rahmen des CRISP-DM Zyklus stellt das Deployment den letzten Schritt dar, bei dem das trainierte Modell für den produktiven Einsatz vorbereitet wird. Dies beinhaltet die Implementierung des Modells in eine Produktionsumgebung, wo es Echtzeitdaten verarbeiten kann. Vor dem Deployment müssen alle Aspekte wie Modellperformance auf Testdaten, Sicherstellung der Skalierbarkeit und Integration in bestehende Systeme sorgfältig überprüft werden. Zudem ist es entscheidend, fortlaufende Überwachung und Wartung sicherzustellen, um die langfristige Leistung und Genauigkeit des Modells zu gewährleisten."
+   ]
   }
  ],
  "metadata": {
+  "branche": "Handel",
+  "category": "Warehouse",
+  "dataSource": "https://github.com/zalandoresearch/fashion-mnist",
+  "funktion": "Logistik",
   "kernelspec": {
    "display_name": "Python 3 (ipykernel)",
    "language": "python",
@@ -1827,8 +1956,12 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.11.5"
-  }
+   "version": "3.11.7"
+  },
+  "repoLink": "https://gitlab.reutlingen-university.de/ki_lab/machine-learning-services/-/tree/main/Warehouse/Classification%20of%20clothing%20through%20images?ref_type=heads",
+  "skipNotebookInDeployment": false,
+  "teaser": "In diesem Praxisbeispiel können Sie mithilfe des Machine Learning Models einen Dienst entwickeln, der Retouren automatisch identifiziert und etikettiert, um sie effizient wieder aufzufüllen und weiterzuverkaufen. ",
+  "title": "Klassifizierung von Klamotten durch Bilder"
  },
  "nbformat": 4,
  "nbformat_minor": 4