Update Animation von Gebärdensprache aus natürlicher Sprache authored by Lara Krautmacher's avatar Lara Krautmacher
......@@ -192,7 +192,7 @@ Diese Wörter und Sätze lauten wie folgt:
<br>
Bevor die Sätze animiert werden konnten, wurde eine kompetente Übersetzung der Sätze in Gebärdensprache benötigt. Hierzu wurde ein studentische Leiter der Deutschen Gebärdensprachkurse der Pädagogischen Hochschule Heidelberg, Tim Eidam, zu Rat gezogen. Tim Eidam erstellte ein Video, in dem er die Sätze und Wörter gebärdet. <br>
Basierend auf diesem Video wurde dann ein Gebärden-Avatar in der Software Blender animiert. Hierzu kam zunächste der Open-Source Avatar “Rain” zum Einsatz . Dieser ist speziell für Animationen entwickelt und verfügt über ein ausführliches Körper- und Gesichts-Rig. Aufgrund der hohen Detailtreue des 3D-Modell benötigt die Darstellung des Characters jedoch viel Kapazitäten. Dies führte bei Einbindung einfacher Testanimationen in den Accelerator zu Probleme, da das Modell teilweise nur langsam und falsch dargestellt werden konnte. Aufgrund dieser Schwierigkeiten wurde dann der frei verfügbare Avatar “Amy” der Plattform Mixamo eingesetzt . Dieser umfasst weniger Flächen und kann somit besser in den Accelerator eingebunden werden. Für das Modell steht zunächst jedoch ausschließlich ein Körper-Rig zur Verfügung. Da für die korrekte Darstellung von Gebärden jedoch auch Mimik und Mundbewegungen animiert werden müssen, musste zusätzlich ein Gesichts-Rig erstellt werden. Hierzu wurden in Blender sogenannte Shape Keys erstellt. Dabei handelt es sich um Transformationen des 3D-Objektes, die nach Belieben prozentual angewandt werden können. Diese teilweise Anwendung der einzelnen Shape Keys kann über zugeordnete Bones geschehen. So können mithilfe des Gesichts-Rigs die verschiedenen Gesichtspartien, wie Augenbrauen, Kieferpartie, Wangen und der gesamte Mund animiert werden.<br>
Basierend auf diesem Video wurde dann ein Gebärden-Avatar in der Software Blender animiert. Hierzu kam zunächste der <a href="https://cloud.blender.org/p/characters/5f04a68bb5f1a2612f7b29da">Open-Source Avatar “Rain”</a> zum Einsatz . Dieser ist speziell für Animationen entwickelt und verfügt über ein ausführliches Körper- und Gesichts-Rig. Aufgrund der hohen Detailtreue des 3D-Modell benötigt die Darstellung des Characters jedoch viel Kapazitäten. Dies führte bei Einbindung einfacher Testanimationen in den Accelerator zu Probleme, da das Modell teilweise nur langsam und falsch dargestellt werden konnte. Aufgrund dieser Schwierigkeiten wurde dann der frei verfügbare <a href="https://www.mixamo.com/#/?page=1&type=Character">Avatar “Amy”</a> der Plattform Mixamo eingesetzt . Dieser umfasst weniger Flächen und kann somit besser in den Accelerator eingebunden werden. Für das Modell steht zunächst jedoch ausschließlich ein Körper-Rig zur Verfügung. Da für die korrekte Darstellung von Gebärden jedoch auch Mimik und Mundbewegungen animiert werden müssen, musste zusätzlich ein Gesichts-Rig erstellt werden. Hierzu wurden in Blender sogenannte Shape Keys erstellt. Dabei handelt es sich um Transformationen des 3D-Objektes, die nach Belieben prozentual angewandt werden können. Diese teilweise Anwendung der einzelnen Shape Keys kann über zugeordnete Bones geschehen. So können mithilfe des Gesichts-Rigs die verschiedenen Gesichtspartien, wie Augenbrauen, Kieferpartie, Wangen und der gesamte Mund animiert werden.<br>
Nachdem Amy vollständig mit einem Rig versehen war wurden anhand der Beispielvideos Animationen der geplanten Gebärden erstellt. Dabei wurde für jedes Wort eine einzelne Animation erstellt, welche als Aktion mit dem entsprechenden Namen gespeichert wurde. Diese Aktionen wurden anschließend in einem Blender-Dokument vereint und als eine alle Animationen umfassende GLB-Datei exportiert. Dieses Datei bildete die Vorbereitung für den gezielten Zugriff auf die Animationen mit Three.js und das Darstellen der passenden Sätze im Accelerator.
......
......