Barrierefreie Kommunikation in Echtzeit mit 3D-Gebärdensprache-Avatar

foto c kristoffer waldowTH Köln testet erfolgreich automatisierte Übersetzung

Viele gehörlose Menschen können Informationen am besten aufnehmen, wenn sie ihnen in Gebärdensprache übermittelt werden. Bei dynamischen Inhalten wie Abfahrtszeiten an Bahnhöfen war dies bislang jedoch nicht möglich. Die TH Köln hat jetzt im Projekt AVASAG mit mehreren Partnern einen 3D-Avatar entwickelt, der Texte automatisiert in Gebärdensprache übersetzt.

„Gewöhnliche Schriftsprache ist für gehörlose Menschen wie eine Fremdsprache, da sich die Deutsche Gebärdensprache in Grammatik und Wortwahl vom gesprochenen und geschriebenen Deutsch unterscheidet. Müssen Informationen aufgenommen werden, die sich schnell ändern, sind schriftliche Angaben deshalb für viele Gehörlose nur bedingt hilfreich“, erklärt Prof. Dr. Arnulph Fuhrmann vom Institut für Medien- und Phototechnik der TH Köln.

Zwar erstellen Unternehmen oder staatliche Institutionen heute bereits Gebärdensprachvideos, um mit dieser Zielgruppe zu kommunizieren – diese sind bislang aber nur für statische Inhalte sinnvoll. „Videoproduktionen sind aufwändig und die einmal erstellten Videos nur schwer editierbar. Ändert sich der Inhalt, müssen sie manuell angepasst oder komplett neu erstellt werden. Für Reiseinformationen wie Fahrplanänderungen, Verspätungen oder Zugausfälle ist das keine Option. Wir setzen daher auf eine Lösung, die Informationen in Gebärdensprache in Echtzeit bereitstellen kann“, so Fuhrmann.

Zusammengesetzte Lichtpunkte erzeugen digitales Abbild der Bewegungen

Um den Anforderungen an eine automatisierte Übersetzung gerecht zu werden und damit die Teilhabe von Gehörlosen zu fördern, haben die sechs Projektpartner eine neuartige Animationsmethode für einen 3D-Avatar – eine virtuelle Darstellung mit menschlichen Gesichtszügen – geschaffen. Im Teilprojekt der TH Köln wurden dazu einzelne Gebärden sowie ganze Sätze einer Person mit mehreren Kameras aufgezeichnet, so dass Körper-, Finger- und Gesichtsbewegungen gleichzeitig erfasst wurden. 

„Beim sogenannten Motion Capturing werden reflektierende Leuchtmarker an Körper und Kopf angebracht. Die Kameras nehmen dabei das reflektierte Licht auf. Die Lichtpunkte werden dann am Computer zusammengesetzt und es entsteht ein digitales Abbild der Bewegungen“, berichtet Fuhrmann und ergänzt: „Der Computer nimmt aber nur die Lichtpunkte auf und kann sie nicht der entsprechenden Bedeutung in der Gebärdensprache zuordnen. Das ist besonders bei Fingerbewegungen kompliziert, da die Lichtpunkte sehr dicht beieinander liegen und es schnell zu Fehlzuordnungen kommt.“

Sprachverarbeitung per Software

Um diese Herausforderung zu bewältigen, haben die Forschenden ein neues Machine Learning (ML)-Verfahren entwickelt, das die erfassten Daten so aufbereitet, dass alle Lichtpunkte korrekt zugeordnet werden können. Diese aufbereiteten Daten wurden von den Projektpartnern weiterverwendet und durch ein weiteres ML-Verfahren so verarbeitet, dass die aufgezeichneten Gebärden mit den in die Software eingegebenen Texten verknüpft werden. „Mit diesen Bausteinen ist es uns gelungen, ganze Sätze von Reiseinformationen in Gebärdensprache zu übersetzen und durch den Avatar animieren zu lassen“, erklärt Fuhrmann.

Umfrage und Ausblick

Im Anschluss nahmen 68 gehörlose Menschen an einer Online-Umfrage teil, um die Benutzer*innenfreundlichkeit des Demonstrators zu bewerten. Dabei habe sich gezeigt, dass die Interaktion mit dem Gebärdensprach-Avatar als ansprechend, authentisch, respektvoll und natürlich wahrgenommen worden sei. Die bevorzugte Nutzung der Anwendung liege auf mobilen Endgeräten. „Wir erwarten eine hohe Akzeptanz, da die Gebärdensprachler*innen die Verständlichkeit sowie das Erscheinungsbild des Avatars als positiv wahrgenommen haben. Bis die Anwendung tatsächlich in stationäre Bildschirme in Bahnhöfen, Busstationen oder Flughafenterminals sowie in Websites und Mobilität-Apps integriert wird, sollte aus unserer Sicht noch eine weitere Studie zur Verständlichkeit von Gebärdensprach-Avataren durchgeführt werden“, so Fuhrmann.

Mehr Informationen finden sich unter: www.avasag.de

Über das Projekt

Im Verbundprojekt „AVASAG“ (Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung) arbeiteten Hochschul- und Forschungseinrichtungen sowie Unternehmen aus den Bereichen 3D-Animation, Softwareentwicklung, User Experience, Künstliche Intelligenz sowie Gebärdensprache unter Leitung der Softwarefirma Charamel GmbH zusammen. Prof. Dr. Arnulph Fuhrmann vom Institut für Medien- und Phototechnik der TH Köln verantwortete das Teilvorhaben „Automatisierte Erfassung von Gebärden mittels simultaner Aufnahme von Körper-, Finger-, und Gesichtsbewegungen“.

Weitere Partner waren die yomma GmbH, Dienstleister für Übersetzung und Produktion von Gebärdensprachevideos, die Ergosign GmbH, eine Digitalagentur mit Fokus auf User Experience Design, die DFKI GmbH als Forschungseinrichtung auf den Gebieten der maschinellen Übersetzung und Mensch-Maschine-Interaktion sowie der Lehrstuhl Human-Centered Artificial Intelligence der Universität Augsburg. Das Bundesministerium für Bildung und Forschung förderte das dreijährige Vorhaben mit 1,47 Millionen Euro.

Abbildung: Im Projekt „AVASAG“ zeichnete das Team der TH Köln einzelne Gebärden sowie ganze Sätze einer Person mit mehreren Kameras auf. Die Kameras nehmen das von den Leuchtmarkern reflektierte Licht auf, dies bezeichnet man als Motion Capturing. Die Lichtpunkte werden dann am Computer zusammengesetzt und es entsteht ein digitales Abbild der Bewegungen. (Bild: Kristoffer Waldow) 
Quelle: www.th-koeln.de

Diesen Beitrag teilen, das Unterstützt uns, DANKE !

FacebookVZJappyDeliciousMister WongXingTwitterLinkedInPinterestDiggGoogle Plus

weitere Beiträge

Nachrichten und Doku in Köln

Lew Kopelew Preis für Frieden und


lew kopelew preisverlehung 2023 24 foto horst galuschkaFeierliche Preisverleihung an Vertreterinnen und Vertreter der Ukraine am 9. Juni 2024 in der Kreissparkasse Köln

Köln, den 9. Juni 2024 Das Lew Kopelew Forum verleiht in diesem Jahr den nach ihm benannten „Preis für Frieden und Menschenrechte 202...


weiterlesen...

AIRBEAT ONE Festival 2024


Airbeat One 2023 by Kai Behrendt   KB201738228 Artists – 6 Stages – 4 Tage
Damit die Besucher keine Highlights verpassen, gibt es bereits jetzt den Timetable für den perfekten Festivalplan
 

Vom 10. – 14. Juli 2024 feiert die elektronische Musikwelt die 21. Ausgabe des AIRBEAT ONE Festivals...


weiterlesen...

Energie aus Weinbau-Biomasse - TH Köln


Bild Thomas MockenhauptBei der Weinherstellung fallen Reststoffe wie Trester – der feste bis breiartige Rückstand nach dem Pressen der Trauben – und Rebholz nach dem Schneiden der Reben an. Diese bleiben bislang weitgehend ungenutzt. Wie die Biomasse verwertet werden kö...


weiterlesen...

Ausstellung In Focus Galerie - Nick


Petero by Cliff Fiji 2023Die in focus Galerie, Burkhard Arnold in Köln, freut sich Nick Brandt mit seiner Serie „The Day May Break“ zu präsentieren. The Day May Break ist eine fortlaufende globale Serie, die Menschen und Tiere porträtiert, die von Umweltzerstörung und Kli...


weiterlesen...

LSBTI-Förderprogramm 2024


stadt Koeln LogoStadt fördert Projekte zum Abbau von queerfeindlicher Gewalt und Diskriminierung

Ab sofort können bis zum 8. September 2024 Anträge für die Förderung von Projekten im LSBTI- Förderprogramm der Stadt Köln eingereicht werden, die zum Abbau von Diskr...


weiterlesen...

Auslandsjahr, Schüleraustausch und Gap


weltFernweh: AUF IN DIE WELT-Messe am 15.06.2024 in Köln – Kostenfreie Insider-Informationen zu Schüleraustausch und Gap Year für das Auslandsjahr 2025 und 2026

Schüleraustausch USA und weltweit, High School in den USA, Internat in Kanada, Freiwillige...


weiterlesen...
@2022 lebeART / MC-proMedia
toTop

Wir nutzen Cookies auf unserer Website. Einige von ihnen sind essenziell für den Betrieb der Seite, während andere uns helfen, diese Website und die Nutzererfahrung zu verbessern (Tracking Cookies). Sie können selbst entscheiden, ob Sie die Cookies zulassen möchten. Bitte beachten Sie, dass bei einer Ablehnung womöglich nicht mehr alle Funktionalitäten der Seite zur Verfügung stehen.