Echtzeit-Handgestenerkennung - Umwandlung von Gebärdensprache in Sprache

Das Hauptziel des Projekts ist die Implementierung eines Echtzeitsystems, das Handgesten aus der amerikanischen Geb rdensprache (ASL) in Sprachsignale umwandelt. Dies k nnte von Menschen mit Sprachbehinderungen genutzt werden, um mit anderen Menschen zu kommunizieren. Zu diesem Zweck wurden ein Oberfl chen-Elektromyogramm (EMG), das die elektrische Aktivit t der Unterarmmuskulatur misst, und ein Beschleunigungsmesser, der die Beschleunigung der Handbewegungen misst, verwendet. Ein tragbares Datenerfassungsger t namens Shimmer wurde verwendet, um diese Signale vom Benutzer aufzuzeichnen und die gesammelten Daten ber Bluetooth an Matlab zu bertragen. In Matlab wurde ein Mustererkennungsalgorithmus implementiert, der die Signale verarbeitete und die Ergebnisse basierend auf der ausgef hrten Geste anzeigte. Es wurden mehrere Tests an einer Person durchgef hrt, um verschiedene ein- und zweih ndige Gesten zu identifizieren und verschiedene W rter sowie einfache S tze in ASL zu erkennen. Die Versuchsergebnisse wurden aufgezeichnet und diskutiert.