Multimodale Interaktion

Multimodale Interaktion WiiSports

Multimodale Interaktion bezeichnet in der Informatik Interaktionsformen zwischen Menschen und Computern, bei denen für die Ein- und Ausgabe mehrere Modalitäten verwendet werden. Die Entwicklung multimodaler Anwendungen ist ein Forschungsbereich der Mensch-Computer-Interaktion. Bei der Interaktion können verschiedene Modalitäten, also Arten der Eingabe wie Sprache, Gesten, Touchscreens aber auch Tastatur und Maus zum Einsatz kommen. Für die Ausgabe kommen ebenfalls mehrere Modalitäten zum Einsatz. So können etwa neben grafischen Displays auch Sprachausgabe, Geräusche oder haptisches Feedback genutzt werden.

Ziel der Entwicklung von Anwendungen, die multimodale Interaktion unterstützen, ist es, die Interaktion zwischen Menschen und Computern natürlicher als mit unimodalen Anwendungen zu gestalten. Dabei wird häufig versucht, die Interaktion zwischen Menschen und realen Umgebungen zu imitieren. Ein frühes Beispiel für eine multimodale Anwendung wurde von Richard Bolt entwickelt. Das System ermöglicht dem Benutzer, virtuelle Objekte durch Gestik zu selektieren und durch Spracheingabe Kommandos auszuwählen.

Literatur

• Sharon Oviatt, Ten myths of multimodal interaction, Communications of the ACM, Volume 42, Issue 11, 1999
• Richard A. Bolt,“Put-that-there”: Voice and gesture at the graphics interface, Proceedings of the 7th annual conference on Computer graphics and interactive techniques, 1980