Mögliche Prüfungsfragen

Ein [Kanal], durch den Informationen zwischen Benutzer und Computer übertragen werden können.

Mit Modalität meinen wir die Kommunikationsweise entsprechend den menschlichen Sinnen und den vom Menschen aktivierten Computereingabegeräten oder Geräten, die menschliche Eigenschaften messen (z.B. Blutdruck).

Die menschlichen Sinne sind Sehen, Tasten, Hören, Riechen und Schmecken. Die Eingabemodalitäten vieler Computereingabegeräte können als entsprechend den menschlichen Sinnen betrachtet werden: Kameras (Sehen), haptische Sensoren (Tasten), Mikrofone (Hören), olfaktorische Sensoren (Riechen) und sogar Geschmack.

1. Sequentiell: Modalitäten werden nacheinander genutzt.

2. Parallel: Modalitäten werden gleichzeitig genutzt.

1. Kombiniert: Die Informationen aus den verschiedenen Modalitäten werden kombiniert, um eine einzige Bedeutung zu erzeugen.

2. Unabhängig: Jede Modalität wird separat verarbeitet und die Ergebnisse werden nicht miteinander kombiniert.

Complementarity

Redundancy

Equivalence

Assignment

• Dimensions of fusion

  • When to fuse?

  • What to fuse?

  • How to fuse?

  • How to specify?

1. Gestalt:

   • Menschliche Wahrnehmung und Kommunikation ist von Natur aus multimodal.

2. Working Memory

   • Das Arbeitsgedächtnis ist ein Engpass, der die menschliche Leistungsfähigkeit einschränkt. Die Verteilung der externen kognitiven Belastung auf komplementäre Modalitäten verbessert die menschliche Leistungsfähigkeit.

3. Activity

   • Das Ausführen komplexerer und multisensorisch-multimodaler physischer Aktionen kann die menschliche Kognition effektiver stimulieren.

1. Multiple Resource

2. Cognitive Load

3. Embodied Cognition

4. Communication Accommodation

5. Affordance

• Je näher zwei Reize räumlich beieinander liegen, desto wahrscheinlicher ist es, dass das Gehirn sie als zusammengehörig wahrnimmt

• Je näher zwei Reize zeitlich beieinander auftreten, desto wahrscheinlicher ist es, dass das Gehirn sie als zusammengehörig wahrnimmt

Wenn Systemfehler oder die Schwierigkeit eines Problems zunehmen, passen Benutzer das Timing ihrer individuellen Signale an, um die gesamte multimodale Konstruktion zu verstärken. Benutzer verstärken oder betonen ihr übliches Muster des koordinierten Timings um ungefähr 50%.

Intrinsische Belastung: Aufgabenschwierigkeit (unveränderlich)

Extrinsische Belastung: Schwierigkeit der Lehrmethoden

Germane Belastung: Schwierigkeit beim Erwerb und Automatisieren von Schemata im Langzeitgedächtnis (Lernschwierigkeit)

Ziel:

Extrinsische Belastung reduzieren

Germane Belastung erhöhen

- MMIs (Multimodale Schnittstellen) rufen umfangreichere neuronale Aktivität hervor

- Führen zu tieferem und ausgearbeitetem Lernen

- Verbessern das Langzeitgedächtnis

- Führen zu höheren Leistungsniveaus bei der Mensch-Computer-Interaktion

Gestalt-Theorie

• Menschliche Wahrnehmung und Kommunikation ist von Natur aus multimodal.

Theorie des Arbeitsgedächtnisses (Mehrfachressourcentheorie & Kognitive Belastung (CL))

• Das Arbeitsgedächtnis ist ein Engpass, der die menschliche Leistungsfähigkeit begrenzt.

• Die Verteilung der extrinsischen kognitiven Belastung auf komplementäre Modalitäten verbessert die menschliche Leistungsfähigkeit.

Aktivitätstheorie (Affordanz-Theorie)

• Die Durchführung komplexerer und multisensorisch-multimodaler physischer Handlungen kann die menschliche Kognition effektiver stimulieren.

Spracherkennung: Identifizieren von Wörtern und ihrer Reihenfolge aus Roh-Audiosignalen

Morphologische Analyse: Identifizieren von Wortarten, Stämmen und Flexionen; Markieren von Wortarten (Parts Of Speech, POS)

Syntaktische Analyse: Identifizieren der Phrasen- und Satzstruktur mithilfe grammatikalischen Wissens

Semantische Analyse: Konstruktion der Bedeutung unter Verwendung von Strukturinformationen und Wortsemantiken

Pragmatische Analyse: Ergänzung der semantischen Repräsentation mit Kontextinformationen

Diskursanalyse: Aufdecken sozio-psychologischer Merkmale