Sitzung 3a Nonverbale Kommunikation

• Probleme in der computervermittelten Kommunikation: können kaum Aspekte nonverbaler Kommunikation abbgebildet werden

• daraus können Kommunikationsprobleme entstehen/ Kommunikation verarmt

• teilweise lösbar, z.B. durch Emojis

• wenn man das eigene gesprochene Wort zeitverzögert akustisch wahrnimmt, erzeugt das starke SPrachstörungen (künstliches stottern)

• irritiert stark

• fängt trotzdem nicht an, völlig zu stottern, da man sich auch noch selbst sprechen hört

• bei Experimenten zum DAF hört man sich allerdings ausschließlich über Kopfhörer verzögert

• warum kommt es zum stottern? -> Hypothese, es sei die Inkongruenz der gesprochenen/gehörten Phoneme (inhaltliche Inkongruenz)

• alternative Hypothese: Inkongruenz des Rhythmus

Zeitliche Bindung von Sprache und Gestik:

Die zeitliche Bindung von Sprache und Gestik ist tatsächlich sehr unempfindlich gegenüber Versuchen, diese Bindung zu stören

Beispiele:

• Delayed Auditory Feedback (DAF) erzeugt starke Sprachstörungen (Stottern) bei Normalsprechenden (insb. bei 200ms Verzögerung bei Erwachsenen) aufgrund rhythmischer Inkongruenz zwischen Gesprochenem und Gehörtem (Kaspar & Rübeling, 2011)

• Aber: Sprache und Gestik bleiben beim DAF synchron. Bei Inkompatibilität von Sprache und Gestik wird entweder das Stottern gehemmt (bei Einsetzen eines „gesture strokes“) oder es wird –falls das Stottern während eines Strokes einsetzt –die Gestik gestoppt (Mayberry& Jaques, 2000)

Gestik und Sprachproduktion laufen nicht unabhängig; dazu zwei weitere Beispiele:

• Personen mit angeborener Blindheit gestikulieren laut einer Studie so häufig wie sehende Personen, selbst, wenn sie wissen, dass sie mit einer anderen blinden Person sprechen (Iverson& Goldin-Meadow, 1998).

• Informationen, die über Gesten geliefert werden, können später von Empfänger*innen als sprachlich erinnert werden (Cassellet al., 1999) und die pragmatische Intention sprachlicher Mitteilungen kann durch begleitende Gestik besser verstanden werden (Kelly et al., 1999)

Weiteres zu Gestik:

• 90% der Gesten treten zeitlich synchron mit der entsprechenden verbalen Äußerung auf, was darauf hinweist, dass gesprochene Sprache und Gestik kognitiv nicht unabhängig voneinander verarbeitet, geplant und ausgeführt werden.

• Manchmal geht die Gestik dem semantisch zugehörigen verbalen Ausdruck auch voraus (wenn es zu kurzzeitiger verbaler Unterbrechung kommt), folgt ihm aber selten (wenn man natürlich spricht und es nicht willentlich herstellt).

• Gestik und Sprache sind offenbar in einem gemeinsamen neuronalen System grundgelegt (Xuet al., 2009), das eine Art modalitätsunabhängiges semiotisches System darstellt und eine zentrale Rolle in der menschlichen Kommunikation spielt, indem es Symbole mit Bedeutungen verbindet (Worte, Gesten, Bilder, Töne etc.).

• Diese Befunde sind mit der von einigen Forscher*innen vertretenen Ansicht kompatibel, dass nichtsprachliche gestische Kommunikation zwischen unseren Primaten-Vorfahren ein Gerüst für die Entwicklung unserer verbalen Sprache bildete (vgl. Arbibet al., 2008).

• Das Klassifikationsschema fokussiert auf die Bedeutung und Funktion einer Geste.

• Durch das Schließen auf diese Bedeutung und Funktion wird klassifiziert und nicht –wie bei einigen anderen Systematiken –anhand von Unterschieden in der physikalischen Erscheinungsform von Gesten.

• Außerdem wird stark auf die begleitende Sprache Bezug genommen.

Das zeigt sich auch in folgendem Punkt: Vom Gestikulieren (welches synchron zur Sprache auftritt) werden von McNeillet al. (1994) an anderer Stelle folgende Aspekte abgegrenzt bzw. ausgeschlossen, die von anderen Forscher*innen jedoch durchaus als Teil von Gestik verstanden werden (z. B. von Xuet al., 2009):

• Embleme, d. h. kulturvariante Handzeichen (z. B. „Daumen hoch“)

• Pantomime, d. h. eine Sequenz von Gesten, die eine Geschichte ohne Worte erzählen

• Zeichensprache mit eigener linguistischer Struktur, Grammatik und Wortschatz

McNeillet al. (1994) begründen diese Ausschlüsse wir folgt:

• „We focus on the gestures that are the spontaneous and largely unwitting, manual accompaniments to speech“ (S. 224).

• Embleme, Pantomime und Zeichensprache sind insofern nicht Begleitphänome der normalen Sprachproduktion, da es gar keine begleitende Sprache gibt (Pantomime, Embleme) oder ein eigenes Sprachsystem (Zeichensprache) besteht.

Es werden vier Haupttypen von Gesten unterschieden:

• Ikonische Gesten bilden die Wirklichkeit ab, d. h. Objekte werden dargestellt und Handlungen nachgeahmt; sie stehen in enger Beziehung zum semantischen Inhalt der verbalen Aussage, können co-expressiv sein (semantisch und pragmatisch wird derselbe Bedeutungsinhalt durch Sprache und Gestik ausgedrückt) oder komplementär (Sprache und Gestik beziehen sich auf gleichen Sachverhalt, ergänzen sich aber in ihrer Bedeutung).

• Metaphorische Gesten repräsentieren abstrakte Bilder, Konzepte, Konstrukte (z. B. „Idee“, „Gedächtnis“).

• Deiktische Gesten zeigen auf etwas (oft imaginäre Objekte, Orte oder Sachverhalte).

• Rhythmische Gesten (engl. beat gestures) dienen der Betonung von Gesprochenem und können auch wichtige Aspekte einer Ereignissequenz zeitlich hervorheben –quasi ein nonverbaler gelber Textmarker.

• Der Ablauf einer Geste (insb. Arme) kann zudem zeitlich sequenziert werden; Rahmenmodell ist das Konzept einer G-Unit, definiert als Periode zwischen zwei aufeinander folgenden Wartepositionen (rest positions), bei denen die Arme still sind. Eine G-Unit beginnt mit dem Beginn einer Armbewegung und endet mit dem Erreichen der nächsten Warteposition.

• Eine G-Unit wird durch eine oder mehrere G-Phrasen (die voneinander abgrenzbaren Gesten) gebildet, die wiederum eine bestimmte temporale Sequenz zeigen (nächste Folie). Allerdings beinhalteten 56% der beobachteten G-Units jeweils nur eine Geste.

• Die Intervalle ohne Gestik sind i. d. R. sehr kurz, in 70% der beobachteten Fälle gibt es zwischen zwei gestischen Wartepositionen (zwischen dem Ende der vorangegangenen G-Unit und dem Beginn der nächsten) keinen verbalen Satz, d. h. Gestik findet ziemlich kontinuierlich während des Sprechens statt.

• McNeill berücksichtigt in seiner Darstellung grundsätzlich auch die Körperhaltung und Kopfbewegungen, doch mit den G-Units bezieht er sich gezielt auf die im Fokus stehenden Gliedmaßen (Limbs), primär die Arme.

1. Preparation (optional): In dieser Phase wird das mit der Bedeutung der Geste co-expressive linguistische Segment antizipiert.

2. Pre-stroke hold (optional): Das ist die räumliche Position und Handhaltung, die nach der Vorbereitungsphase eingenommen und bis zum Stroke gehalten werden.

3. Stroke (obligatorisch): Das ist der Höhepunkt der Geste („peak of effort in the gesture“). In dieser Phase wird die Bedeutung der Geste ausgedrückt. Der Stroke tritt zeitlich synchron mit dem co-expressiven linguistischen Element auf. Der Stroke ist räumlich, i. d. R. auf den zentralen Gestik-Raum, beschränkt (begrenzt von Hüfte, Schultern, Arme)

4. Post-strokehold (optional): Das ist die finale Position und Haltung der Hand nach Abschluss des Strokes. Diese Phase kann auftreten, falls ein co-expressiver verbaler Ausdruck zeitlich verzögert kommt.

5. Retraction (optional): Das ist die Rückkehr der Hand zu einer Warteposition. Diese Phase wird oft übersprungen, wenn direkt eine neue Geste initiiert wird.

Aber: McNeillzeigt die Analyse von räumlichen Dichtekarten bei sitzenden Personen. Inwiefern gilt das auch für andere Körperhaltungen (z. B. stehend)? Der Kontext (z. B. Umgebungseigenschaften, Körperhaltung) kann ggf. moderierend wirken…

Körperhaltung und -Bewegung sind Teil des nonverbalen Verhaltens und dienen ebenfalls der Übermittlung von Botschaften.

Es gibt verschiedene Aspekte:

• Körperorientierung gegenüber den Kommunikationspartner*innen in Form des Ausmaßes an Zugewandtheit(Schultern und Beine sind zum Gegenüber gerichtet, statt von ihm weg gerichtet)

• Offene versus geschlossene Körperhaltung (beeinflusst ggf. wahrgenommene Offenheit und Überzeugungskraft)

• Stehend vs. sitzend (indiziert u. a. Höflichkeit)

• Oberkörper vor oder zurück gelehnt (regt u. a. Sprach-Output des Gegenübers an)

• Anpassung an Körperhaltung anderer (signalisiert u. a. Offenheit) versus Inkongruenz in der Körperhaltung (markiert ggf. Wahrnehmungs-und Einstellungsdifferenzen oder eine distanzierte interpersonelle Beziehung)

Wichtig: Körperhaltung und -bewegung sind insbesondere für die Erkennung von emotionalen Zuständen durch die betrachtende Person von Bedeutung.

• In der Studie von Coulson (2004) sahen die Proband*innen computergenerierte statische Bilder von Figuren, die unterschiedliche Körperhaltungen eingenommen haben, jeweils aus unterschiedlichen Blickwinkeln.

• Ihre Aufgabe bestand darin, für jedes Bild anzugeben, welche der folgenden sechs Basisdimensionen durch die Figur ausgedrückt wird: anger, disgust, fear, happiness, sadness, surprise(Forced-Choice-Format)

• Berechnet wurde das Ausmaß an Übereinstimmung über die Proband*innen hinweg.

• Am obigen Beispiel sieht man, dass die Übereinstimmungsrate (als Indikator für die Eindeutigkeit der dargestellten Emotion) stark vom Blickwinkel abhing.

• Die Stimuli in der Studie von Krüger et al. (2013) bestanden aus Lichtpunkten, hergestellt über 15 lichtsensitive Marker, die am Körper befestigt waren.

• Dadurch konnte ein Einfluss äußerlicher Merkmale der Darsteller*innen (z. B. Attraktivität) auf die Wahrnehmung der Personenbewegungen ausgeschlossen werden.

• Ein weiteres Beispiel, welches zeigt, wie beliebig die Einflüsse auf die Erkennungsleistung von den durch Körperhaltung und -bewegung dargestellten Emotionen sein können: das Minimal Group Paradigma, bei dem In-und Out-Group willkürlich z. B. über Farbe hergestellt wird.

• In unserer Studie wurden die teilnehmenden Personen zufällig der blauen oder grünen Gruppe zugewiesen und bekamen ein T-Shirt entsprechender Farbe angezogen.

• Daraufhin sahen sie eine Reihe animierter Avatare (Bewegungen wurden von Schauspieler*innen zuvor eingespielt), die jeweils in grüner oder blauer Farbe dargestellt wurden und jeweils relativ emotional ambigue Bewegungen zeigten.

• Avatare in derselben Farbe gehörten demnach zur In-Group. Das Ergebnis: Ihnen wurde schneller Fröhlichkeit als Wut zugeschrieben.

• Die Erklärungen derartiger Befunde sind z. T. komplex, basieren aber häufig auf der Grundannahme, dass emotionale Ausdrücke (Gestik, aber auch Mimik) der Mitglieder*innen von In-und Out-Group nicht gleichermaßen „neutral“ verarbeitet werden

• So zeigte sich in unserer Studie eine Bevorzugung der In-Group-Avatare mit Blick auf die Geschwindigkeit, mit der diesen eine positive (kooperative) Emotion zugeschrieben wurde.

Outgroup: targe Blau und sehe grün

• Bsp. Trikots Fußball