Hard und SoftwareErgonomie 5 Direkte Manipulation und Virtual

Hard- und Software-Ergonomie 5. Direkte Manipulation und Virtual Reality Dipl. Inform. Marc Turnwald Informations- und Technikmanagement Institut für Arbeitswissenschaft, Ruhr-Universität Bochum www. imtm-iaw. rub. de Vorlesung Hard- und Software-Ergonomie, WS 2010/2011

5 Direkte Manipulation und Virtual Reality 5. 1 5. 2 5. 3 5. 4 Direkte Manipulation Virtual Reality 3 D-Widgets Augmented Reality Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 2

Direkte Manipulation 5. 1 … ist eine Form der Mensch-Computer Interaktion, bei der Benutzer graphisch visualisierte Objekte mit einem Zeigegerät (z. B. einer Maus) am Bildschirm bewegen, verändern oder in eine bestimmte Relation setzen kann. … beruht auf dem Prinzip, dass die Objekte mit denen in einer Anwendung gearbeitet wird, auf dem Bildschirm sichtbar sind, dass direkt auf sie gezeigt oder zugegriffen werden kann. - Voraussetzung für die Verwendung von direkter Manipulation ist die Verfügbarkeit eines Zeigeinstruments zur Anwahl von Objekten. B. Shneiderman, 82: The Future of Interactive Systems and the Emergence of Direct Manipulation. B. Shneiderman. 83: Direct Manipulation: A Step beyond Programming Languages. Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 3

Direkte Manipulation 5. 1 Desktop- Metapher: (um ca. 1970; Alan Kay at Xerox PARC) „The best way to predict the future is to invent it. “ Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 4

Direkte Manipulation 5. 1 1983: Erstes auf dem Markt verfügbares desktop-ähnliches Interface Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 5

Direkte Manipulation 5. 1 1984: Apple Macintosh Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 6

Direkte Manipulation Kennzeichnende Prinzipien 5. 1 • permanente Sichtbarkeit der für die Aufgabe relevanten Objekte • Direktes Feedback zu den Eingabeaktionen (Sichtbarkeit des Pointers oder Werkzeuge) • schnelle, umkehrbare, einstufige Benutzeraktionen • hohe Interaktivität - Ersetzung komplexer Kommandos durch physische Aktionen • Veränderungen werden sofort sichtbar Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 7

Direktes Feedback 5. 1 • Veränderung der Darstellung von Objekten • Vermittlung von Bewegung • Kontinuierliche Bewegungsdarstellung • Vorschau (Jef Raskin: Indication) • Kennzeichnung selektierter Flächen • Darstellung neuer Informationen Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 8

Manipulation von Objekten 5. 1 • Graphische Objekt Darstellung: Die zu bearbeitenden Daten werden als graphische Objekte repräsentiert incl. der jeweils möglichen Operationen • Eingabe als Manipulation von Objekten • Referenzen zwischen Objekten werden durch Zeigeoperationen hergestellt WYSIWYG: What you see is what you get. Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 9

6. 1 Was bedeutet Direktheit • semantischer Bezug • Assoziation von Wirklichkeit • Einfache physische Aktion Direktheit ist ein Eindruck oder ein Gefühl, das aus der verringerten Bindung kognitiver Ressourcen resultiert. Die Kluft zwischen Aktionen mit dem System und Zielerreichung wird verringert – Umwege vermieden. Nicht nur die Ikonizität der Ausgabe, sondern auch der Eingabehandlungen nimmt zu Die Eingaben erfordern Bewegungen, die den erwünschten Veränderungen ähneln. Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 10

5. 1 Selektionsreihenfolge: Objekt vs. Funktion Vorteile von Funktion Objekt (FO): • OF kann nicht immer realisiert werden, insbesondere beim Erzeugen neuer Objekte • FO erleichtert die Manipulation mehrerer Objekte (z. B. Vertauschen, Einfärben) • FO ermöglicht die Unterstützung bei der Selektion der Objekte Vorteile von Objekt Funktion (OF): • FO kann sehr komplex sein, da Objektselektion von F abhängen kann • FO ist fehleranfälliger bei Fehlselektion eines Objektes • Die vollzogene Objektselektion kann helfen das Funktionsangebot einzuschränken Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 11

Interaktionsparadigmen: OF vs. FO 5. 1 Unterscheidung zwischen Aktionen zur Vorbereitung eines Arbeitsschrittes (z. B. Selektion, Toolauswahl) und Aktionen, die den Arbeitsgegenstand tatsächlich verändern (Funktion auf Auswahl anwenden, Tool auf getroffenes Objekt anwenden) Erzeugen einen Undo Schritt. I. d. R. : Objektauswahl fehleranfälliger als Toolauswahl Besonders relevant bei Touchinteraktionen Falls verschiedene Paradigmen angeboten werden sollten diese zum restlichen Interaktionskonzept passen. Beispiel : Text einfärben in MS Word. Undo Mechanismus funktioniert nicht wie erwartet. Gewähltes Paradigma hat unmittelbaren Einfluss auf die Anzahl der Schritte einer Aktion (Clicks) Einfluss auf Effizenz Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 12

5. 1 Nachteile von Direkter Manipulation • Wiederholung von gleichförmigen Aktionen, komplexere, zusammengefasste Aktionen sind nur schwer realisierbar • Es wird z. T. zu hohe Genauigkeit verlangt • Problem, wenn „weit von einander entfernte“ Objekte manipuliert oder sogar verbunden werden • Die Bedeutung der visuellen Darstellung muss erlernt werden • Für erfahrene Typisten zu langsam Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 13

4. 5 Vergleich von Steuerungsmöglichkeiten Filename Number One Entry Area Radio button 1 F N S D 2 3 Size 4 Date Filename Number Size Date F, N, S, D 4 Entry Areas 1. Position: 2. Position: 3. Position: 4. Position: Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 14

4. 5 Vergleich - Ergebnisse Preference • Direct Manipulation. Speed O O – Radio Buttons. ++ ++ – Menus (Drop-down list boxes). ++ • Selection. – Icons. • Entry – One entry area. ++ ++ – Four entry areas. Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 15

Anwendungsbereich von DM • • 5. 1 ursprüngliche Entwicklung mit Hinblick auf geometrische Daten und 2 -dimensionale Darstellung von Daten Tabellenkalkulation Browser Videospiele, CAD-Systeme Haustechnik regulieren Danach auch für 2, 5 D und 3 D Objekte und Welten relevant • Spiele • Medizin • Flugsimulatoren, Architektur Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 16

Zeitschaltuhr für Videorecorder 6. 1 Shneiderman, S. 260 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 17

Zeitschaltuhr für Videorecorder 6. 1 Shneiderman, S. 260 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 18

On Screen Scheduling VCR 6. 1 Shneiderman, S. 260 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 19

Virtual Reality Haupteinsatzbereich: Simulation zum/zur • Training • Erprobung • Unterhaltung • auch Nebenzweck: Medizinische Therapie Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 20

Interaktion mit Virtuellen Räumen 5. 2 Shneiderman, S. 272 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 21

Tiefeneindruck zwecks Therapie 5. 2 Shneiderman, S. 270 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 22

Second Life 5. 2 • Second Life (abbreviated as SL) is a Game developed by Linden Lab that launched on June 23, 2003 and is accessible via the Internet. A free client program called the Second Life Viewer enables its users, called Residents, to interact with each other through avatars. Residents can explore, meet other residents, socialize, participate in individual and group activities, and create and trade virtual property and services with one another, or travel throughout the world, which residents refer to as the grid. Second Life caters for users aged over eighteen, while its sister site Teen Second Life is restricted to users aged between thirteen and eighteen. • http: //www. youtube. com/watch? v=b 72 Cvv. Mu. D 6 Q&NR=1 • http: //www. youtube. com/watch? v=k. Ed. Z 7 u. Xer. Vg Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 23

Immersion („Versenkung“) 5. 2 • Immersion is the state of consciousness where an immersant's awareness of physical self is diminished or lost by being surrounded in an engrossing total environment; often artificial. [1] This state is frequently accompanied by spatial excess, intense focus, a distorted sense of time, and effortless action. [2] Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 24

Arten der „Immersion“ 5. 2 • Tactical immersion is experienced when performing tactile operations that involve skill. Players feel "in the zone" while perfecting actions that result in success. • Strategic immersion is more cerebral, and is associated with mental challenge. Chess players experience strategic immersion when choosing a correct solution among a broad array of possibilities. • Narrative immersion occurs when players become invested in a story, and is similar to what is experienced while reading a book or watching a movie. • Spatial immersion occurs when a player feels the simulated world is perceptually convincing. The player feels that he or she is really "there" and that a simulated world looks and feels "real". • Psychological immersion occurs when a player confuses the game with real life. • Sensory immersion The experience of entering into the threedimensional environment, and being intellectually stimulated by it. Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 25

5. 2 Bestandteile von VR • 3 D Präsentations- und Interaktionstechnik • Benutzer innerhalb eines dargestellten Szenarios (z. T. als Avatar repräsentiert oder First Person View) • Visualisierung und Animation (insbesondere von Bewegung und Veränderungen ) in Echtzeit • Manipulierbarkeit (mittels Gesten und Körperbewegung) • Räumliches Sehen, Hören und Fühlen muss ermöglicht werden • Koordination von Seh-, Hör-, Tast- und Krafteindrücken oder Vibrationsempfinden • Rechnerleistung: – Festlegung von Modellen der zeigbaren Realitätsausschnitte – Aufbereitung der Modelle für die Interaktion – Simulation von Abläufen Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 26

Interaktive Aktionen in Virtuellen Räumen • • • 5. 2 Navigieren – Positionsveränderung des Betrachters Filtern Kollisionserkennung und -vermeidung, vs. -ermöglichung Markieren, Selektieren, Greifen von Objekten, Gruppieren Positionsveränderung der Objekte Veränderung von Eigenschaften Definition oder Modifikation von Freiformflächen Entfernen von Objekten Umordnen Shneiderman, 267 f Vor- und Zurück in der Zeit Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 27

5. 2 VR Interaktionssteuerung 3 D Kollisionserkennung Animation Beleuchtung / Schatten Tracking Gestenerkennung Navigation Simulation Object Handler (Objekt-Hierarchie, Vordergrund Hintergrund, verdeckte Objekte) Kraft, Strom, Steuerung Taktiler Renderer Visueller Renderer Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 Akkustisches Rendering 28

Parameter bei der Erzeugung von Audio. Signalen 5. 2 • Medium der Schallübertragung • Empfänger (Typ, Position, Bewegung, Empfangscharakteristik) • Schallquelle (Typ, Position, Bewegung, Empfangscharakteristik) • Akustische Attribute geometrischer Objekte (Eigengeräusch, Absorption von Schall, Reflektion von Schall) Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 29

Interaktion mit Virtuellen Räumen durch Körperbewegung 5. 2 Direkte Manipulation bei der Navigation in bzw. dem Inspizieren von Räumen Eingabeaktionen sind: – – – Änderung der Blickrichtung, Drehen des Kopfes, Drehen des Körpers Gehen Variierung der Gehgeschwindigkeit Bruch der Metapher: Etwas kann durch Gestik hergeholt werden Shneiderman, S. 267 f Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 30

Interaktion mit Gesten - Differenzierung • • • Statisch vs. Dynamisch Vorgegebene vs. Antrainierte Relevanz räumlicher Orientierung Relevanz von Übergangsbewegungen Einhand vs. Zweihandgesten • • Navigation Picking Grouping Querying (Information abrufen) • • • 5. 2 Zooming Grabbing Rotating Moving Release Exit Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 31

Vor- und Nachteile von Gesten 5. 2 + Gewohnheit kann beibehalten werden + 3 D- Bezugsmöglichkeit + Schnelligkeit - ggf. Trainingsaufwand („Auswendiglernen“ von Gesten) - ggf. Zwang zu unnatürlichen Gesten - Beschränkung auf die Hand Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 32

5. 2 Virtuelle Menschen zum Testen von Aufgabenbearbeitung Der Akteur wird programmiert, um unter Einsatz gespeicherten Wissens Aufgaben zu bearbeiten und dabei auftretende Fehler zu melden: • • • Fehlende Reichweite Mangelende Kraft, Sichtbarkeit Probleme mit bewegten Objekten Mögliche Verletzungen Hitze Strom Säuren Badler et al. , S. 57 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 33

5. 2 Probleme mit VR • Zu teuer Körperliche Beschwerden: • Unruhe • Übelkeit • Übermüdung der Augen • Orientierungsstörungen • Simulator Sickness englisch/lateinisch etwa "Übelkeit durch (Vor)täuschung") bezeichnet ein Gefühl der Übelkeit, das durch eine Täuschung oder Irritation der Sinnesorgane zustande kommt. Whitton, S. 44 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 34

3 D-Widgets für den Umgang mit 3 D-Objekten • 6 Handles für Rotation • 6 für Translation • 6 für Skalierung Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 5. 3 Preim, S. 441 35

Griffe für die Skalierung 5. 3 Preim, S. 442 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 36

Schatten zur Unterstützung der Positionierung 5. 3 Preim, S. 443 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 37

Positionierung einer Kameraperspektive 5. 3 Durch die Punktmarkierungen kann angegeben werden, welche Punkt gut zusehen sein sollen. Entsprechend wird die Kameraperspektive justiert. Ggf. ist eine Koppelung mit Beleuchtungspunkten möglich. Preim, S. 443 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 38

Geometrisches Manipulieren 5. 3 Instrumente zur Deformation Preim, S. 449 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 39

Geometrisches Manipulieren 5. 3 Preim, S. 449 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 40

Fingerfertigkeitstest 5. 3 Poston & Serra, S. 41 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 41

Schnitte durchs Herz 5. 3 „Our intended users are not motivated to learn complex command sets. . . “ „In abstract a mouse cursor seems far better than a finger, pointing more precisely at a point in the monitor screen. In practice, every screen has fingermarks. “ Poston & Serra, S. 42 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 42

Augmented Reality 5. 4 Realität wird nicht elektronisch simuliert, sondern ergänzt (i. S. v erweitert) Umgebung kann elektronisch Vorgänge in ihr registrieren: • Infrarot • Sound • Optische Veränderung • Bewegung Lagesensor, GPS • Transponder. . . und reagieren: • Displays oder Projektionen aktualisieren • Motoren aktivieren • Daten abspeichern • Aktoren steuern Shneiderman, S. 267 ff • Steuerungswerte verändern Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 43

Augmented Reality – Beispiel Umgang mit Objekten 5. 4 Minidisplay oder Googles gibt Information aus, in Abhängigkeit von: • Räumlicher Nähe von physikalischen Objekten • Von translierenden oder rotierenden Bewegungen des Benutzers • Objekte im Fadenkreuz können selektiert und annotiert und ggf. identifiziert werden: – – – Informationen zu den Objekten können ergänzt werden Detailinformationen können abgerufen werden Die Begegnung kann registriert werden Nachrichten können hinterlassen werden Sie können gesteuert werden. . . Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 44

Augmented Reality – Beispiele Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 5. 4 45

Augmented Reality – Head Up Displays Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 5. 4 46

Augmented Reality – Overlays Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 5. 4 47

Augmented Reality – AR Tags Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 5. 4 48

Augmented Reality – Infantry Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 5. 4 49

Augmented Reality – Infantry Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 5. 4 50

Augmented Reality – Infantry Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 5. 4 51

Augmentet Reality Medizin und Unterhaltung Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 5. 4 52

Collaborative Augmented Reality Interface Eigenschaften 5. 4 Virtualität: Objekte, die nicht in Realität existieren, können gesehen und inspiziert werden Augmentation: Reale Objekte können mit virtuellen Anmerkungen ergänzt werden; virtuelle Bilder, Eigenschaften können mit realen, manipulierbaren Objekten verbunden werden Kooperation: Verschiedene Nutzer können sich gegenseitig sehen und in natürlicher Weise kooperieren Independence: Einzelne Nutzer steuern unabhängig ihre eigenen Blickwinkel/ Sichtfelder Individuality: Daten werden je nach individueller Perspektive Billinghurst & Kato, S. 67 unterschiedlich dargestellt. Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 53

Collaborative Augmented Reality interface 5. 4 Billinghurst & Kato, S. 66 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 54

Collaborative Augmented Reality im Vergleich 5. 4 1. Face-to-face mit realen Objekten 2. Co-located AR-Kooperation mit virtuellen Objekten, die an reale, handhabbare gekoppelt sind 3. Co-located Kooperation am Projektionsschirm mit virtuellen Objekten Unter der zweiten Bedingung verhielten sich Nutzer eher, wie bei der Face-to-Face Kooperation (bzgl. Speech und Gestik) Billinghurst & Kato, S. 68 Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 55

5 Literatur • Badler, Norman I. ; Erignac, Charles A. ; Liu, Ying (2002): Virtual Humans for validating Maintenance Procedures. In: Communications of the ACM, Vol. 46, No 7. S. 56 -63. • Billinghurst, Mark; Kato, Hirokazu (2003): Collaborative Augmented Reality. Communications of the ACM, Vol. 45, No. 7. S. 64 -70. • Deering, Michael F. (1996): The Holosketch - VR Sketching System. In: Communications of the ACM, Vol. 39, No. 5. • Oviatt, Sharon (2002): Multimodal Interfaces. In: Jacko, Julie A. ; Sears, Andrew (Eds. ) (2002): The Human-Computer Interaction Handbook. Mahwah, New Jersey: LEA. S. 286 -304. • Poston, Timothy; Serra, Luis (2003): Dextrous Virtual Work. In: Communications of the ACM, Vol. 39, No. 5. S. 37 -45. • Preim, Bernhard (1999): Entwicklung interaktiver Systeme. Heidelberg, Springer. • Shneiderman, Ben (2002): User Interface Design- deutsche Ausgabe. MITP. • Whitton, Mary C. (2003): Making Virtual Environments Compelling. In: Communications of the ACM, Vol. 46, No 7. S. 40 -46. Vorlesung Hard- und Software-Ergonomie, WS 2011/2012 56