Perceptionspsykologi T 2B 7 5 hp Leo Poom

Perceptionspsykologi T 2/B, 7, 5 hp Leo Poom Institutionen för Psykologi Uppsala Universitet leo. poom@psyk. uu. se 1

Läsanvisningar till PPT 2/FKB/PAB Perception VT 2011 Kursbok: Goldstein: Sensation and Perception, 8 th edition Följande kapitel ingår i kursen: Kap 1 -15 och Kap. 16 sid. 379 -391 Dessutom ingår lektionspresentationer som finns på studentportalen 1. Intro, föremålsperception, uppmärksamhet & färgperception (Poom) 2. Optiskt flöde, visuell proprioception, rörelse (Poom) 3. Djupseende, Haptisk & Taktil perception, smärta (Poom) 4. Perceptionens neurofysiologi (Hans Richter) 5. Perception i praktiken (Johan Waara) 6. Hörsel, ljudlokalisering, talperception, kemiska sinnen, psykofysik (Poom) Labbar, OBS obligatorisk närvaro på labbar. Labbassistenter: Program: Therese Ekberg, 018 -4715752, therese. ekberg@psyk. uu. se Sara Folke, 018 -4712111, sara. folke@psyk. uu. se Fristående kurs: Clara Schmitow, 018 -4712157, clara. schmitow@psyk. uu. se Claudia Elsner, 018 -4712157, claudia. elsner@psyk. uu. se

Intro, objekt, uppmärksamhet & färg

Perception: våra sinnen All our knowledge has its origins in our perceptions. –Leonardo da Vinci • Exteroception (Aristoteles 5 sinnen): Hur är världen? • Proprioception (6 e sinnet): Balans, kroppshållning, kinestesi (kroppsrörelse). Vad gör jag? • Tillkommer: temperatur, smärta. • Hos andra djur finns sinnen för elektriska fält, ultraljud, infrarött ljus, polariserat ljus, ekolokalisering etc. 4

Olika angreppssätt för att förstå perception Omvärld Neorofysiologiska mätningar: Brain imaging Event Related Potential (ERP) etc. . Neurofysiologi Stimuli Psykofysik TMS Upplevelser+ handlingar Hur skador på olika delar av hjärnan påverkar perception 5

Exempel på tillämpad perceptionsforskning • Hjälpmedel för människor med nedsatt perceptuell förmåga. • Special effects & virtual reality. Vilken info är viktig för att återskapa exempelvis 3 D bilder. • Människa maskininteraktion. Hur presentera info för piloter, förare, mobiltelefonanvändare etc. • Info och reklam. Hur presentera info så att den uppmärksammas och inte glöms. • Percepuell ergonomi. Utformningen av arbetsplatser, psykoakustik. • AI. Artificiell perception. Ex röstigenkänning, ansiktsigenkänning. 6

Våra 5 sinnen 7

Synen: Två system Mishkin M, Ungerleider LG. (1982); Goodale MA, Milner AD (1992). Action system • Where/how? • Dorsal stream. • Navigering, motorik & proprioception. • Hög grad omedveten, direkt. Perception system • What? • Ventral stream. • Objektigenkänning. • Hög grad medveten med kognitiva komponenter, top down. 8

Upplevelser: Sensation & perception • Sensation = förnimmelser, otolkade sinnesintryck som saknar mening. Stimulusdetektion. Förnimmelse av färg, ton, kittling etc. • Perception = meningsfyllda tolkade sinnesintryck (känna igen en vän, läsa en text, höra musik, smaka en god öl). Perceptionen är påverkad av kontexten i form av tidigare upplevelser och omgivning. 9

Processer: ”Bottom up” & ”top down” • Bottom up processer bygger på analys av stimulus utan att lägga till någon ytterligare information från ex. tidigare erfarenheter. Data driven. • Top down processer integrerar information utifrån med förväntningar och tidigare upplevelser etc. Gör att vi kan ‘veta’ mer eller se mer än den info som finns tillgänlig i stimulus. 10

Exempel på hur top-down processer påverkar perception: Rat Man (Bugelski and Alampay , 1961). Subjects saw this picture after viewing earlier slides that showed line drawings of (1) animals, or (2) faces. Depending on whether they saw animals or faces in previous slides, subjects reported seeing either (1) a rat or (2) a man wearing glasses. They had been "set" for one or the other interpretation by the preceding slides. This is a form of top-down processing, in which a schema influences interpretation of the data.

Finns massa olika infokällor till form: Ljus (i form av reflektans, skuggning, spegling), färg, textur, stereoseende, rörelse, etc. Ändå svårt att förklara vår förmåga att se, känna igen & kategorisera objekt… 12

Att fundera på… • Det bästa robotögat kommer inte i närheten av vår förmåga ex känna igen objekt, vilket vi tycker är trivialt. Navigering och motorik funkar bättre för robotar. • De flesta tycker det är svårare att ex spela schack, vilket en bra schackdator gör bättre än de flesta av oss. • Perceptionen går ”bortom” den sensoriska retningen (näthinnebilden med färg och ljusfördelning). Detta är väldigt svårt att få in i en maskin. Cog, MIT Artificial Intelligence Laboratory, Humanoid Robotics Group 13

Exempel på hur perception går bortom bilden på näthinnan Top down processer bidrar: Perception är mer än sensorisk retning 14

Ett till exempel… De flesta ser tre överlappande kvadrater, inte de tre figurerna som pilarna visar. Inlärt eller medfödd preferens att se kvadrater? (osannolikt att dessa figurer skulle råka hamna på detta sätt!) 15

Problem: Inverse optics Exempel på mångtydighet: • Då bara informationen i bilden beaktas utan någon info om omvärlden finns många olika tolkningar. • Vi ser sällan fel. • Info om omvärden (regelbundenheter, tumregler, vad som är sannolikt resp osannolikt) finns ”inbyggda” i synsinnet. 16

Konstansfenomen exemplifierar lösningar på inverse optics problemet. • Ljuskonstans. Ytors ljushet förefaller vara desamma även om belysningens styrka förändras. • Färgkonstans. Ytors färger förefaller vara desamma även om belysningens våglängder (färginnehåll) förändras. • Storlekskonstans. På olika avstånd ser objekten ut att ha samma storlek trots att storleken på näthinnan varierar. Upplevd storlek = storlek på näthinnan · upplevt avstånd (Emmerts lag) • Formkonstans (view point invariance). Vi ser samma objekt oavsett betraktelseposition Konstanser till att omvärlden förblir stabil trots ändrade perspektiv, ljuskällor och betraktelseavstånd. Kontext + top down processer spelar stor roll. 17

Ljuskonstans (1) • Det ljus som når ögat (”luminance”) är bestämt av ljuskällan (”illumination”) och ytan som ljuset reflekterats mot (”reflektance”). • Synsinnet måste från luminansen bestämma ytans reflektans (som beror på pigmenteringen) och ytans illuminans (som beror på ytans lutning relativt betraktare och ljuskällans position). • Detta problem går inte att lösa utan ytterligare info i form av ex kontext. • För den intresserade, kolla på: http: //web. mit. edu/persci/gaz/ L(x, y) = R(x, y)I(x, y) Man måste veta R för att bestämma I 18

Ljuskonstans (2) Samma luminans från A och B. Är detta en illusion eller en smart tolkning? Synsinnet ”vet” att B befinner sig i skugga och därför måste vara ljusare än A (ratio principle). 19

Ratio principle

Färgkonstans innebär att vi tenderar se objektens verkliga pigmentering oberoende av ljuskällan -En blå yta i gult ljus och gul yta i blått ljus här reflekterar samma gråa ton. Andra exempel finns på: http: //www. echalk. co. uk/amusements/Optical. Illusions/illusions. aspx

Storlekskonstans (1) • Synvinkelgraden som ett objekt upptar i det visuella fältet (storlek på näthinnan) beror på objektets storlek och dess avstånd. • Upplevd storlek = storlek på näthinnan · upplevt avstånd (Emmerts lag) • Man måste alltså veta avståndet för att bestämma storleken och tvärtom. 22

Storlekskonstans (2) Uppmätt med linjal är gubbarna lika stora. . Är detta en illusion eller en smart tolkning? 23

Storlekskonstans (3) ”Ames room” 24

Formkonstans shape constancy or view point invariance Vi upplever oftast att objekt har samma form oavsett perspektiv 25

Perception av form/objekt/struktur Några olika angreppssätt: - Gestalt approach -Recognition by components (Biederman) -Perceptuell intelligens, Synsinnet som smart statistiker. Omedveten kunskap om världens beskaffenhet 26

”Gestalt approach” -Vi har en stark tendens att integrera delar till en helhet. ”helheten är mer än summan av delarna” (en reaktion mot strukuralismen). -Kan specificeras i ett antal tumregler (heuristics) formade av evolution eller inlärning som reflekterar världens beskaffenhet (proximity, similarity, good continuation, common motion, etc) -Beskriver hur vi ser saker snarare än ger en förklaring 27

Gestaltlagar speglar statistiska samband i omvärden Exempel: Similarity Proximity Common motion Good continuation 28

Common motion Gunnar Johansson 1911 -1998 Film

Recognition by components (Biederman) Bygger på observationen att några få komponenter (Geons: sfär, cylinder, kon, kub etc) kan bygga upp miljontals objekt Geoner är 3 -dimensionella (upptar volym) och har 3 egenskaper: -View point invariance: Dom kan lätt kännas igen från olika perspektiv. -De kan lätt kännas igen även om de är delvis synliga. -Man ser lätt skillnad på olika geoner oavsett perspektiv (undantaget är ‘accidental view points’ ex cylindern som från ändpunkten ser ut som en sfär). 30

View point invariance: Objekt uppbyggt av flera geoner: Ganska enkelt ser man att detta är samma objekt sett från olika perspektiv Delvis synliga: För att känna igen ett objekt måste geonerna ändå kunna identifieras

Perceptuell intelligens: Unconscious inference (Helmholz), numera Bayesian inference där synsinnet ses som en smart statistiker Osannolik betraktelseposition av en kub (accidental view point) Sannolika betraktelsepositioner av en kub Var ser du en kub? Slutsats: Osannolika (ostabila) betraktelsepositioner är Svårtolkade. 32

Synsinnet som smart statistiker Ex. vi har en (inlärd? ) tendens att tolka skuggor som att ljuset kommer ovanifrån vilket ju oftast är sant. 33

Synsinnet som smart statistiker (Bayesian inference) Bayesianska perceptions och kognitionsmodeller allt mer populära Hypotes, H = det är en kub Data, D = proximalstimuli P(H│D) = sannolikhet för H givet D P(H│D) = P(D│H) · P(H) / P(D) P(H│D) = P(D│H) · P(H) P(D) = hur vanligt är detta proximalstimulus i relation till alla andra möjliga stimuli. Man brukar skippa denna kalibrering. Finns många kuber här P(H) är hög P(D│H) är hög P(H) = prior probability (sannolikheten att detta är en kub: är kuber vanliga? är det sannolikt att en kub dyker upp just här och nu? ) P(D│H )= likelihood (om det nu är en kub, hur sannolik är data? ) Ont om kuber P(H) är liten P(D│H) är liten Låg sannolikhet att detta är en kub P(D│H) är liten Stor sannolikhet att detta är en kub

Objektigenkänning • Att se ett föremål och att känna igen föremålet är inte samma sak. • Objektigenkänning involverar processer i temporalkortex (IT). • Skador i IT leder till objektagnosi: svårt att känna igen och identifiera olika föremål trots att diskriminationsförmågan är intakt. • Skador i fusiform face area, FFA, leder till prosopagnosi: svårt att känna igen ansikten. 35

Objektigenkänning Upplevelse Objekt ”Mentala representationer” Jämförelse Igenkänning, FYR! 36

Hur går det till när vi känner igen el. kategoriserar objekt? Exemplar eller prototyper?

Attention ! Riktad uppmärksamhet

Fokusering & filtrering: Reducera info-bördan, en sak i taget (ex cocktailparty effekten) Vad riktar uppmärksmheten? Bottom up driven, externt, automatiskt. Förstärkning av responser till nya stim eller biologiskt instinktivt relevanta, el framträdande stimuli. Top down driven, internt, excecutive attention, beroende på individens mål och önskningar, frontalkortex Inattentional blindness och change blindness – distinkta händelser inom synfältet märks oftast inte om uppmärksamheten är riktad åt annat håll -Attention ökar aktivitet i frontalkortex. -Aktivitet i visuella kortex och LGN moduleras av feedback signaler (top-down). Relevant neural aktivitet ökar i respektive sensoriska areor. -Attention synkroniserar neural aktivitet (Fries et al. 2001, Science). -Attention binder ihop features.

Kevin O’Regan, tidigt 90 tal: -Behövs en intern representation av omgivningen? -För komplex… Minneskapaciteten räcker inte… -Omgivningen ÄR minnet (externt minne). Uppmärksamheten dirigerar ögonen mot det vi vill minnas (se)! Rensink, 2000 -Attention is necessary to bind the different proto-objects into complete objects, as well as to bind object and location -Once attention leaves an object, the binding “dissolves. ” Not a problem, it can be formed again whenever needed, by shifting attention back to the object. -Only a rather sketchy “virtual representation” is kept in memory, and attention/eye movements are used to gather details as needed

Change blindness The change in the image (here, the movement of the background wall) is difficult to notice -observers will often look at but not see the changing object. This difficulty can remain even after observing the images for several seconds, showing that a detailed representation of the scene is not being stored in memory. However, once attention has "latched onto" the appropriate object, the change is easy to see. 41

Fördelning av tappar och stavar på näthinnan bidrar till viss del till filtrering (tappar) Dagseende, färg, bra detaljskärpa, okänslig för flimmer (Stavar) Mörkerseende, svartvitt, känslig för flimmer, dålig detaljskärpa 42

Bara en liten bit från blickpunkten är synskärpan usel! Det beror på fördelningen av tappar. Koncentrera blicken på ’y’et i mitten och undvik att röra blicken. Försök sen att läsa den femte bokstaven till höger om y’et. uenbcysciueav 43

Externt driven uppmärksamhet, bottom up Saliency (framträdande, utstickande). Ex basic features för synen (Anne Treisman) -Rörelse & kontraster -Plötsliga ljud, ditt namn Förändring är viktigt, signalerar att ngt viktigt kanske händer el håller på att hända

Attention & Feature integration theory (FIT) (Treisman & Gelade, 1980) • Bilder kan delas upp i enkla beståndsdelar (features) som exempelvis färg, kanter, kurvor och rörelse. Man kan säga att ”features” är synsinnets alfabet. • Features sticker ut (de är salienta) och ger upphov till ’pop out’, dvs de upptäcks snabbt. • Istället för att representera en 2 -dimensionell bild med antalet bildelement (pixlar) representeras bilden i synsinnet av betydligt färre features. • Enl FIT utgör attention ett ’klister’ varmed olika ”features” sätts ihop då vi ser objekt. Får stöd av fenomenet illusory conjunctions och Balints syndrome. 45

’Pop out’ (bottom up driven)

Att kunna rikta folks uppmärksamhet kan vara viktigt

Seriell sökning (top down driven) Att hitta det röda O-et tar lååång tid…

Seriell top-down driven sökning

Saliency map model för bottom up baserad attention Koch and Ullman, 1985 Wolfe, 1994

The saliency map summation model (Koch and Ullman, 1985) Poom (2009). Integration of color, motion, orientation, and spatial frequency in visual search

Single target 500 Double target RT (ms) 400 300 200 100 0 col-ori col-mot col-freq-mot ori-mot Attribute combination Poom (2009). freq-ori

Eye tracker Används för att se vart folk riktar sin blick och därmed sin uppmärksamhet

‘Tomma’ områden I en bild väcker inget intresse. Saliency map Salienta regioner drar uppmärksamheten till sej. Tittpreferens

Top down driven attention

Test av websidor och menyer med eyetracker: var tittar folk? Folk tittar längre på den vänstra menyn (1 min) men minns 34% mindre än de minns från den högra menyn. Vänster sida är mer tittad på än den högra i båda bilderna.

Hmm…

Prefrontal cortex (PFC) Frontal eye fields (FEF) Parietal cortex (the lateral intraparietal area (LIP) Pop-out condition: LIP found the target first, followed by the PFC and then the FEF (180 ms, 120 ms, and 50 ms before saccade, respectively). Search condition: Neurons began finding the target in the reverse order. The frontal cortex was first (the PFC and FEF about 55 ms before the saccade), followed by LIP.

Hur bör info presenteras?

Det visuella korttidsminnet Korttidsminnet är nära förknippat med attention Förutom det semantiska finns separata korttidsminnen för de olika sinnena Inom det visuella finns olika system för features, objekt, positioner

Stimuluspresentation i ett typiskt visuellt korttidsminnesexperiment 4 3 2 1 Blank 1 sek

Våra tidigare experimentbetingelser för att mäta kapacitet hos det visuella korttidsminnet (flera minnesobjekt – blank 1 s – 1 test objekt) Dist Col Aliens 1 & 2 sec Col Ovals

Korttidsminneskapacitet = 1! Capacity = (H – FA)N Olsson H, Poom L (2005). Visual memory needs categories. PNAS, Proceedings of the National Academy of Sciences of the USA, 102, 8776 -8780.

Färgseende Utvecklades färgseende hos oss för att lättare kunna upptäcka mat i skogen? Rött & grönt är opponentfärger. . .

En värld i tre dimensioner Hue (färgton, beror bla på ljusets våglängd) Saturation (mättnad, renhet) Lightness (Ljushet, reflektans) --------------Brightness (Ljusstyrka) Vi kan skilja mellan 200 färger (hues) & en miljon färgnyanser 68

Synen: Hur blir färgupplevelsen till (1)? Trichromat-teori (Young-Helmholtz) -Det finns tre typer av tappar (ljusreceptorer). Varje våglängd aktiverar dessa i olika proportioner (distribuerad kod). Förklarar varför man med blandningar av endast tre färger (röd, grön, blå) kan återskapa (nästan) alla färger vi kan uppleva. Finns även: • Dichromat • Monochromat • Tetrachromat ! 69

Synen: Hur blir färgupplevelsen till (2)? Opponent-process teori (Hering) -Opponentnervceller aktiveras av en färg (våglängd) och inhiberas av dess komplementfärg. Det finns blå/gult, röd/grönt och svart/vitt system. -Förklarar färgkontrasteffekter (after images, simultaneous contrast) och varför blandningar av opponentfärger blir grå, och varför vi snabbast helst och bäst kategoriserar röd, grön, gul, blå. • Trichromat och opponent-process teorierna motsäger inte varann. De beskriver processer som sker på olika nivåer som ger upphov till färgupplevelse. Ingen av dom förklarar färgkonstans ! 70

Subtraktiv färgblandning Additiv färgblandning Här blandas pigment. Här blandas strålning. Gul + Blå (cyan) = Grön Gul + Blå = Grå Blandade pigment reflekterar bara de våglängder som ingen av dem absorberar. Strålning tas bort. Komplementärfärger blandas till en gråskala. Strålning läggs till.