Historie uml inteligence Dana Nejedlov Katedra informatiky Ekonomick

Historie umělé inteligence Dana Nejedlová Katedra informatiky Ekonomická fakulta Technická univerzita v Liberci 1

Co je to inteligence? • Běžná definice umělé inteligence: – UI je obor, který se snaží konstruovat inteligentní stroje a chápat inteligentní entity. • Ale co je to inteligence? – Učení se, operování s fakty, ale také kreativita, vědomí, emoce a intuice. • Mohou být stroje inteligentní? – Dodnes není jisté, zda je možné sestrojit stroj se všemi aspekty inteligence. 2 – Tento výzkum je v oboru UI ústřední.

Co je umělá inteligence? • Stavba strojů manipulujících se symboly, provádějící rozpoznávání, učení a další formy inference • Řešení problémů, ve kterých je nutné použít heuristické prohledávání namísto analytického přístupu • Využívání nepřesných, neúplných nebo špatně definovaných informací – Nalézání formalismů pro reprezentaci informací, které by to kompenzovaly • Určování významných kvalitativních znaků situace a operování s nimi • Práce se syntaxí a sémantikou • Nalézání odpovědí, které nejsou ani přesné ani optimální ale v určitém smyslu „dostatečné“ • Využívání velkého množství znalostí z omezené domény • Využívání metaznalostí (znalostí o znalostech) pro 3 zlepšení řízení strategií řešení problémů

Před vznikem elektronických počítačů • Starověké a středověké mýty – Talos, Pandora, Golem • umělí lidé, roboti, automaty – Kniha „Gods and Robots“ (2018) • Dnešní AI přestává být srozumitelná stejně, jako není známo, jak fungovali starověcí roboti. • Výzkum od starověku do 17. stolení n. l. – Aristoteles, Ramon Llull, Gottfried Wilhelm Leibniz • automatizace racionálního uvažování – Thomas Hobbes, René Descartes • mechanistické pojetí živých bytostí • 20. století, 1948 – Norbert Wiener – Cybernetics: Or the Control and Communication in the Animal and the Machine • Inteligentní chování je výsledkem zpětné vazby. 4

Počátky elektronických počítačů • John Louis von Neumann (1903 – 1957) – Von Neumannova architektura počítače • konzultace na projektu EDVAC (1945) – Teorie her (1944) • Je aplikovatelná na interagující inteligentní agenty. – Celulární automaty (1966) • Mají výpočetní kapacitu. • Alan Mathison Turing (1912 – 1954) – Turingův stroj (1936) • formalizace algoritmu, abstrakce počítače – Turingův test (1950) • návrh, jak testovat schopnost stroje demonstrovat myšlení – Programování počítače „Manchester Mark I“ (1949) 5

Vznik pojmu „umělá inteligence“ • John Mc. Carthy poprvé použil termín „Artificial Intelligence“ jako téma Dartmouthské konference v roce 1956. – Místo konání: • Dartmouth College, Hanover, stát New Hamphshire, USA – Organizátoři: • John Mc. Carthy, Marvin Minsky, Nathaniel Rochester a Claude Shannon – Účastníci: • Ray Solomonoff, Oliver Selfridge, Trenchard More, Arthur Samuel, Herbert Simon a Allen Newell – Cíl: • Dokázat, že každý aspekt učení nebo jakýkoliv jiný znak lidské inteligence se dá v principu precizně popsat a potom simulovat na stroji. 6

Přístupy k umělé inteligenci • Good Old-fashioned Artificial Intelligence (GOFAI) neboli symbolická umělá inteligence (John Haugeland, 1985) – Program (například klasifikátor) ve stylu GOFAI je složen z částí (například pravidel), které mají jasný vztah k reálnému světu. • New-fangled Artificial Intelligence – Nejdůležitější větví byl konekcionismus (connectionism) – umělé neuronové sítě (Mc. Culloch – Pitts, 1943). • Ústřední myšlenka je, že velké množství jednotek s výpočetní schopností může dosáhnout inteligentního chování, když bude tvořit síť. – Genetické algoritmy (Holland, 1975) a další druhy biologicky inspirovaného zpracování informace • Strong AI (John Searle, 1980) – Umělá inteligence je skutečná inteligence. – Řešení komplexních úkolů, například robotika. • Weak AI – Umělá inteligence je pouhou imitací lidské skutečné inteligence. – Řešení specifických problémů nepokrývajících celou škálu 7 lidských schopností, například rozpoznání písma nebo šachy.

Motivace pro biologicky inspirované zpracování informace • Danny Hillis: The Connection Machine (1985) – Stroje programované pomocí GOFAI jsou tím pomalejší, čím více je v nich znalostí. • Prohledávají bázi znalostí. – U lidí je tomu naopak. • Mají masivně paralelní architekturu mozku. – Lidé nejsou výsledkem inženýrského projektu. • Jsou výsledkem evoluce. • Marvin Minsky: The Society of Mind (1986) – Model lidské inteligence vystavěné z interakcí jednoduchých částí zvaných agenty(i? ), kteří nemají vědomí. • Je obtížné si představit, jak by evoluce zformovala tak složitý systém, jako je lidská mysl, jako jeden celek. • Evoluce ale mohla vytvořit jednotlivé specializované kognitivní jednotky a formovat mechanismy jejich interakcí. • Marvin Minsky: The Emotion Machine (2006) – Emoce jsou jen jiným způsobem přemýšlení, který naše mysl používá pro zvýšení naší inteligence. 8

Filozofie umělé inteligence • Co je to inteligence a myšlení? – Turingův test (1950) – Podle GOFAI je myšlení manipulací se symboly, a proto program ve stylu GOFAI myslí. – Problém čínského pokoje (John Searle, 1980) • Myšlení lidí a počítačů je naprosto odlišné. • Je lidská inteligence neoddělitelná od vědomí a emocí? • Co znamená tvrzení, že počítač rozumí přirozenému jazyku? • Kdo je zodpovědný za rozhodnutí učiněná UI? • Jaká má být etika chování se lidí k výtvorům s umělou inteligencí? 9

Hard versus Soft computing • Good Old-fashioned Artificial Intelligence – Pravidla (IF – THEN rules) – Heuristika • New-fangled Artificial Intelligence – Neuronové sítě – Fuzzy logic (mlhavá logika) – Probabilistic reasoning • • belief networks (Bayes networks) genetic algorithms chaos theory parts of learning theory (machine learning) 10

Heuristika • Metoda řešení problémů, která je obvykle úspěšná, ale v některých situacích může selhat • Nejasně definované problémy s chybějícími nebo nejednoznačnými daty – Medicínská diagnostika – Vidění, rozpoznání řeči • Pomáhá rozhodnout se mezi nekonečným množstvím možných interpretací. • Problém může mít přesné řešení, ale cena jeho výpočtu může být prohibitivní. – Šachy, tic-tac-toe, 15 or 8 -puzzle, rozvrhy, hledání cesty… – Heuristická funkce • Oceňuje každé stádium řešení. – Počet konfliktů v množství možných rozvrhů • Pomáhá rozhodnout se o dalším kroku vedoucímu k řešení. – Vývěr rozvrhu s nejmenším počtem konfliktů, který bude dále upravován tak, aby došlo k nalezení vyhovujícího rozvrhu 11

Očekávání od umělé inteligence • Předpovědi Herberta Simona a Allena Newella (Heuristic Problem Solving, 1958), že do 10 let – se počítač stane světovým šachovým šampiónem, – počítač objeví důležitý nový matematický teorém, – počítače budou komponovat hudbu přijímanou dobře kritikou, – většina teorií v psychologii bude ve formě počítačových programů. • Andrew Ng (čínsko-americký počítačový vědec zabývající se vylepšováním lidských životů pomocí UI) – Pokud typický člověk dokáže vykonat mentální úlohu za méně než sekundu přemýšlení, dokážeme ji pravděpodobně automatizovat metodami UI buďto již nyní nebo v blízké budoucnosti. • https: //hbr. org/2016/11/what-artificial-intelligence-can-andcant-do-right-now 12

Typická úloha řešená v UI • Problém 8 královen • Existuje způsob, jak rozmístit 8 královen na šachovnici tak, aby se žádné dvě z nich nemohly vzájemně napadnout? 13

Těžký problém pro UI • Problém neúplné šachovnice • Existuje způsob, jak umístit kostky domina na šachovnici tak, aby byla zakrytá všechna pole šachovnice a kostky domina se nepřekrývaly? • Lidé úlohu řeší snadno, ale je pro ně obtížné úlohu popsat formálně. 14

Omezení umělé inteligence • David Hilbert (1862 – 1943) a Kurt Gödel (1906 – 1978) – Gödelův teorém neúplnosti (1931) • Bezespornost formálního systému nelze uvnitř tohoto systému dokázat, protože v něm mohou být tvrzení s autoreferencí – logické paradoxy typu paradoxu lháře: – Toto tvrzení je nepravdivé. – Některé úlohy nelze algoritmizovat. • Problém zastavení algoritmu – Nelze rozhodnout, zda se algoritmus v konečném čase zastaví. – Týká se to opět algoritmů odkazujících se samy na sebe. • Teorie složitosti (NP-completeness, 1971) – Některé problémy lze algoritmizovat, ale výpočet nelze prakticky (na počítači) dokončit, protože bychom se nedočkali. • Roger Penrose (knihy The Emperor‘s New Mind, Shadows of the Mind) – Nemusí být možné dokonale simulovat biologickou inteligenci pomocí počítačů, protože možná pracuje s využitím jevů (patrně kvantových), které neznáme a neumíme napodobit. 15

Hrozby umělé inteligence • Technologická singularita – Hypotéza, že vyvinutí umělé superinteligence zrychlí technologický pokrok, což bude mít nepředvídatelný vliv na lidskou společnost • Existenční rizika vývoje umělé inteligence – Kniha „Superinteligence“ Nicka Bostroma – Cíle UI by měly být pečlivě zvoleny, aby UI nezničila lidstvo při jejich plnění. – Bostrom definuje superinteligenci jako uměle vytvořený intelekt převyšující lidský intelekt ve všech aspektech včetně kreativity, obecné moudrosti a sociálních dovedností. • https: //alldus. com/blog/articles/ai-quotes-from-some-of-the-worldstop-minds/ • http: //www. chinadaily. com. cn/bizchina/tech/201707/28/content_30278816. htm – Lidé vnímající UI jako hrozbu • Elon Musk, Stephen Hawking – Lidé s převažujícím názorem, že UI lidstvu pomůže • Mark Zuckenberg, Andrew Ng • Neuronové sítě mohou nesprávně klasifikovat speciálně upravený vstup (obrázky, text, audio). – Adversarial attacks 16 • Lidé mohou být uvedeni v omyl audiem nebo videem typu deepfake.

Gödelův teorém neúplnosti • V každém axiomatickém matematickém systému schopném definovat množinu přirozených čísel jsou věty nedokazatelné pomocí axiomů tohoto systému. • Příklad teorému 1 = 2 • Důkaz teorému: • Když a = b, a ≠ 0, b ≠ 0, • potom platí také dvě následující rovnosti: a 2 – b 2 = (a – b) ∙ (a + b), a 2 – b 2 = a 2 – ab. • A z těchto rovností lze odvodit následující tvrzení: a 2 – ab = (a – b) ∙ (a + b) a ∙ (a – b) = (a – b) ∙ (a + b) a=a+b a=a+a a = 2 a 1=2 • Pravdivost se dá ověřit jen pomocí znalostí přesahujících aritmetiku operující s přirozenými konečnými čísly. 17

The Logic Theorist – první program s umělou inteligencí • Allen Newell, J. C. Shaw a Herbert Simon v Carnegie Institute of Technology, nyní Carnegie Mellon University, v roce 1955 • Hledal logické důkazy z knihy Principia Mathematica (Bertrand Russell a Alfred North Whitehead, 1910). • Využíval mentální postupy lidských expertů. – kognitivní věda • Pro implementaci programu Logic Theorist na počítači, tito tři badatelé vyvinuli programovací jazyk IPL, předchůdce jazyka Lisp. 18

Programovací jazyky • Úkoly jako zpracování přirozeného jazyka, reprezentace znalostí nebo dokazování teorémů vyžadovaly speciální jazyk pro zpracování symbolických dat. • Lisp (John Mc. Carthy, USA, 1958) – funkcionální paradigma / zpracování seznamů • Program se skládá z funkcí s vnořenými funkcemi. • Data a programy jsou reprezentovány stejně: seznamem. – (+ 1 2 3) je jednak seznam 4 atomů a zároveň funkce s hodnotou 6. • Program může sloužit jako data pro jiný program! – Mocná vlastnost dovolující flexibilní a produktivní psaní programů. • Prolog (Alain Colmerauer, Evropa, 1972) – deklarativní paradigma / logické programování • Program se skládá z faktů a pravidel. – Programátor popíše (deklaruje) problém. • Překladač z nich vydedukuje nová fakta. – Programátor nepíše algoritmus pro řešení. • Diferencovatelné programování – nové paradigma umožňující programům pro strojové učení měnit svou strukturu podle dat pomocí nových překladačů 19 – odkazy: sciencewal, skymind, medium, towardsdatascience

Programy se symbolickou umělou inteligencí • The General Problem Solver (1957) – Řešil formalizované symbolické problémy, například matematické důkazy a šachy. • The Geometry Theorem Prover (1958) – Dokazoval teorémy pomocí explicitně reprezentovaných axiomů. • SAINT (Symbolic Automatic INTegrator) – Integrální počet (1961) • ANALOGY (1963) – Obrázek A má vztah k obrázku B jako obrázek C k obrázku D. • IQ testy se užívají k měření inteligence lidí. • Počítače lze naprogramovat tak, aby v IQ testech excelovaly. 20 • Ale ty samé programy by byly v reálných situacích hloupé.

Zpracování přirozeného jazyka • STUDENT (1964, 1967) – Řešil slovní úlohy z algebry. • SIR (Semantic Information Retrieval, 1968) – Četl jednoduché věty a odpovídal na otázky. • ELIZA (1965) – Simulovala psychoterapeuta. • TLC (Teachable Language Comprehender) (1969) – Četl text a vytvářel z něj sémantickou síť. • SUR (Speech Understanding Research) (1971) – 5 -ti letý plán agentury ARPA (dnes DARPA) na výzkum rozpoznání spojité mluvené řeči 21

Expertní systémy • Patří do symbolické umělé inteligence. • Používají množinu pravidel a heuristiku. • MACSYMA (MIT, 1968 -1982) – Prováděl symbolické matematické výpočty. • DENDRAL (SRI, 1965) – Identifikuje chemikálie. • MYCIN (SRI, Edward Shortliffe, 1974) – Diagnostikoval infekční nemoci z krve. – Pokračovatelé: EMYCIN, PUFF, INTERNIST CADUCEUS 22

Komerční expertní systémy • PROSPECTOR (SRI, 1974 – 1983) – Analyzuje geologická data. Hledá ložiska. • XCON – e. Xpert CONfigurer (CMU, 1978) – Konfiguroval počítače řady VAX firmy DEC. • TEIRESIAS (SRI, Randall Davis, 1976) – Knowledge Acquisition System (KAS) – Získává znalosti od lidských expertů. – Vytváří znalostí báze pro expertní systémy. 23

Robotika • • • Marvin Lee Minsky (* 1927) Freddy (University of Edinburgh, 1973) SHAKEY (SRI, 1969) SHRDLU (MIT, Terry Winograd, 1970) blocks worlds (MIT, 1970) – Robot má manipulovat se stavebními kostkami podle instrukcí. • počítačové vidění • porozumění přirozenému jazyku • plánování 24

První umělé neuronové sítě • Warren Mc. Culloch a Walter Pitts – Model umělého neuronu (1943) – Neuron reprezentuje funkce. • Donald Olding Hebb – Pravidlo pro učení neuronové sítě (1949) • Marvin Minsky a Dean Edmonds postavili první počítač s neuronovou sítí. – SNARC (1951) 25

Další umělé neuronové sítě • Frank Rosenblatt – Perceptron (1957) • jednovrstvá síť a její pravidlo učení umožňující jí naučit se lineárně separabilní funkce • Bernard Widrow a Marcian Ted Hoff – minimalizace čtverce chyby sítě – Delta rule (pravidlo učení neuronové sítě) – ADAptive LINEar Systems or neurons or ADALINEs (1960) – MADALINEs (1962) • vícevrstvé verze ADALINEs 26

Kritika neuronových sítí • Kniha „Perceptrons“ (Marvin Minsky a Seymour Papert, 1969) – Když se jednovrstvé neuronové sítě typu Perceptron neumí naučit funkci XOR (ta je lineárně neseparabilní), tak se to nenaučí ani vícevrstvé sítě. – Financování výzkumu neuronových sítí tím bylo do počátku 80. let 20. století zastaveno. • Vícevrstvé neuronové sítě se funkci XOR ale naučit mohou. • Jen je třeba najít správný algoritmus pro 27 jejich učení.

Vzkříšení neuronových sítí • Hopfieldova síť (John Hopfield, 1982) – Umí se naučit několik obrázků (vzorů). • Self-Organizing Map (SOM) (Teuvo Kohonen, 1982) – Umí se učit bez dozoru. (unsupervised learning) • Backpropagation (Arthur Bryson a Yu-Chi Ho, 1969) – algoritmus učení vícevrstvé neuronové sítě – Vyžaduje, aby neurony sítě neměly ostrý práh. – Protože byl nepovšimnut, byl potom několikrát znovuobjeven v 70. a 80. letech 20. století a popularizován v roce 1986. • NETtalk (Terry Sejnowski a Charles Rosenberg, 1986) – Vícevrstvá neuronová síť, která se učila anglickou výslovnost a uměla zobecňovat. – Používala backpropagation. 28

Současnost neuronových sítí • Neuronové sítě s množstvím vrstev a neuronů používané od 80. let 20. století měly problémy s učením. • Od roku 2006 se daří nacházet způsoby trénování velkých neuronových sítí, které se umí učit v kvalitě srovnatelné s člověkem. • Hluboké učení (Deep Learning) – neuronové sítě s větším množstvím vrstev – Deep Belief Network • Její vrstvy je možné trénovat odděleně učením bez dohledu. – vícevrstvá neuronová síť učící se pomocí backpropagation • Její variantou je konvoluční neuronová síť pro rozpoznávání obrázků. • Hlavním cílem je dosažení schopnosti extrahovat znaky rozpoznávaného objektu na různých úrovních abstrakce. – Vstupem do první vrstvy sítě jsou pixely, – na dalších vrstvách jsou rozpoznány hrany, obrysy, části objektu, – na výstupní vrstvě je určen druh objektu. • Různé úrovně abstrakce jsou řešeny v různých vrstvách sítě. • Síť si přiděluje úrovně abstrakce svým vrstvám sama. – Ilustruje to přednáška průkopníka hlubokého učení Yoshua Bengio. • Předpoklady – existence velkého množství dat a trénovacích databází, například: • obrázky s popisem, co na nich je • texty a jejich překlady do různých jazyků – distribuované výpočty (např. cloud), větší výpočetní síla CPU, využití GPU • Kritika – Geoffrey Hinton řekl "Měli bychom to zahodit a začít znovu. " – Lidé nepotřebují tolik dat jako učení s dohledem. 29

Současné aplikace neuronových sítí • Zpracování přirozeného jazyka (například IBM Project Debater) • Generování realistických obrázků – Generative Adversarial Network – například algoritmy společností Google a Facebook • Komponování hudby s pomocí strojového učení – například neuronová síť Coconet natrénovaná na hudbě J. S. Bacha • Zpětnovazební učení (Deep Reinforcement Learning) – Řeší úlohy, ve kterých hráč interaguje s prostředím a snaží se maximalizovat odměnu. – Neuronová síť • má jako vstup stav hry a akci hráče a • jako výstup odměnu hráče po provedení akce. • se učí ze skutečně pozorovaných kombinací stavů, akcí a odměn. – Umožňuje učení bez lidského dohledu. • Programy hrají proti sobě. – Výsledný systém dokáže hrát videohry na úrovni lidí. • Lidé se mohou od něj učit. (například Dota 2: Open. AI. com, The Verge) – Omezení • Pravidla hry musí být beze zbytku formalizovatelná. – Facebook’s Chatbots začali komunikovat umělou řečí. (Wired. com, Independent) • Vyžaduje extrémní výpočetní výkon. – například stovky GPU a tisíce jader CPU pro hru Dota 2 (Open. AI. com) 30

Nejvýznamnější laboratoře • MIT (Massachusetts Institute of Technology) – 1959 - John Mc. Carthy a Marvin Minsky založili Artificial Intelligence Laboratory. • SRI (Stanford Research Institute) – 1963 - John Mc. Carthy založil AI Laboratory. • CMU (Carnegie Mellon University) – 1980 - Raj Reddy založil The Robotics Institute. • IBM – Watson (analýza textů pomocí komerčních cloudových aplikací) • Amazon – Amazon Machine Learning (analýza obchodních dat) • Google – Quantum AI Lab – aplikace kvantového počítače na umělou inteligenci a strojové učení – Deep. Mind – britská akvizice, kde byly vyvinuty algoritmy pro hraní hry Go a Atari video her • Facebook AI Research • Open. AI – nezisková výzkumná společnost založená Elonem Muskem 31

Současnost • • • Robotické hračky, vesmírné sondy Robotika ve strojírenství Domácí spotřebiče (pračky, vysavače) Data Mining, detekce podvodů, filtrování spamu Hledání informací na Internetu (webové agenty) Modelování interaktivních procesů (agenty) E-business – personalizace obchodů Inteligentní výukové systémy a SW rozhraní Role-playing games, šachové programy Rozpoznání řeči a obrazu Strojový překlad 32