ELEMENTY TEORII INFORMACJI I STEROWANIA Warszawa 7 grudnia

ELEMENTY TEORII INFORMACJI I STEROWANIA Warszawa, 7 grudnia 2007

INFORMATYTKA • W świecie istnieją dwa główne obiegi: • Energii • Informacji • Dziedziną, która łączy ze sobą w sieć przyczynowo-skutkową elementy świata przyrodniczego, jest biocybernetyka. Nauka ta ukształtowała się w drugiej połowie XX wieku i zajmuje się badaniem procesów sterowania, regulacji i przetwarzania informacji w maszynach i żywych organizmach (Norbert Wiener, 1948)

Teoria informacji • Teoria informacji zajmuje się analizą procesów wytwarzania, przenoszenia, odbioru i przetwarzania informacji. Nie uwzględnia się zazwyczaj struktury obiektu ani postaci energii biorącej udział w procesach. • Przesyłanie informacji wymaga ustalenia zrozumiałego zarówno przez nadajnik, jak i odbiornik zasobu znaków (symboli), co do których są one zgodne (kodowanie). Mogą to być słowa, litery obrazy, kształty lub też dźwięki. • Przesyłanie informacji przebiega kanałem przesyłowym, którym może być powietrze, próżnia, przewód sieci informatycznej, instalacja pneumatyczna, hydrauliczna albo energetyczna oraz wiele innych mediów przenoszących informacje

Łącze informacyjne Zakłócenia Nadajnik Źródło (kodowanie) Informacja Sygnały Kanał Odbiornik Przeznaczenie (dekodowanie) informacji Sygnały Informacja

Informatyka • Informatyka to dyscyplina nauk technicznych zajmująca się zagadnieniami pobierania, przechowywania, przesyłania, przetwarzania i interpretacji informacji. • W organizmach zwierząt i u człowieka znane są dwa szczególnie ważne kanały przesyłowe informacji: system nerwowy i krwioobieg.

Łącza informacyjne w organizmie • Jako nadajnik mogą służyć na przykład mózg i receptory oraz gruczoły wydzielania wewnętrznego. • Odbiornikami mogą być elementy wykonawcze, mózg lub receptory. • Na przykład: • receptory - mózg • mózg – mięśnie • Gruczoły wydzielania wewnętrznego - narządy

Miara informacji • Z punktu widzenia techniki najbardziej odpornym na zakłócenia i prostym w przetwarzaniu jest system binarny (dwójkowy). • Potwierdza to przyroda, stosując podobny system w układzie nerwowym, zasada wszystko albo nic. • W systemie tym możliwe jest również prowadzenie rachunku logicznego – algebry Boole’a: prawda (tak) – 1, fałsz (nie) – 0.

Bit • Informacja polegająca na wyborze jednego ze stanów: • 1 lub 0 • tak lub nie • H lub L • Ma ilość informacji równą 1 bitowi • bit skrót od binary digit

Miara informacji • Informacja w sensie potocznym rozumiana jest jako znajomość pewnego stanu otaczającego świata. • Informację definiuje się jako zdarzenie wybrania elementu ze zbioru wszystkich możliwych elementów.

Negentropia • Zdarzenie wybrania elementu ze zbioru wszystkich możliwych elementów zachodzi z pewnym prawdopodobieństwem. • Biorąc pod uwagę to prawdopodobieństwo oraz liczbę elementów zbioru n możliwych zdarzeń, określa się miarę informacji I (zwaną negentropią): • pi – prawdopodobieństwo wystąpienia i – tego elementu zbioru

Negentropia • Jednostką negentropii jest 1 bit • 1 bit to wybór spośród dwóch jednakowych zdarzeń czyli wybór jednego z dwóch równie prawdopodobnych zdarzeń jest jednostką informacji.

Negentropia • Wartość negentropii wzrasta wraz ze zwiększeniem liczby stanów, które mogą wystąpić oraz ze zwiększeniem nieprzewidywalności stanu aktualnego. • Negentropia wielu niezależnych zbiorów stanów jest równa sumie ich negentropii. • Negentropia informacji niezmiennej (występuje 1 stan) wynosi 0.

Negentropia • Negentropia dla p 1 = p 2 = 0, 5 wynosi I = 1 bit • Negentropia, p 1 = 0, 01 p 2 = 0. 99, I = 0. 0807 bita • Dla równolicznych zbiorów negentropia przyjmuje największą wartość gdy prawdopodobieństwa wystąpienia każdego z elementów są równe: • I = log 2(n)

Przepustowość informacji • Przepustowość informacji to stosunek przekazywanych ilości informacji do czasu: bod – skrót nazwiska Boudot

Gęstość informacji (powierzchniowa) • Gęstość informacji to stosunek ilości informacji do powierzchni:

Pojemność informacyjna łącza informacyjnego • Pojemność informacyjna łącza informacyjnego to stosunek maksymalnej ilości przekazywanych informacji do czasu: 0<L≤C

Przepustowość informacji żywych organizmów • Ilość informacji odbieranych, wysyłanych lub przetwarzanych przez żywe organizmy może być tylko szacunkowa. • Ilość informacji, które człowiek może przyjąć wszystkimi zmysłami ocenia się na około 109 bodów. • Ilość informacji, które człowiek może wysłać ocenia się na około 107 bodów.

Przepustowość informacji • Świadomie przetworzyć można co najwyżej 100 bodów na miliard odbieranych, z czego 10 bodów można zapamiętać na krótko, a tylko 1 bod trwale.

Przepustowość informacyjna receptorów [bod] • • • Wzrok – 1010 Słuch - 5· 104 Ucisk – 105 Temperatura – 103 Węch – 102 Smak - 10

Lejek informacyjny • Ograniczenia przepustowości informacji mają miejsce we wszystkich zmysłach. • Ograniczenie przepustowości nazywane jest lejkiem informacyjnym. Otoczenie 109 [bod] Słuch Wzrok Węch Selekcja 107 [bod] 102 [bod] Smak Dotyk Świadomość

System dziesiętny • C 1 n 10 +C 2 n-1 10 +C 3 n-2 10 +…… • 1234=1· 103+2· 102+3· 101+4· 100

System dwójkowy (binarny) • bit – liczba binarna (binary digit) • bajt – jednostka miary informacji równa 8 bitom (ang. byte) • bajt to 28=256 informacji • Zapis binarny: • b· 2 n+b· 2 n-1+b· 2 n-2+………. • b=0 lub b=1

Bajt • Ośmiocyfrowa liczba binarna jest podstawą zapisu różnych wielkości w pamięci komputera. • 0000 0 • 00000001 1 • 00000010 2 • 1111 256 • kilo – 103 210 = 1024 • Mega – 106 220 = 10487576 • Giga – 1020 230 = 1073741824