KINECT czyli z czym to si je O

KINECT – czyli z czym to się je?

O czym będziemy mówić? § § § § Co to jest i jak działa Kinect? Jak przygotować komputer do pracy z Kinectem? Kinect SDK rzut oka. Kinect jako nietypowa kamera internetowa. Świat nie jest płaski – wkraczamy w 3 D. Sekcja zwłok – zabawy szkieletem. Kinect jako nietypowy mikrofon.

Co to jest i jak działa Kinect?

SENSOR 3 D KAMERA MIKROFON WIELOPŁASZCZYZNOWYKONTROLER NACHYLENIA

3 słowa o mikrofonach

Jak to działa? – semantyczna segmentacja obrazu w czasie rzeczywistym

Jak to działa? - prawdopodobieństwo

Jak to działa? – drzewa decyzyjne, uczenie maszynowe

Jak przygotować komputer do pracy z Kinectem?

Wymagania sprzętowe: § Komputer z procesorem co najmniej dual-core 2. 66 -GHz § 2 GB RAM (rekomendowane 4 GB) § Karta graficzna kompatybilna z Windows 7 i wspierająca Direct. X 9. 0 c

Wymagania użytkownika: § § § Kubek kawy Kontroler Kinect wraz z zasilaczem Silne nerwy ; d Dużo……dużo czasu ; D Opcjonalnie – ktoś do cenzurowania otoczenia

Pobierz i zainstaluj następujące rzeczy: § Microsoft® Visual Studio® 2010 Express lub dowolną inną wersję Visual Studio 2010 § . NET Framework 4. 0 § Gdy korzystamy z kodu niezarządzanego (C++): Microsoft Direct. X® SDK - June 2010 lub wersję późniejszą Runtime for Microsoft Direct. X® 9 § Gdy chcemy korzystać z funkcji rozpoznawania mowy: Microsoft Speech Platform Runtime, version 10. 2 (x 86 edition) Microsoft Speech Platform - Software Development Kit, version 10. 2 (x 86 edition) Kinect for Windows Runtime Language Pack, version 0. 9

Pobierz i zainstaluj następujące rzeczy: http: //research. microsoft. com/enus/um/redmond/projects/kinectsdk/defau lt. aspx Oficjalne SKD z dnia 01. 02. 2012

Jak Kinect widoczny jest w systemie?

Kinect SDK rzut oka.

Biblioteka SDK dostępna z menu start>Microsoft Kinect>Kinect. SDK

Kinect jako nietypowa kamera internetowa.

Jakie informacje otrzymujemy z kamery?

§ Zakres działania – 1, 2 – 3, 5 metra od kontrolera § Kąty widzenia obiektywów – 43° pionowo – 57° poziomo § Nachylenie kontrolera w zakresie ± 28°

§ Kamera – 640 x 480, 30 klatek na sekundę § Czujnik głębokości – 320 x 240, 30 klatek na sekundę

Świat nie jest płaski – wkraczamy w 3 D.

Dane z kamery - przypomnienie

Bufor głebokości § Image. Frame. Image. Bits § Tablica bajtów public byte[] Bits; – punkt startu – lewy górny róg obrazka, – zapis danych – od lewej do prawej, a potem krok w dół, – mówi nam o odległości każdego piksela.

Jak obliczyć odległość piksela? § 2 bajty per piksel (16 bitów) § Depth – odległość każdego piksela – Distance (0, 0) = (int)(Bits[0] | Bits[1] << 8); § Depth. And. Player Index – odległość dla każdego playera – Distance (0, 0) =(int)(Bits[0] >> 3 | Bits[1] << 5);

Definicja odległości § Zakres: od 850 mm do 4000 mm § Odległość = 0 oznacza odległość nieznaną § Indeks playera – 0 – brak gracza – 1 – gracz 0 – 2 – gracz 1

Sekcja zwłok – zabawy szkieletem.

Skeleton API

Dane o szkielecie

Kości § § Nazewnictwo w języku polskim Można śledzić na raz dwóch graczy Każdy gracz ma określone wartości <x, y, z> dla każdej kości Każda kość ma przypisany jeden ze stanów: – Tracked, Not tracked, Inferred § Inferred – kość jest zasłonięta przez inną lub jakiś przedmiot itp. § Not Tracked – raczej nie występuje, ale trzeba to sprawdzać

DEMO

Kinect jako nietypowy mikrofon.

Cechy mikrofonu § Format dźwięku – 16 -k. Hz, 16 -bit mono pulse code modulation (PCM) § Cztery mikrofony § 24 bitowy konwerter analog-cyfra § Sprzętowa redukcja szumów i echa

Audio API

DEMO

Bonus – gdzie szukać informacji § http: //research. microsoft. com/enus/um/redmond/projects/kinectsdk § Dokumentacja SDK § http: //channel 9. msdn. com/