Zpracovn experimentlnch dat Pavel Matjka Pavel Matejkavscht cz

Zpracování experimentálních dat Pavel Matějka Pavel. Matejka@vscht. cz K 08, N 01 2006/2007

Obsah předmětu 4 Naměřená data a analytické výsledky 4 Způsoby zpracování dat 4 Výpočetní technika a zpracování dat 4 Formáty dat a jejich konverze

Obsah předmětu 4Šum a jeho potlačení 4 Sledovaný signál a pozadí 4 Integrace signálů 4 Derivace signálů • hledání extrémů • hledání ramének (překryv pásů)

Obsah předmětu 4 Popis a parametry píků 4 Dekonvoluce, modelování 4 Fourierova transformace 4 Vícedimenzionální datové soubory, mapy dat

Obsah předmětu 4 Zpracování většího počtu datových souborů – základní matematické operace se signály (odečty, podíly. . . ) – složitější operace se sadou datových souborů – tvorba maker pro automatizaci zpracování

Obsah předmětu 4 Statistická analýza – průměrování vícedimenzionálních dat a výpočty směrodatných odchylek – klastrová analýza – faktorová analýza – analýza hlavních komponent – klasifikační metody – regresní metody

Softwarové prostředky 4 ACD/Spec. Viewer - freeware 4 Omnic, TQ Analyst - NICOLET 4 Lab Spec - DILOR 4 Spectral Data Processor - XPS 4 Microcal ORIGIN 4 MS Excel 4 Unscrambler Introducer - CAMO

Program ACD/Spec. Viewer

Program ACD/Chem. Basic-editor

Program OMNIC E. S. P.

Program MACROS BASIC pro OMNIC E. S. P.

Program LABSPEC

Program Spectra Data Processor - XPS

Program Microcal ORIGIN

Program MS Excel

Program Unscrambler

Naměřená data a analytické výsledky naměřená data Zpracování dat analytické výsledky

Naměřená data 4 jedna hodnota 5, 00 mg (bod – 1 D) 4 řada dat 15, 8; 27, 2; 38, 3 … (vektor) 4 funkční závislosti - dvojice hodnot - x, y - trojice hodnot - x, y, z - více dimenzionální (matice) , tabulky, grafy

Způsoby zpracování dat 4 numerické - základní aritmetika maticový počet 4 grafické geometrie

Způsoby zpracování dat 4 tužka, papír 4 + pravítko, křivítko 4 + logaritmické pravítko 4 + kalkulačka 4 + liniový zapisovač 4 + počítač

ANALYTICKÝ VÝSLEDEK POŽADAVKY NA VÝSLEDEK u hodnověrný u spolehlivý u opakovatelný POŽADAVKY NA ZPRACOVÁNÍ DAT

Výpočetní technika a zpracování dat VSTUP DAT ON-LINE OFF-LINE HARDWARE SOFTWARE VÝSTUP DAT Presentační Pracovní

Vstup dat NUTNÁ PODMÍNKA 4 on-line - PROPOJENÍ měřicího zařízení a počítače [ RYCHLOST PŘENOSU DAT [ ŘÍZENÍ KOMUNIKACE

Vstup dat VHODNÉ, NE NUTNÉ 4 off-line - PROPOJENÍ měřicího zařízení a počítače – „logger“ v zařízení a dávkový přenos dat R VARIABILNÍ TYP VSTUPU

Výstup dat a protokoly 4 Presentační ä pro objednavatele analýzy elektronická či tištěná forma 4 Pracovní ä pro vlastní potřebu ä pro další zpracování elektronická či tištěná forma

Ukládání a sdílení dat 4 Jednouživatelské ä kombinace psaných a elektronických záznamů v různých formátech 4 Víceuživatelské ä ELN - elektronický laboratorní zápisník ä INTEGRACE DAT Z RŮZNÝCH ZDROJŮ DO JEDNOTNÉ FORMY

HARDWARE 4 „Osobní počítače“ - univerzální ä pro jeden či malý počet přístrojů 4 „Pracovní stanice“ - specializované ä pro jeden či malý počet přístrojů 4 „Servery“ - specializované ä i pro větší počet přístrojů

SOFTWARE 4 RUTINNÍ ANALÝZY ä požadavky GLP, norem - minimální možnost zásahu uživatele 4 VÝVOJ METODIKY v rámci známé analytické metody ä omezené zásahy uživatele 4 „ZÁKLADNÍ“ analytický VÝZKUM ä vysoká variabilita, možnost široké palety zásahů uživatele

SOFTWARE 4 SPECIALIZOVANÝ SOFTWARE ä „jednoúčelový“ ä uživatelsky jednoduchý ä příklad „OMNIC“ - pro měření a základní zpracování infračervených spekter 4 SOFTWAROVÉ „BALÍČKY“ pro širokou škálu aplikací ä vysoká variabilita, možnost tvorby uživatelských „maker“, „rutin“, „subprogramů“ ä uživatelsky složitější ä příklad „ORIGIN“, „EXCEL“

Formáty dat a jejich konverze - univerzální formáty - jednoúčelové formáty - převody mezi formáty

Univerzální formáty 4 TEXTOVÝ formát *. txt , *. csv, *. prn, *. dat è ASCII - XY - nejběžnější 2 sloupce čísel POZOR na identifikátory desetinných čísel či tisíců ! – fixní šířka sloupců – oddělovače sloupců (, ; tab)

Textový formát 532. 402 532. 448 532. 494 532. 541 532. 587 532. 634 532. 68 532. 727 532. 773 532. 82 532. 867 532. 914 532. 961 736. 3 743. 3 745. 3 726. 3 751. 3 739. 3 735. 3 743. 3 740. 3 747. 3 751. 3 1. 504245 e+002; 1. 976861 e+000 1. 509066 e+002; 1. 968357 e+000 1. 513888 e+002; 1. 962499 e+000 1. 518709 e+002; 1. 959623 e+000 1. 523530 e+002; 1. 958485 e+000 1. 528352 e+002; 1. 956975 e+000 1. 533173 e+002; 1. 953950 e+000 1. 537994 e+002; 1. 947547 e+000 1. 542816 e+002; 1. 936512 e+000 1. 547637 e+002; 1. 919728 e+000 1. 552458 e+002; 1. 896824 e+000 1. 557279 e+002; 1. 868656 e+000 1. 562101 e+002; 1. 835209 e+000 1. 566922 e+002; 1. 798726 e+000 1. 571743 e+002; 1. 761715 e+000

Textový formát 4 ASCII - Y 1 sloupec čísel ypsilonové hodnoty – konstantní delta X definované v záhlaví

Textový formát 4 ASCII - X multiple Y 1 sloupec hodnot X více sloupců hodnot Y – stejné hodnoty X pro více datových řad – chybí univerzální podpora tohoto formátu

Textový formát 4 Výhody – univerzálnost – nepravidelný krok – snadný náhled – snadná extrakce části dat – snadné spojování dat 4 Nevýhody – chybí popis dat – chybí jakékoli doplňkové informace – objemné soubory – nedostatečná kodifikace formátu

Univerzální formáty 4 JCAMP-DX formát *. jdx , *. dx? konstantní delta X – v řádku pro jednu hodnotu X deset po sobě jdoucích hodnot Y – definované položky v hlavičce souboru – nedatové položky odlišeny ##

JCAMP-DX formát ##TITLE=p-HAP ##JCAMP-DX=4. 24 ##DATA TYPE=RAMAN SPECTRUM ##DATE=20/4/2001 ##TIME=12: 28: 33 ##SAMPLING PROCEDURE=cup ##ORIGIN=ED ##DATA PROCESSING=no operation ##SAMPLE DESCRIPTION=p-HAP ##XUNITS=1/CM ##YUNITS=ABSORBANCE ##RESOLUTION=4 ##FIRSTX=3600. 7255 ##LASTX=98. 532917 ##DELTAX=-1. 9285201 ##MAXY=0. 25041848 ##MINY=0. 00016729564 ##XFACTOR=1 ##YFACTOR=2. 3322039 e-010 ##NPOINTS=1817 ##FIRSTY=0. 00064811291 ##XYDATA=(X++(Y. . Y)) 3601+2778972+1934559+2604332+2678989+1991450+1674034+2046136+2278889+2078093 3583+3122147+4311999+4682680+4290973+3472452+3177716+2759257+1320684+3210535

JCAMP-DX formát 4 Výhody – uznávaná kodifikace – snadný náhled – řada průvodních informací definovaně uvedených záhlaví 4 Nevýhody – konstantní krok – „pseudo“ – objemné soubory

Univerzální formáty 4 Galactic Industries formát (GRAMS, Spectra Calc) *. spc starší verze - konstantní delta X novější verze - nepravidelný krok

GALACTIC formát 4 Výhody – uznávaná kodifikace – široká podpora řady programů – kompaktní soubory – stručná hlavička 4 Nevýhody – 2 typy formátu vzájemně jen částečně kompatibilní – nesnadný náhled – obtížná extrakce části dat

Jednoúčelové formáty 4 FORMÁTY l výrobců přístrojů l výrobců speciálního softwaru

Jednoúčelové formáty 4 Výhody – „šité na míru“ pro danou aplikaci – v daném prostředí řada průvodních, detailních informací 4 Nevýhody – obtížný náhled – limitované možnosti použití doplňujícího softwaru – nemožnost uživatelského přizpůsobení

Převody mezi formáty 4 export a import dat v rámci programů pro zpracování dat 4 speciální konverzní programy podporující řadu formátů

Převody mezi formáty konverzní program

ŠUM a jeho potlačení šum - prokladové metody - transformační metody - umělé přidávání šumu -

transformační metody PROKLADOVÉ (filtrační) metody

Šum - „statistický“ ŠUM - signál bez žádaného informačního obsahu - rušivý signál - signál náhodného (pseudonáhodného) charakteru

Šum - „statistický“ ŠUM - náhodná proměnná s nulovou střední hodnotou POTLAČENÍ Nejdokonalejší - mnohonásobné opakování experimentu za DOKONALE STEJNÝCH podmínek, resp. za podmínek, které se liší POUZE „NÁHODNÝM“ („statistickým“) šumem

Šum - potlačení GRAFICKÉ VYHLAZENÍ ŠUMU - proložení šumových oscilací hladkou křivkou NUMERICKÉ VYHLAZENÍ ŠUMU - proložení šumových oscilací - polynomem - segmentovou funkcí (spline function) function

Šum - potlačení NUMERICKÉ VYHLAZENÍ ŠUMU - proložení polynomem dostatečně vysokého řádu m Data dvojice hodnot (xi, yi) - výpočet yi, opr 1. volba lichého počtu bodů (2 n+1) {2 n > m} v intervalu, kde se bude vyhlazovat 2. volba hodnot postupně klesajících statistických vah w 0 až wn, kterými se řídí vliv sousedních bodů na vyhlazovanou hodnotu

NUMERICKÉ VYHLAZENÍ ŠUMU Data dvojice hodnot (xi, yi) - výpočet yi, opr 4. vyřeší se vzhledem k neznámým koeficientům interpolačního polynomu pk, k 0, m soustava rovnic a to se statistickými váhami wi-j metodou vážených nejmenších čtverců 5. jako opravená (vyhlazená) hodnota se dosadí yi, opr = p 0

NUMERICKÉ VYHLAZENÍ ŠUMU Prokládání polynomem metodou vážených nejmenších čtverců - největší statistická váha studovanému bodu - váha se snižuje se vzdáleností od tohoto bodu - interpolovaná hodnota polynomické funkce pro pořadnici studovaného bodu je pak odhadem skutečné funkční hodnoty s eliminovaným šumem - DOCHÁZÍ KE KONVOLUCI DAT - nutná vysoká „zkreslení“ (otázka přístrojové funkce) hustota bodů

NUMERICKÉ VYHLAZENÍ ŠUMU Prokládání polynomem pro odečet dat v ekvidistatních bodech (pravidelný krok na ose x) lze použít tabelované koeficienty kj a využít zjednodušený vzorec pro výpočet yi, opr N je tabelovaný normovací faktor

NUMERICKÉ VYHLAZENÍ ŠUMU Prokládání polynomem literatura hodná pozornosti: Savitzky A. , Golay M. J. E. : Smoothing and Differentiation of Data by Simplified Least Squares Procedures, Anal. Chem. 36, 1627 (1964). Steiner. J. , Termonia Y. , Deltour J. : Comments on Smoothing and Differentiation of Data by Simplified Least Squares Procedures,

NUMERICKÉ VYHLAZENÍ ŠUMU Příklad volby počtu bodů výchozí data 5 bodů pro vyhlazování 25 bodů pro vyhlazování

ZHORŠENÍ ROZLIŠENÍ !

UKÁZKA VZHLAYOVÁNÍ software OPUS (Bruker) VLIV NA URČENÍ parametrů pásů

VOLBY POČTU bodů VÁŽENÍ OKOLNÍCH bodů VOLBY TYPU proložení

NUMERICKÉ VYHLAZENÍ ŠUMU Použití SEGMENTOVÝCH funkcí • polynomické funkce až n-tého řádu • pro každý interval definovaný dvěma po sobě následujícími experimentálními body (xi-1, xi) je definována jiná polynomická funkce • dodatečná podmínka spojitosti segmentové funkce a všech jejích derivací až do stupně n-1 • dodatečné podmínky míry „hladkosti“ a

NUMERICKÉ VYHLAZENÍ ŠUMU Příklad SEGMENTOVÉ funkce • kubická segmentová funkce S 3 y = S 3(x) = Pi(x) = ai + bix + cix 2 + dix 3 x xi-1 , xi i 1 , n • míra „hladkosti“ - minimalizace průměrné hodnoty kvadrátu druhé derivace • míra „přesnosti“ -minimalizace sumy vážených čtverců odchylek

TRANSFORMAČNÍ METODY

TRANSFORMAČNÍ METODY Základní metoda • FOURIEROVA TRANSFORMACE u vhodné pro eliminaci vysokofrekvenčního šumu äpřevedení záznamu na interferogram äúpravy interferogramu - filtrační funkce ävolba apodizační funkce äzpětné převedení interferogramu

ÚPRAVY INTERFEROGRAMU äfiltrační funkce (analogické k apodizačním funkcím, použité před zpětnou transformací) äredukce počtu bodů interferogramu (zhoršení rozlišení) ä„zerofilling“ - „doplnění nul“ (proložení spektra dalšími body „umělého“ původu)