STAGE INFORMATICA SUMMER SCHOOL 2018 UNIX Unix nasce

  • Slides: 16
Download presentation
STAGE INFORMATICA SUMMER SCHOOL 2018

STAGE INFORMATICA SUMMER SCHOOL 2018

UNIX • • • Unix nasce nel 1970 come Sistema Operativo • Venne creato

UNIX • • • Unix nasce nel 1970 come Sistema Operativo • Venne creato un file system che condusse ad una prima versione di UNIX • UNICS era più semplice e più veloce di MULTICS, tuttavia era monoutente • Intorno al 1971, da Fortran si passa a programmarlo in C, prendendo il nome UNIX Creato da Ken Thompson e Dennis Ritchie (Bell Laboratories) L’obiettivo primario era di creare un Sistema Operativo che permettesse di fornire a un gran numero di utenti una grande potenza di calcolo e facilità di condivisione dei dati, chiamato MULTICS

ASPETTI PRINCIPALI UNIX • E’ scritto in linguaggio ad alto livello • E’ molto

ASPETTI PRINCIPALI UNIX • E’ scritto in linguaggio ad alto livello • E’ molto più piccolo e veloce rispetto ai Sistemi Operativi precedenti • Le versioni diventarono multi-utente e multi-processo, permettendo la portabilità su diversi computer di diverse aziende. • UNIX è composto da diverse shell • E’ portabile • Il kernel è scritto in Assembler, tutto il resto in C • Quando viene lanciato un comando su una shell, quest’ultima si replica in un ulteriore shell e lì verranno eseguiti

SISTEMA OPERATIVO AIX • E’ la versione di proprietà IBM del Sistema Operativo UNIX

SISTEMA OPERATIVO AIX • E’ la versione di proprietà IBM del Sistema Operativo UNIX • Differisce dall’originale UNIX per la struttura di base del file system • Perché a differenza di UNIX originale, garantisce più sicurezza, protezione, affidabilità e prestazioni più elevate per la gestione dei file • Infrastruttura più sicura e affidabile per soddisfare qualsiasi esigenza aziendale o sperimentale • Grande sicurezza grazie a differenti funzioni(Trusted AIX) • Bassi periodi di inattività • Aggiornamento costante del S. O. senza necessità di riavviarlo

PROBLEMA PRINCIPALE • Agli inizi degli anni duemila uno studente laureando sviluppò la sua

PROBLEMA PRINCIPALE • Agli inizi degli anni duemila uno studente laureando sviluppò la sua tesi dimostrando che i dati di KLOE erano incomprimibili. • La nostra sfida è stata dimostrare il contrario sotto la guida del nostro tutor. • I file di KLOE risultavano comprimibili mediamente solo dell’ 8% semplicemente comprimendo direttamente i file, come si puo vedere in queste immagini: Lancio del comando di compressione: In questo file la compressione è stata del solo 5, 4%

IL NOSTRO OBIETTIVO • Riuscire a gestire i file dati di KLOE in modo

IL NOSTRO OBIETTIVO • Riuscire a gestire i file dati di KLOE in modo da ottenere una compressione più efficace che porterà un risparmio di risorse(quindi anche di denaro) grazie alla riduzione dello spazio di storage. KLOE FASE 1 E FASE 2: L’esperimento KLOE è suddiviso in due fasi che hanno prodotto tipi di file diversi: • La fase 1 dal 1999 al 2006 ha creato file mediamente di un Giga. Byte e poco comprimibili • La fase 2 dal 2012 al 2018 ha generato file molto più grandi, grazie al miglioramento dei sensori e dello spazio di storage disponibile e facilmente comprimibili

STRUMENTI UTILIZZATI • Calcolatore con Sistema Operativo AIX; • Linguaggio di programmazione C; •

STRUMENTI UTILIZZATI • Calcolatore con Sistema Operativo AIX; • Linguaggio di programmazione C; • VI Editor su AIX; • Il compressore dei file; • GNUPLOT per la visualizzazione dei grafici;

PROGRAMMA COUNT. C Il primo approccio di analisi su file è stato quello di

PROGRAMMA COUNT. C Il primo approccio di analisi su file è stato quello di creare un programma che calcola il numero di parole, caratteri e linee di un file in input. Questo è il risultato su un file RAW di KLOE: Inseriamo il nome del file e ci restituisce linee, parole e caratteri.

PROGRAMMA RICOR. C Il secondo approccio di analisi su file è stato fondamentale per

PROGRAMMA RICOR. C Il secondo approccio di analisi su file è stato fondamentale per arrivare ad una soluzione ottimale per la compressione dei dati, mostrandoci la distribuzione dei caratteri ASCII nei file. In questo caso abbiamo analizzato le ricorrenze dei caratteri ASCII nello stesso file RAW utilizzato nel programma precedente:

OUTPUT PROGRAMMA RICOR. C Ricorrenze ASCII (255 caratteri) Grafico GNUPLOT ricorrenze, file raw da

OUTPUT PROGRAMMA RICOR. C Ricorrenze ASCII (255 caratteri) Grafico GNUPLOT ricorrenze, file raw da 1 Giga. Byte

FORMATO DEI FILE DI KLOE Analizzando il file di KLOE sappiamo che i file

FORMATO DEI FILE DI KLOE Analizzando il file di KLOE sappiamo che i file sono composti da numeri in virgola mobile da 4 Byte ciascuno. Questo dato è stato fondamentale per comprendere come effettuare una compressione largamente più efficiente rispetto alla normale Byte 1 Byte 2 Byte 3 Byte compressione. Struttura di Kloe: 4 Virgola mobile a singola precisione (32 BIT): 1 BIT SEGN <250 rivelatori O <10 m raggio <15 m lunghezza <1 Gev energia <200 V Tensione letta 8 BIT ESPONEN TE 23 BIT MANTISSA FILE 1 FILE 2 FILE 3 FIL E 4 Per comprendere al meglio come comprimere i dati di KLOE, dobbiamo prima capire che tipo di dati sono riportati nei file.

PROGRAMMA SPLIT 4. C Questo è il programma che ci permette di suddividere il

PROGRAMMA SPLIT 4. C Questo è il programma che ci permette di suddividere il file dati di KLOE in 4 file separati, per ottimizzarne al massimo la compressione. Inserendo in input il nome di uno dei file di KLOE, il programma lo dividerà in 4 file omogenei, con il primo contenente il primo byte, il secondo contenente il secondo byte e così fase via. . di Kloe: File raw seconda I 4 file compressi in cui è stato diviso:

VEDIAMO LE PERCENTUALI: QUANTO È CAMBIATO DA PRIMA? Dall’ 8% di compressione i file

VEDIAMO LE PERCENTUALI: QUANTO È CAMBIATO DA PRIMA? Dall’ 8% di compressione i file sono stati mediamente compressi del 57% come mostrato nelle tabelle sottostanti: File N° 1 N° 2 N° 3 N° 4 Percentuale compressio ne File 86% N° 1 47% 70% 0% TOTAL 44% EFile della fase 1 N° 2 N° 3 N° 4 Percentuale compressio ne File Percentuale compressio ne 1 GB 44% ALL 60% BHA 65% COS 58% DCC 59% TOTAL E 57% 88% 66% 47% 38% TOTAL 60% E File della fase 2

PROGRAMMA JOIN 4. C Questo è il programma che ci permette di ricomporre il

PROGRAMMA JOIN 4. C Questo è il programma che ci permette di ricomporre il file dati di KLOE, dopo aver decompresso i 4 file vengono ricomposti nel file originale. I 4 file decompressi: Il file ricostruito(file 5 sopra) e l’originale(sotto): Come si vede i due sono di uguali dimensioni, la ricostruzione è avvenuta con successo.

CONCLUSIONI: In conclusione i costi dello storage scendono del 57%, quindi se prima si

CONCLUSIONI: In conclusione i costi dello storage scendono del 57%, quindi se prima si pagava una libreria 500’ 000 euro, ora lo si può immagazzinare la stessa quantità di dati con una libreria da 215’ 000 euro. Nei prossimi giorni vedremo: • Rete TCP/IP • Programmazione di segnali • Socket programming

Ringraziamo vivamente il nostro tutor Fabio Fortugno Gli studenti: Damiano Mastrofini Gabriele D’Amora Eduard

Ringraziamo vivamente il nostro tutor Fabio Fortugno Gli studenti: Damiano Mastrofini Gabriele D’Amora Eduard Alexandru Olenic Antonio Valletta Alessandro Campo Diego Di Placido