Lenci Montemagni Pirrelli Testo e computer Carocci 2005

Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005 Capitolo 2 La codifica digitale del testo

La codifica digitale del testo Rappresentazione del testo su supporto digitale in un formato “leggibile” da un computer Machine Readable Form (MRF) n n I computer memorizzano ed elaborano dati sotto forma di sequenze di due soli simboli 0 e 1 (cifre binarie) Ogni tipo di informazione deve essere codificata in cifre binarie n n codificare informazione = associare a ciascuna unità di informazione un codice (sequenza di cifre binarie) che la identifica in maniera univoca I testi per essere elaborati o trasmessi da un programma devono avere una rappresentazione Lenci, Montemagni, Pirrelli (codifica) binaria Testo e computer – Carocci 2005

La codifica digitale del testo che tipo di rappresentazione digitale del testo? Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

La codifica digitale del testo Il testo e la sua organizzazione intestazione capitolo testo Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

La codifica digitale del testo Il testo e la sua struttura linguistica sintagma nominale V andare pass. rem. 3 sing. frase relativa articolo indefinito femminile singolare stanza come luogo stanze = oggetto di riscaldare tutti = soggetto Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

La codifica digitale del testo Il testo come sequenza di caratteri Ciascun carattere alfanumerico, di punteggiatura o di controllo che compone il testo deve essere rappresentato nei termini di un codice binario Le avventure di Pinocchio Capitolo I Come andò che Maestro Ciliegia, falegname, trovò un pezzo di legno, che piangeva e rideva come un bambino. C'era una volta. . . - Un re! - diranno subito i miei piccoli lettori. - No, ragazzi, avete sbagliato. C'era una volta un pezzo di legno. Non era un legno di lusso, ma un semplice pezzo da catasta, di quelli che d'inverno si mettono nelle stufe e nei caminetti per accendere il fuoco e per riscaldare le stanze. Non so come andasse, ma il fatto gli è che un bel giorno questo pezzo di legno capitò nella bottega di un vecchio falegname, il quale aveva nome mastr'Antonio, se non che tutti lo chiamavano maestro Ciliegia, per via della punta del suo naso, che era sempre lustra e paonazza, come una ciliegia Lenci, Montemagni, Pirrelli matura. Testo e computer – Carocci 2005

La codifica digitale del testo Il testo come sequenza di caratteri n “Surrogato” parziale del testo originario n n completa equivalenza solo dal punto di vista dei caratteri che lo compongono perdita di informazione n l’informazione implicitamente veicolata dalla formattazione del testo relativa a: n n n le coordinate meta-testuali n il nome dell’autore, il titolo, ecc. la struttura e organizzazione testuale n la suddivisione logica in sezioni, capitoli, paragrafi, ecc. nessun guadagno di informazione n l’informazione sulla struttura linguistica rimane Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005 implicita e nascosta (come nel testo originale)

La codifica digitale del testo n Due livelli di codifica del testo digitale n codifica di basso livello (codifica di livello 0) n n riguarda la rappresentazione binaria della sequenza ordinata dei caratteri codifica di alto livello n arricchisce il testo codificato al livello zero con informazione relativa a dimensioni strutturali n n organizzazione del testo in strutture macrotestuali articolazione del testo in strutture linguistiche La codifica di alto livello permette di rendere esplicita qualsiasi interpretazione, anche di tipo linguistico, si voglia associare al testo Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

La codifica di livello 0 Il testo come sequenza di caratteri dietro le quinte… Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

La codifica di livello 0 caratteri e numeri MAESTRO CILIEGIA A carattere 65 codice (decimale) del carattere 0 1 0 0 0 1 codifica binaria del codice del carattere I computer elaborano internamente solo sequenze di bits (0, 1) Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Numeri e numeri X numero 10 A n Sistema binario n n n rappresentazione di un numero 1010 vengono usate due cifre (0 e 1) per rappresentare un numero problema: i numeri binari sono estremamente lunghi e difficili da ricordare Sistema esadecimale n n n ogni numero è rappresentato con 16 cifre (0 -9, A-F) i numeri sono più corti di quelli binari estrema facilità di conversione tra binario ed esadecimale in una sequenza binaria, ogni stringa di 4 bits corrisponde ad una cifra esadecimale n 0110 1111 0110 numero binario (6) (15) (6) Lenci, Montemagni, Pirrelli 6 F 6 numero esadecimale n Testo e computer – Carocci 2005

Come sono rappresentati i caratteri nel computer? n Repertorio di caratteri n n un insieme di caratteri (es. “A”, “a”, “!”, “à”, “P”, ecc. ) i caratteri sono entità astratte, da non confondersi con il modo in cui sono realizzati graficamente (gliphs) n “a”, “a” sono tutti lo stesso carattere “a” n n Set di carattere (codice) n una tabella che definisce una corrispondenza biunivoca (1 -a-1) tra un repertorio di caratteri e un insieme di numeri interi non negativi n n la stessa realizzazione grafica può corrispondere a caratteri diversi (es. “A” latino e “A” cirillico e “A” greco) a ogni carattere è assegnato un codice numerico (punto di codice o code position) Codifica di carattere n algoritmo che determina come i codici dei caratteri sono rappresentati in sequenze di bits (bytes) Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Il codice ASCII n Primo standard per l’assegnazione di codici a caratteri (dal 1963) n n n set di caratteri riconosciuto da tutti i computer conosciuto come “ASCII Standard” o ISO-646 Codifica n 7 bits n n ciascun punto di codice è rappresentato con il numero binario corrispondente di 7 bits in realtà 1 byte = 8 bits di cui un bit non è usato per la codifica (bit di parità) 7 bits = 27 punti di codice = 128 caratteri rappresentati Sufficiente per rappresentare l’inglese n mancano i caratteri accentati, umlauts, ecc. per rappresentare Lenci, Montemagni, Pirrelli altri alfabeti occidentali Testo e computer – Carocci 2005

ASCII Standard decimale ed esadecimale Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Il set di caratteri ISO-Latin-1 n ISO-Latin-1 (ISO-8859 -1 o ASCII esteso) n unica estensione standard di ASCII n 1 byte = 8 bits = 28 punti di codice = 256 caratteri rappresentati n sufficiente per lingue europee occidentali (italiano, francese, ecc. ) ASCII Standard Caratteri di controllo 0 -32 128 -159 Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

La famiglia di caratteri ISO-8859 n n 14 set di caratteri standardizzati da ISO (International Standard Organization) Codifica n n Soprainsiemi dei caratteri ASCII Standard n n 1 byte = 256 caratteri rappresentati da ciascun set punti di codice 0 - 127 (parte comune) ASCII punti di codice 128 - 159 codici di controllo (non corrispondono a caratteri grafici) punti di codice 160 - 255 (parte variabile) caratteri aggiuntivi per greco, cirillico, lingue slave, arabo, ebraico, ecc. I set di ISO-8859 sono tutti reciprocamente incompatibili n Punto di codice 232 n n n ISO-8859 -1 (Latin-1) = “è” ISO-8859 -6 (Cyrillic) = “ш” Lenci, Montemagni, Pirrelli ISO-8859 non copre lingue come giapponese, cinese, ecc. Testo e computer – Carocci 2005

La famiglia di caratteri ISO-8859 ISO-Latin-1 Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

The Universal Character Set UNICODE (ISO-10646) n Standard internazionale che permette di rappresentare qualsiasi tipo di carattere appartenente ai sistemi grafici esistenti n n lingue europee, asiatiche, arabo, ebraico, cirillico, ugaritico, ecc. basato su principi di composizione dinamica dei caratteri n n n Assegna un numero di codice univoco ad ogni carattere n “è” = 232 n “ш” = 1096 Risolve i problemi di incompatibilità dei sistemi ISO-8859 n n n ç=c+¸ estende l’insieme dei caratteri supportati permette la realizzazione di documenti multilingui Unicode è un soprainsieme di ASCII n http: //www. unicode. org Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

The Universal Character Set UNICODE (ISO-10646) n Circa 96. 000 caratteri grafici rappresentati (Unicode v. 4. 0) n n … ma i punti di codice disponibili sono più di 1 milione !! Molteplici tipi di codifica: n n UCS-2, UCS-4, UTF-8, UTF-16, ecc. Codifica comune UTF-8 Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

The Universal Character Set UNICODE (ISO-10646) Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Caratteri e computer 1010011101 1000100100 1001010010 0110010100 Unicode ISO-Latin-1 Ab bkйd ﻭ ٦ ﻣﻦ Ab bkƛd ƛƛƛƛ ds kjdks kdsk sybco oθδjpjp sybco oƛƛjpjp Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Caratteri e computer Risoluzione dei problemi n Analisi dei caratteri nel testo n individuare il set di caratteri con cui è scritto il documento: n n n individuare il set di caratteri accettati dal programma con cui si deve elaborare il testo verificare l’eventuale esistenza di caratteri non-standard n n ASCII Standard, Unicode, ISO-8859, ecc. editor esadecimale Eventuale sostituzione dei caratteri non appartenenti al set accettato dal programma n n buona parte del sw. accetta solo ASCII attenzione alla perdita di informazione!! n n è = e’ š s Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

La codifica di alto livello: il punto di partenza Il testo codificato al livello zero si presenta come un manoscritto in scriptio continua Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Dietro all’analogia … Trascrizione di un testo a partire da un manoscritto in scriptio continua Codifica digitale di alto livello del testo entrambe rendono esplicito ciò che è congetturale e implicito con lo scopo di guidare il lettore (umano vs computer) nell’interpretazione del testo Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

La codifica di alto livello n compito della codifica di alto livello: n n n “dare forma” alla sequenza dei caratteri del testo rendendo esplicita l’informazione che è veicolata attraverso convenzioni tipografiche, testuali e linguistiche: n informazioni sull’organizzazione del testo (parti, titoli, paragrafi) n la conoscenza linguistica necessaria per la comprensione del testo (per es. la categoria grammaticale di ciascuna parola, o i costituenti sintattici in cui si articolano le frasi del testo) n più in generale ogni interpretazione che si voglia affiancare al dato testuale tracciare “sentieri” di lettura all’interno del testo rendere machine readable informazioni sul testo e tratti del testo che altrimenti non sarebbero elaborabili dal computer Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Perché codificare? I motivi della codifica di alto livello n n Un testo come flusso di caratteri e parole è una fonte di dati linguistici Il testo è un’entità altamente strutturata, nella quale i dati linguistici sono correlati secondo piani di organizzazione multipli n struttura del testo n n struttura del contesto n n l’ articolazione in sezioni, capitoli, titoli, ecc. l’autore, la data di produzione, la finalità del testo, ecc. struttura linguistica (implicita nel testo!!) n informazioni morfologiche, sintattiche, semantiche Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Perché codificare dato vs informazione La codifica di alto livello trasforma il dato testuale grezzo in fonte esplicita di informazione (definizioni da un vocabolario della lingua italiana) informazione: notizia, dato o elemento che consente di avere conoscenza più o meno esatta di fatti, situazioni, modi di essere. dato: ciò che è immediatamente presente alla conoscenza, prima di ogni elaborazione; (in informatica) elementi di informazione costituiti da simboli che debbono essere elaborati Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Un’informazione è un dato strutturato. . . n un esempio: 56100 su un foglio di carta è un dato e non significa molto n ma se il foglio di carta viene fornito in risposta alla domanda “qual è il cap di Pisa? ” oppure “qual è il numero del conto bancario del sig. X? ”, allora il dato può essere interpretato come fonte di informazione Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Esempio prototipico di dato strutturato Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Perché “dati strutturati“? n le informazioni sono più volatili, i dati più stabili n n I dati costituiscono una risorsa strategica, perché più stabili nel tempo di altre componenti (processi, tecnologie, ruoli umani): ad esempio, i dati delle banche o delle anagrafi la storia della scienza è caratterizzata dal continuo cambiamento di informazioni relative a dati relativamente stabili la rappresentazione precisa di forme più complesse di informazione (concetti evoluti) non può prescindere dai dati Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Cosa codificare? I contenuti della codifica di alto livello n Individuare il livello di informazione da codificare n n strutturale, linguistica, ecc. la codifica esplicita di informazione linguistica viene detta annotazione del testo n n morfologica, semantica, sintattica, ecc. Definire il repertorio dei tratti giudicati rilevanti per la codifica n un esempio: la codifica morfo-sintattica n n oggetto: codificare esplicitamente la categoria grammaticale e le proprietà morfologiche delle parole di un testo da definire: n n quali attributi codificare (cat. grammaticale, persona, genere, numero, caso, ecc. ) quali valori possono avere i diversi attributi (numero = SING, PLUR; caso = NOM, GEN, ecc. ) Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Cosa codificare? I contenuti della codifica di alto livello n Schema di codifica n un repertorio di categorie per la codifica, corrispondenti alla tipologia dei tratti da rappresentare nel testo n n la definizione delle regole di compatibilità tra categorie n n n generalmente espresso nella forma di attributi e dei loro possibili valori es. l’aggettivo non possiede un attributo di persona, o un nome quello di tempo la specifica accurata dei criteri di applicazione al testo delle categorie selezionate Schema di annotazione linguistica n schema di codifica di informazione linguistica Uno schema di codifica (annotazione) definisce il contenuto linguistico dell’annotazione, non il modo in cui la codifica (annotazione) è proiettata sul testo Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Come codificare? I formati digitali del testo n Formato solo testo (plain text o txt) n n un file solo testo è costituito da una sequenza di bytes dove ciascun byte rappresenta un carattere secondo un particolare codice gli editori di testo sono programmi in grado di creare e leggere files di tipo solo testo n n Vantaggi n n n Emacs, Blocco Note, ecc. n quando un editore di testo legge un file cerca di associare ogni sequenza di bits a un carattere secondo un particolare codice formato “aperto”, indipendente dal sistema operativo e dal programma che lo ha creato massima portabilità e interscambiabilità dei testi Svantaggi n non può rappresentare aspetti relativi alla codifica di alto livello n minima espressività Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Come codificare? I formati digitali del testo n Formati “proprietari” (doc, pdf, ecc. ) n n n possono essere creati, letti e interpretati solo da uno specifico programma (es. Word, Adobe) oltre a sequenze di bits codificano caratteri, il file contiene sequenze binarie che corrispondono a istruzioni di formattazione, codificate secondo le convenzioni di un certo programma Vantaggi n massima capacità espressiva e fruibilità per l’utente umano n n rappresenta aspetti relativi alla codifica di alto livello n ma solo per quanto riguarda la struttura testuale!! Svantaggi n n n formato “chiuso”, con minima portabilità e interscambiabilità codifica non per categorie testuali “astratte”, ma per modalità di visualizzazione le informazioni linguistiche rimangono comunque implicite nel testo Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Formati dati proprietari n Word Processor n n n Desktop Publishing n n n Page. Maker, Frame. Maker, Quark XPress, Ventura Publisher, etc. Tutti differenti, tutti estremamente specializzati, rapidissima obsolescenza, nessuna compatibilità col passato DBMS n n n MS Word, Word Perfect, Wordstar, XY Write, etc. Tutti differenti, rapida obsolescenza, decente compatibilità verso il passato Oracle, MS Access, MS SQLserver, IBM DB 2, etc. Estremamente orientati all'efficienza, opacissimi, decente obsolescenza, buona compatibilità col passato Presentazione n n Postscript, PDF, ma anche Flash, Shockwave Lenci, Montemagni, Pirrelli Opachi, specializzati, complessi. Compatibilità col passato? Testo e computer – Carocci 2005

Formati binari del testo n Un formato binario è la memorizzazione esatta delle strutture in memoria dell'applicazione, che niente hanno a che vedere con le esigenze di comprensione di esseri umani. Il testo non è visibile o è visibile per caso. Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Formati binari del testo n Un formato binario è la memorizzazione esatta delle strutture in memoria dell'applicazione, che niente hanno a che vedere con le esigenze di comprensione di esseri umani. Il testo non è visibile o è visibile per caso. Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Formati binari del testo n Un formato binario è la memorizzazione esatta delle strutture in memoria dell'applicazione, che niente hanno a che vedere con le esigenze di comprensione di esseri umani. Il testo non è visibile o è visibile per caso. Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Come codificare? Una possibile alternativa: i linguaggi di marcatura n Codifica di alto livello con linguaggi di mark-up (linguaggi di marcatura) n n dal punto di vista del formato digitale un testo codificato con un linguaggio di marcatura è in formato solo testo l’informazione strutturale è rappresentata attraverso l’aggiunta al testo di etichette (o tag) di marcatura n n n sequenze di caratteri visibili secondo una convenzione standard, intercalati nel testo seguendo precise regole di combinazione “marcano” blocchi di testo a cui viene assegnata una determinata interpretazione Vantaggi n n portabilità e interscambiabilità dei testi codificati massimo grado di espressività n è possibile esprimere tuttti gli aspetti della codifica di alto livello, compresa l’informazione linguistica Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Come codificare? I linguaggi di marcatura mark-up per la codifica di informazione strutturale <libro> <titolo>Le avventure di Pinocchio <sottotitolo>Storia di un burattino</sottotitolo> </titolo> <autore>Carlo Collodi</autore> <parte p_id=” 1”> <titolo>Parte prima</titolo> <capitolo c_id=”I”> <titolo> Come andò che maestro Ciliegia, falegname, trovò un pezzo di legno, che piangeva e rideva come un bambino. </titolo> <capoverso num=”p 1 c 1 c 1”>C'era una volta. . . </capoverso> <capoverso num=”p 1 c 1 c 2”>- Un re! - diranno subito i miei piccoli lettori. </capoverso> <capoverso num=”p 1 c 1 c 3”>No, ragazzi, avete sbagliato. C'era una volta un pezzo di legno. </capoverso> <capoverso num=”p 1 c 1 c 4”>Non era un legno di lusso, ma un semplice pezzo da catasta, di quelli che d'inverno si mettono nelle stufe e nei caminetti per accendere il fuoco e per riscaldare le stanze. </capoverso> </capitolo></parte> </libro> Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Come codificare? I linguaggi di marcatura mark-up per la codifica di informazione strutturale • + mark-up per la codifica di informazione linguistica <libro> … <parte> <capitolo c_id=”I”> <titolo>Come <parola cat=“V” tempo=“pass. Rem”>andò</parola> che <parola cat=“N” genere=“m” num=“s”>maestro</parola> Ciliegia, falegname, trovò <sintagma tipo=”nominale”><parola cat=“art. Ind” genere=m” num=“s”>un</parola> pezzo di legno</sintagma>, che piangeva e rideva come un bambino. </titolo> </capitolo></parte> </libro> Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Tipi di marcatura del testo n marcatura procedurale (detta anche marcatura tipografica) che consiste in una serie di istruzioni operative che forniscono le specifiche di formattazione e impaginazione del testo per la visualizzazione e la stampa (es. RTF, Te. X) n marcatura dichiarativa (detta anche marcatura logica o descrittiva) dove i codici di marcatura indicano la funzione assolta dal blocco di testo a cui si riferiscono, ad esempio titolo, paragrafo, nota, citazione ecc. senza fornire indicazione di come tali elementi del testo dovranno apparire fisicamente sulla pagina o sul video (es. SGML, XML) Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Un linguaggio di marcatura procedurale: RTF Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Un linguaggio di marcatura dichiarativa: XML Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Marcatura procedurale n basata sull’aspetto n n dipendente dal sistema n n ogni sistema di visualizzazione impone le proprie regole e la propria sintassi associata agli individui n n ad ogni elemento del documento viene associata la procedura per visualizzarlo in maniera voluta: font, dimensione, corsivi, grassetti, margini, interlinea, ecc. ogni elemento possiede le proprie procedure per la visualizzazione, che possono anche essere tutte diverse anche per elementi dello stesso tipo. non contestuale n n le regole di visualizzazione non dipendono dal contesto in cui vengono fatte, ma ognuna fa specie a sé non è possibile porre vincoli sulla "correttezza" di un documento. Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005

Marcatura dichiarativa n basata sul ruolo n n indipendente dal sistema n n di ogni elemento viene descritto il ruolo all’interno del testo, più che le regole per la sua visualizzazione poiché il markup descrittivo assegna ruoli (e non regole di visualizzazione) agli elementi del testo, questi sono intrinseci agli elementi stessi, e non alle funzionalità disponibili nel sistema di visualizzazione contestuale n n con il markup descrittivo è possibile definire delle regole che permettano o impediscano l’assegnazione di un ruolo ad un elemento del testo a seconda del contesto è possibile specificare regole di correttezza sui documenti, ad esempio che ad un'immagine segua necessariamente una Lenci, Montemagni, Pirrelli didascalia, ecc. Testo e computer – Carocci 2005

Marcatura dichiarativa: vantaggi n n facilità nella creazione: l’autore si concentra sul ruolo organizzativo delle singole parti di testo, piuttosto che sul loro aspetto stampato indipendenza dalla formattazione: riformattare un documento secondo nuove regole richiede semplicemente di ricodificare dei parametri esterni, non di modificare in alcuna maniera il testo codificato flessibilità: riusare un testo codificato in un nuovo contesto è facile, perché non è necessario rimuovere la vecchia informazione per far posto alla nuova visioni di documenti dinamicamente riconfigurabili: è possibile selezionare viste diverse dello stesso documento Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005