Corso di Architetture della Informazione A A 2010

Corso di Architetture della Informazione A. A. 2010 -2011 C. Batini 1. Introduzione alla Data Integration @ Carlo Batini A. A. 2010 -2011 1

Le architetture tradizionali dei sistemi di gestione delle basi di dati @ Carlo Batini A. A. 2010 -2011 2

Architettura DBMS centralizzato Interrogazioni di accesso Transazioni di aggiornamento DBMS Schema logico Data Base 1 @ Carlo Batini A. A. 2010 -2011 3

Architettura DBMS distribuito Interrogazioni di accesso Transazioni di aggiornamento DBMS Data. Base 1 Interrogazioni di accesso Schema globale Transazioni di aggiornamento DBMS Rete Schema locale Data. Base n Data. Base 2 Interrogazioni di accesso DBMS Transazioni di aggiornamento @ Carlo Batini A. A. 2010 -2011 4

Problemi nelle architetture tradizionali delle basi di dati @ Carlo Batini A. A. 2010 -2011 5

L’architettura e’ costruita nel tempo, senza un disegno unitario 2000 2007 DBMS Logical schema 2003 Data Base 1 DBMS 2005 DBMS Logical schema Data Base 4 2001 Data Base 5 Logical schema Data Base 3 @ Carlo Batini A. A. 2010 -2011 DBMS Logical schema Data Base 2 6

Lo sviluppo non coordinato delle basi di dati in una organizzazione porta a eterogeneita’ e incoerenze e ad alti costi @ Carlo Batini A. A. 2010 -2011 7

Esempio base Interrogazioni Transazioni di accesso di aggiornamento DBMS Global schema SSN Name Surname Citta’Res Date. B. #Code Name Surname Citta’Res Date. B. BTNC 7 Carlo Batini Roma 1949/06 3423 Crlo Batini Roma 070649 @ Carlo Batini A. A. 2010 -2011 8

Eterogeneita’ potenziali - 1 Interrogazioni Transazioni di accesso di aggiornamento DBMS Global schema SSN Name Surname Citta’Res Date. B. #Code Name Surname Citta’Res Date. B. BTNC 7 Carlo Batini Roma 1949/06 3423 Crlo Batini Roma 070649 Differenti identificatori @ Carlo Batini A. A. 2010 -2011 9

Eterogeneita’ potenziali - 2 Interrogazioni Transazioni di accesso di aggiornamento DBMS Global schema SSN Name Surname Citta’Res Date. B. #Code Name Surname Citta’Res Date. B. BTNC 7 Carlo Btini Roma 1949/06 3423 Crlo Batini Roma 070649 Errori e conseguenti valori differenti @ Carlo Batini A. A. 2010 -2011 10

Eterogeneita’ potenziali – 3 Interrogazioni Transazioni di accesso di aggiornamento DBMS Global schema SSN Name Surname Citta’Res Date. B. #Code Name Surname Citta’Res Date. B. BTNC 7 Carlo Batini Roma 1949/06 3423 Crlo Batini Roma 070649 Differenti formati @ Carlo Batini A. A. 2010 -2011 11

Eterogeneita’ potenziali - 4 Interrogazioni Transazioni di accesso di aggiornamento DBMS Global schema SSN Name Surname Citta’Res Date. B. BTNC 7 Carlo Batini Milano 1949/06 #Code Name Surname Citta’Res Date. B. 3423 Crlo Batini Roma 070649 Se Carlo Batini cambia residenza da Roma a Milano e viene aggiornata una sola copia, i dati diventano e contraddittori @ Carloincoerenti Batini A. A. 2010 -2011 12

La soluzione tipica: file transfer di allineamento periodico @ Carlo Batini A. A. 2010 -2011 13

File transfer periodico DBMS Global schema Non risolve il problema! Infatti (Esempio leggermente diverso) @ Carlo Batini A. A. 2010 -2011 14

Esempio di interrogazione in un contesto in cui le basi di dati rappresentano informazioni diverse: trova residenza e data nascita di Batini, il cui identificatore e’ BTNC 7 Interrogazioni Transazioni di accesso di aggiornamento DBMS Global schema SSN Name Surname Date. B. BTNC 7 Carlo Batini 1949/06 Non e’ possibile riconoscere 3423 Crlo Batini Roma che stiamo parlando della stessa persona E fondere le informazioni! #Code @ Carlo Batini A. A. 2010 -2011 Name Surname Citta’Res 15

Esempio di interrogazione in un contesto in cui le basi di dati rappresentano le stesse informazioni: trova residenza e data nascita di Batini, il cui identificatore e’ BTNC 7 Interrogazioni Transazioni di accesso di aggiornamento DBMS Global schema Qui, se riconosciamo che rappresentano 3423 Crlo Batini Roma 070649 la stessa persona, otteniamo risposte diverse e contraddittorie #Code SSN Name Surname Citta’Res Date. B. BTNC 7 Carlo Batini Milano 1949/06 @ Carlo Batini A. A. 2010 -2011 Name Surname Citta’Res Date. B. 16

Quali conseguenze ha tutto cio’ sul budget delle organizzazioni? Due, entrambe nella stessa direzione: Aumento dei costi di gestione Minori ricavi nei processi di business @ Carlo Batini A. A. 2010 -2011 17

Il problema della integrazione. . . Anagrafica Clienti 1 Source 1 Anagrafica Clienti 2 Source 2 Vendite retail Vendite On line Source 3 Quale Integrazione? Nuova architettura Source 4 …. . Altri Source n @ Carlo Batini A. A. 2010 -2011 18 18

Le nuove soluzioni architetturali al problema della integrazione @ Carlo Batini A. A. 2010 -2011 19

Due possibili fini della integrazione Integrazione nella interrogazione dei dati, in cui vogliamo interrogare le basi di dati come se fossero una sola integrata n Integrazione negli aggiornamenti dei dati, in cui vogliamo effettuare gli aggiornamenti come se ci fosse una sola copia del dato n @ Carlo Batini A. A. 2010 -2011 20

Evoluzione dei prodotti per architetture integrate: due famiglie Guidati dalle applicazioni Enteprise Application Integration (EAI) Application servers Guidati Extract Transform Load/ Data Warehouse W @ Carlo Batini A. A. 2010 -2011 Enteprise Information Integration EII 21

Tecnologie per le due esigenze di integrazione 1. Integrazione nell’ interrogazione dei dati Application integration b) Consolidamento c) Data Warehouse d) Virtual Data Integration a) 2. Application Int. Consolidamento. Data Warehouse Data Integration Integrazione degli aggiornamenti Publish & Subscribe b) Consolidamento a) @ Carlo Batini A. A. 2010 -2011 Publish&Subscribe Consolidamento 22

Architetture di Application Integration cenni @ Carlo Batini A. A. 2010 -2011 23

Tipica architettura di sistema nella Enteprise Application Integration Interrogazioni di accesso Transazioni di aggiornamento Middleware Application 1 Source 1 Application 2 Source 2 @ Carlo Batini A. A. 2010 -2011 Application n Source n 24

Tipica architettura di un middleware EAI per la integrazione degli aggiornamenti Il middleware Publish&Subscribe Transazione di aggiornamento di un oggetto O 1 Middleware 7 Application 1 2 5 6 Source 1 Application 2 4 Source 2 Sottoscrive 3 Application n Source n Pubblica @ Carlo Batini A. A. 2010 -2011 25

Architetture di Information Integration @ Carlo Batini A. A. 2010 -2011 26

Consolidamento Source 1 Source 2 Unique DB Source n …. . Nuova architettura Source n @ Carlo Batini A. A. 2010 -2011 27

Data Warehouse Source 1 Source 2 Data Warehouse middleware Unique DB …. . Source n Una nuova Base di dati Nuova architettura @ Carlo Batini A. A. 2010 -2011 28

Virtual Data Integration Source 1 Source 2 Local schema Mediatore Local schema Global schema Local schema …. . Source n Local schema Nessuna nuova base di dati! Nuova architettura @ Carlo Batini A. A. 2010 -2011 29

Confronto tra le soluzioni Soluzione Quando Vantaggi Svantaggi Consolidamento Organizzazioni gerarchiche - Massima integrazione Alto Rischio organizzativo Publish & Subscribe Organizza- Basi di dati allineate zioni con alta - Basso rischio organizzativo autonomia - Contesa sulla gestione della infrastruttura Data Warehouse Organizzazioni con alta autonomia - - Viene creata una nuova base dati - Accesso a dati non aggiornati Data Organizza- I dati restano nelle fonti Integration zioni con alta - Basso rischio organizzativo autonomia - Accesso a base dati virtuale globale - Accesso all’ultima copia del dato - Nessuna nuova base dati - Aumento potenziale dei costi di progettazione, ma su questo Next. Lab & Futurespace hanno una soluzione 30 Basso rischio organizzativo - Accesso a base dati globale @ Carlo Batini A. A. 2010 -2011

Quindi le soluzioni possibili per la evoluzione della architettura a fini di integrazione sono… 1. 2. 3. 4. 5. 6. Application integration, e in particolare, per la integrazione degli aggiornamenti Publish & Subscribe Consolidamento Data Warehouse Virtual Data Integration A cui aggiungiamo per collegarci con la parte architetture dati …la distribuzione delle basi dati @ Carlo Batini A. A. 2010 -2011 31

Da un DBMS centralizzato a un DBMS distribuito DBMS Global schema Network Local schema @ Carlo Batini A. A. 2010 -2011 32

Il problema Anagrafica Clienti 1 Source 1 Anagrafica Clienti 2 Source 2 Vendite retail Vendite On line Source 3 Source 4 …. . Altri Quale Integrazione? Nuova architettura Come decidere? Source n @ Carlo Batini A. A. 2010 -2011 33 33