EAI Enterprise Application Integration CNAM 2004 2005 Laurent

EAI Enterprise Application Integration CNAM 2004 - 2005 Laurent Stumpf

Introduction à l ’EAI z. Qu ’est ce que c ’est ? z. A quels objectifs répond-il ? z. Que fait-il ? z. A qui s ’adresse-t-il ? z. D ’où vient-il ? z. Où va-t-il ?

Qu ’est ce que c ’est ? z. On appelle « plate-forme EAI » : yun serveur d ’intégration comprenant • un moteur de règles • un gestionnaire de message pour le routage et la transformation • un gestionnaire de processus ydes connecteurs • pour dialoguer avec les applications yun MOM (Middleware orienté message)

A quels objectifs répond-il ? z Maîtriser les flux d ’informations entre les différentes applications z Rendre flexible et évolutif les systèmes d ’informations z Diminuer les coûts d ’intégration des applications z Participer à la « progiciellisation » des SI

Que fait-il ? z Une plate-forme EAI assure quatre types de fonctions: y. Routage y. Transformation y. Connection (aux applications) y. Transport z auxquelles on peut ajouter: yla gestion des processus Métier (BPM: Business Process Management)

A qui s ’adresse-t-il ? z. Aux grands Comptes: Olivier Barbé (dir « Strategic Services » de SEEBEYOND) : «Aucun projet en dessous de 100 000 $ » z. Quelques tentatives vers le PME: BIZTALK serveur de flux de MICROSOFT

D ’où vient-il ? z. Des MIDDLEWARES: - support aux liaisons traditionnelles « point à point » - 1 er étage d ’une offre EAI couches transport et session du modèle OSI - quelques exemples: MQSeries d ’IBM Rendez. Vous de Tibco

Où va-t-il ? BPM ? ? IAI EAI ? ? ? Standardisation des middlewares Standardisation des schémas ? ETL

Plan z. Le concept d ’Intégration dans l ’entreprise z. Quelle intégration pour quelle communication ? z. Les différents composants d ’une plateforme EAI z. Panorama des offres & Etudes de cas

Le concept d ’Intégration dans l ’entreprise (Plan) L ’intégration: un nouveau levier technologique au service de la stratégie et de l ’organisation z Avant l ’intégration, l ’échange. . . z L ’intégration au sens Management des entreprises z Typologie d ’intégration z L ’urbanisation: un nouveau chef d ’orchestre z Bémol: l ’intégration dans le cycle des affaires

Avant l ’intégration, l ’échange. . . Echange inter-bancaire Compagnies aériennes Réseaux ferroviaires TARGET / SWIFT Banque A Banque D Relations fournisseurs RELIT / RGV Banque B Salles de marché Banque C EDI « échanges de données informatisées » Le concept d ’Intégration dans l ’entreprise

L ’intégration: une notion de Management des entreprises z Définition: « l ’intégration (verticale) consiste à prendre place verticalement soit vers l ’amont du domaine stratégique actuel, soit vers l ’aval… La diversification (intégration horizontale) pousse l ’entreprise à investir dans des activités ou des marchés hétérogènes. » ENTREPRISE VERTICALE ENTREPRISE CŒUR DE METIER CONGLOMERAT L ’effort d ’intégration technologique et organisationnelle (plus ou moins élevé, de nature différent) dépend de la stratégie de l ’entreprise. Le concept d ’Intégration dans l ’entreprise

Typologie d ’intégration « technologique » CRM L ’intégration « orientée client » ou B to C L ’intégration des SI de l ’entreprise Client A Agence Client A Call Center Client A Internet SI de l ’ENTREPRISE Prix O D L ’intégration « orientée fournisseur » ou B to B Quantité Fournisseur 1 SCM Le concept d ’Intégration dans l ’entreprise Fournisseur 2 Place de marché

Urbanisation, un nouveau chef d ’orchestre z Démarche en provenance du monde bancaire z Objectifs: y Pilote les évolutions du système d ’information par les objectifs stratégiques. y Préserve la cohérence tout en améliorant l ’efficacité du système d ’information z Production: y découpage du SI suivant les axes métier, fonctionnel, applicatif, technique y Cartographie du SI, y Schéma directeur Système d ’information urbanisation Organisation Le concept d ’Intégration dans l ’entreprise Stratégie

l ’intégration dans le cycle des affaires e sanc s i o Cr ne r exte d. Y / dt Part de marché e genc r e v Con a e à l ue s r u Co critiq e taill satio li Fidé n Externa lisation Fusion Acquisi tio n STRATEGIE Croi s inter sance ne Focus on core business e trag de n e c Re cœur le sur r ie mét Part de marché à la e e s r Cou critiqu e taill temps Intégration verticale Désintégration Intégration verticale Intégration horizontale Entreprise en réseaux Intégration horizontale Le concept d ’Intégration dans l ’entreprise

l ’intégration dans le cycle des affaires z. Impact du cycle des affaires: ypour l ’entreprise cliente xsur le périmètre à intégrer xsur le choix des outils ypour l ’éditeur xconsolidation horizontale - convergence de plusieurs technologies xconsolidation verticale - offres déclinées par métier (finance, télécommunications, …) Le concept d ’Intégration dans l ’entreprise

Quelle intégration pour quelle communication ? (Plan) L ’EAI: une couverture rationalisée des besoins d ’échange des entreprises z Quelques problèmes des SI existants… z. . . et gains attendus d ’une plate forme EAI z Les modèles de communication z Les mécanismes d ’échange z Les topologies d ’intégration z Les types d ’intégration

Quelques problèmes des SI existants… ie sans EAI z. Syndrôme « spaghetti » z. Interdépendances des applications z. Interoperabilité difficile zréplication de données (référentielles, vives) non maîtrisée zdifficulté de suivi global zdifficulté de passage au mode fil de l ’eau zmauvaise sécurisation Quelle intégration pour quelle communication ?

Quelques problèmes des SI existants… ie sans EAI Les fonctions classiques d ’une interface

Quelques problèmes des SI existants… ie sans EAI z. Passage d ’un interfaçage en mode Point à un interfaçage « 1 à n » Syndrôme Spaghetti (Métaphore du Gartner Group) Au plus n(n-1) / 2 liens Quelle intégration pour quelle communication ? Architecture Hub and spoke ou Architecture Network Centric n et seulement n liens

. . . et gains attendus d ’une plate forme EAI z. Flexibilité: xmodification d ’une application => modification du hub et non des applications avales z. Robustesse: xsuivi des sauvegardes xsuivi des reprises x. Diminuer les incohérences (ré exécution d ’evnmt) z. Fluidité, Sécurité: xgestion applicative centralisée des échanges Quelle intégration pour quelle communication ?

. . . et gains attendus d ’une plate forme EAI z. Réduire les coûts de développement du SI: y. Réduire les délais d ’implémentation, y. Faciliter la mise en œuvre d ’une infrastructure à base de progiciels : xmoins de développement, plus de paramétrage, y. Permettre la maîtrise et la réutilisation des flux, z. Réduire les coûts d ’exploitation: y. Flexibilité, robustesse

Modèles de communication Mode de connexion Synchrone - http, corba z. Mode conversationnel xune seule connexion - bidirectionnel - demande explicite de déconnexion z. Mode requête, réponse x. Cas particulier - un seul aller-retour - RPC appel de fonction à distance - l ’application émettrice reste bloquée le temps de la requête Quelle intégration pour quelle communication ?

Modèles de communication Mode de connexion Asynchrone - middleware z. Mode message Passing xsans connexion - unidirectionnel - non bloquant pour l ’émetteur z. Mode message Queuing x. Cas particulier du précédent - stockage du message entre l ’émission et la réception z. Mode publish & Subscribe xsans connexion - échange de 1 à n Quelle intégration pour quelle communication ?

Les mécanismes d ’échange z. Par fichiers (FTP - CFT) zvia les ETL x(Extract, Transformation & Loading) xentre les SI Opérationnels et SI Décisionnels xau sein des SI décisionnels z. Par réplication de données xfil de l ’eau ou mode batch xnon intrusif dans les applications xpeu de capacité de reformatage et de routage Quelle intégration pour quelle communication ?

Les mécanismes d ’échange z. MOM (Message Oriented Middleware): x. Transport point à point x. Garantie de délivrance (consommation immédiate du message ou file d ’attente) x. Notification (simulation de synchronisme) x. Priorité via des files d ’attente particulière xsécurité (restriction d ’accès à certains messages) xtriggering (à l ’arrivée de message, activation d ’opération) Quelle intégration pour quelle communication ?

Les mécanismes d ’échange z. MOM (Message Oriented Middleware): y. Le modèle publication & abonnement: x. Mode décentralisé – les applications s ’abonnent à un sujet (file d ’attente) et peuvent poster des messages (ex: mq-put(message, domaine de publication) ) ou y recueillir des messages publiés (ex: mq-subscribe(domaine de publication) ) – intrusif: embarquement de code dans les applications – Particularité: performant à l ’échelle d ’un service (Front Office), difficilement applicable à l ’échelle d ’une grande entreprise – MQSeries 5. 1, MSQM 2000 Quelle intégration pour quelle communication ?

Les mécanismes d ’échange y. Le modèle publication & abonnement: x. Mode centralisé – un hub centralisé est responsable de l ’abonnement et de la publication – l ’administrateur définit les règles de routage de chacun des flux à partir de la file d ’attente ou du contenu – publication dans une file d ’attente et communication en mode point à point avec le hub – fonction de transformation, de routage, de passerelle vers d ’autres hub centralisé – MQSeries Intégrator, e*Gate – Précurseur: Tib/Message broker de Tibco pour les salles de marché Quelle intégration pour quelle communication ?

Les topologies d ’intégration Topologie classique des Middlewares z. Topologie Point à Point • codage de chaque interface en dur dans les applications concernées • Nouvelles applications => Nouvelles connexions => Nouveaux développement Quelle intégration pour quelle communication ?

Les topologies d ’intégration Topologie des EAI z. Topologie bus • « publish & Subscribe décentralisé » - « Architecture Network centric » • bus logique • abonnement d ’une application à une liste de diffusion • pas de routage par le contenu • installation d ’un agent sur chaque application pour l ’interfaçage avec le bus - potentiellement intrusif • référentiel de règles et gestionnaire de messages distribués sur l ’ensemble des nœuds [ point de connexion à une application ] Quelle intégration pour quelle communication ?

Les topologies d ’intégration Topologie des EAI z. Topologie hub and spoke • « publish & Subscribe centralisé » - « Architecture hub and spoke » • envoi de message à un hub central • utilisation fréquente de serveur dédié • non intrusif • reformatage, transformation et routage vers les abonnés Quelle intégration pour quelle communication ?

Les types d ’intégration Politique des petits pas: de l ’intégration niveau données à l ’intégration par les processus z Intégration au niveau données • « intégration par les flux » ou « intégration au niveau information z Intégration par l ’objet • « intégration par les composants » z Intégration par les processus • finalité des EAI • « intégration par les services » orientée Service Web z Intégration niveau utilisateur • « intégration par la présentation » Quelle intégration pour quelle communication ?

Les composants d ’une plate-forme EAI (Plan) z. Les connecteurs z. Le bus d ’échange (message broker en architecture « hub & spoke » , bus logique en architecture décentralisée) z. Le gestionnaire de processus z. L ’administration et la sécurité

Les composants d ’une plate-forme EAI CONSOLE DE TRAVAIL CONSOLE D ’ADMINISTRATION REFERENTIEL SUPERVISION METIER PROCESSUS METIER REGLES DE ROUTAGE FORMATS TRANSFORMATION CONNECTEURS EXPLOITATION MIDDLEWARE TRANSPORT PASSERELLE TRANSPORT MOM FICHIER CONNECTEUR PROGICIEL CONNECTEUR PERSONNALISE CRM SCM ERP SGBD Les composants d ’une plateforme EAI E-MAIL Serv APPL Existant

Les connecteurs Avant les EAI… - adhérence entre applications Application A Application B Principe de non-intrusivité: une application doit rester indépendante des autres applications avec lesquelles elle échange. Les composants d ’une plateforme EAI

Les connecteurs Avec les EAI. . . Application A GESTIONNAIRE DE FLUX Application B Embarquement des API au niveau du moteur de flux Partage d ’un protocole de transport commun - http dans les cas synchrones - ftp ou smtp dans les cas asynchrones Application A GESTIONNAIRE DE FLUX Les composants d ’une plateforme EAI Application B

Les connecteurs z. Fonctionnalités • gérer les accès depuis et vers l ’extérieur, masquer les disparités des différents canaux d ’acheminement et de distribution • assurer la transformation en un format canonique interne en mode message • réduire les efforts d ’intégration par l ’apport de modules préfabriqués • encapsuler les API ( Application Programming Interface) propriétaires des applications à connecter et gérer les protocoles d ’échanges Les composants d ’une plateforme EAI

Les connecteurs z. Trois catégories de connecteurs xles passerelles vers un protocole de transport • • • les fichiers les files de message les protocoles standards de l ’internet le protocole d ’exploitation les protocoles objet les protocoles « du mobile » Les composants d ’une plateforme EAI

Les connecteurs z. Trois catégories de connecteurs xles connecteurs progiciels • connecteurs lourds • connecteurs légers • autres fonctionnalités: – introspection de la configuration d ’un progiciel – ponts entre deux progiciels Les composants d ’une plateforme EAI

Les connecteurs z. Trois catégories de connecteurs xles connecteurs personnalisés • accès aux SGBDR (Oracle, DB 2, …) • interconnexion avec les moniteurs transactionnels (Tuxedo, CICS, …) • personnalisation de connecteurs génériques dans le cas des serveurs d ’application (Web. Sphere, Oracle Application Server, …) Les composants d ’une plateforme EAI

Les connecteurs … fonction du sens de la communication Les composants d ’une plateforme EAI

Les connecteurs … fonction du sens de la communication Attention: il est possible d ’avoir des connecteurs permettant une communication Gestionnaire de flux vers application uniquement (et réciproquement) Les composants d ’une plateforme EAI

Le bus d ’échange Encore appelé « Message Broker » ou « Bus logique » z Trois types de service à valeur ajoutée: x. Transformation des formats de données • intérêt technique - outil dédié à la transformation • intérêt organisationnel - centralisation des compétences x. Aiguillage des flux • Routage statique: configuré en fonction du type de flux • Routage dynamique: varie en fonction du contenu des flux Les composants d ’une plateforme EAI

Le bus d ’échange z Trois types de service à valeur ajoutée: x. Enrichissement « fonctionnel » des flux • agrégation • duplication • scission (éclatement d ’un service en n tâches) • temporisation (coordination de processus de rythme différent) • ordonnancement de tâches exécutées par des applications hébergées sur des plates-formes différentes. Principe: tout traitement complexe d ’un flux doit être externalisé dans des applications spécifiques. Les composants d ’une plateforme EAI

Le bus d ’échange z Files de messages: nécessaire stockage intermédiaire des événements x. Stockage persistant sur disque • pour les communications asynchrones • pour la temporisation x. Stockage volatil (en mémoire) • pour les communications synchrones Les composants d ’une plateforme EAI

Gestionnaire des processus métier z BPM: «Business Process Management » z Aboutissement des plate-formes EAI ? • Exprime les flux en termes de taches utilisateurs, de processus métier plutôt qu ’en terme d ’échanges d ’informations. z Intérêt • (ré)utilisation (combinaison) de processus métier standard • rollback applicatif: si échec au cours d ’une transaction longue, le gestionnaire doit pouvoir revenir en arrière par génération de flux inverses de ceux qui ont déjà réalisé certaines tâches z Origine: les outils de Workflow • permet la circulation de documents selon des processus complexes et mettant en jeu des personnes physiques Les composants d ’une plateforme EAI

Gestionnaire des processus métier z Avant la BPM: Approche Bottom - Up • paramétrage voire développement des connecteurs • paramétrage du bus d ’échange à des fins de routage et de transformation z Après le BPM: Approche Top - Down • création, suivi et administration des processus • génération de code et gestion du paramétrage à destination des connecteurs et du serveur d ’intégration x. Approche Bottom-Up néanmoins nécessaire dans • alimentation du référentiel du gestionnaire de flux en termes de formats et d ’unités de traitements de flux (routage, transformation) • paramétrage des connecteurs Les composants d ’une plateforme EAI

Administration, exploitation et sécurité z Gestion de configuration • cartographie représentant les différentes couches ou charge d ’administration pour chaque couche (Middleware, Bus, processus) • utilisation d ’un référentiel centralisé sur le serveur d ’intégration • pilotage de l ’ensemble des machines participant au hub sur une console unique z Supervision xsuivi immédiat • interfaçage avec les outils d ’exploitation existants (Tivoli, …) (point dur d ’un certain nombre d ’EAI) Les composants d ’une plateforme EAI

Administration, exploitation et sécurité z Supervision xsuivi historique • constitution de statistiques permettant d ’évaluer la qualité de service z Opération à distance • démarrer et arrêter des composants de l ’infrastructure • relancer les flux suite à un incident métier ou technique • sauvegarder et restaurer une configuration Ces opérations doivent pouvoir être menées sur des machines physiques différentes de façon transparente via une seule et même console graphique (exemple: relancer les flux sur un transparente ensemble de machines en une action unique. Les composants d ’une plateforme EAI

Administration, exploitation et sécurité z Sécurité xgestion des partenaires internes (A to A) xgestion des partenaires externes (B to B) • annuaire des participants • droits d ’accès • services de cryptographie xintégration dans un système de sécurité externe z Une nouvelle fonction x. IFA: Information Flow Manager (<=> au DBA des BD) Les EAI couvrant des fonctionnalités de B to B sont « naturellement » plus développés en matière de sécurité. Les composants d ’une plateforme EAI

Panorama des offres & Etudes de cas (Plan) z. Les architectures en concurrence z. Intégration des besoins B to B z. EAI versus ETL z. Etudes de cas z. Les bonnes pratiques

Les architectures en concurrence Panorama des offres & Etudes de cas

Les architectures en concurrence APPLICATION APPLICATION APPLICATION MESSAGE BROKER APPLICATION MESSAGE BROKER ARCHITECTURE HUB & SPOKE ARCHITECTURE NETWORK CENTRIC APPLICATION APPLICATION MESSAGE BROKER APPLICATION Panorama des offres & Etudes de cas ARCHITECTURE MULTI-HUB

Les architectures en concurrence z Avantage de l ’architecture Network Centric: • répartition naturelle de la charge sur chacun des nœuds [ gestion de charge complexe en environnement hub and spoke ] z Avantage de l ’architecture Hub and Spoke: • administration : tous les messages passent par le hub référentiel (règles de routage et de transformation) centralisé • évolutivité au niveau tarifaire: achat de hub au fur et à mesure de la montée en charge [ plate-forme Network Centric facturée en fonction du nombre de nœuds ] Panorama des offres & Etudes de cas

Intégration des besoins B to B Panorama des offres & Etudes de cas

Intégration des besoins B to B z Quelques remarques: • différence majeure entre EAI et IAI (Internet Application Integration): – les EAI sont orientés « transactionnel » – les IAI sont orientés « document » • dépend de l ’origine de la consolidation (force & faiblesse des offres consolidées) • dépend du cycle des affaires • Se concentrer sur ce que l ’on sait bien faire • Web. Methods semble un bon compromis Il s ’agit de trouver le niveau d ’intégration technique le plus transparent possible pour l ’entreprise dans la conduite de ces affaires. Panorama des offres & Etudes de cas

EAI versus ETL z Les 5 générations d ’ETL selon ACTA: • 1ère génération: époque Mainframe - génération de code Cobol - domaine décisionnel • 2ème génération: avènement du client-serveur - langage SQL • 3ème génération: interfaces permettant de modéliser graphiquement les échanges & les transformations - console d ’administration centralisée • 4ème génération: gestion des flux de données en temps réel et en différé - distributeur de message - les entreprises seraient à la troisième ou quatrième génération • 5ème génération: extension des fonctionnalités au domaine opérationnel (API bi-directionnel; message broker; …) Panorama des offres & Etudes de cas

EAI versus ETL z Quelques remarques: • Discours marketing des éditeurs d ’ETL • Argument des éditeurs d ’EAI: le domaine de l ’ETL est celui de l ’échange de donnée. Le domaine de l ’EAI est celui de l ’échange de données et de l ’exécution distante de tâche selon un processus métier • Les ETL semblent insuffisant au niveau du routage • « Information Builders » se dit concurrent de – BO (outil de requêtage) – Acta (outil d ’ETL) – Web. Methods (outil d ’EAI) !!! Panorama des offres & Etudes de cas

EAI versus ETL z Utiliser les outils pour ce qu ’ils savent faire: x. Choix entre un outil générique ou plusieurs outils spécialisés • L ’outil générique est bien souvent le fruit de rapprochement d ’outils spécialisés. • ETL: traitement des fichiers, traitement de la volumétrie, outil de transformation • EAI: outil de routage, de gestion d ’évènements Panorama des offres & Etudes de cas

Source Gartner Group (Mai 2003) Les solutions du marché web. Methods est l ’un des leaders du marché de l ’EAI Tibco est en passe de fermer ses bureaux de France

Etude de cas: Bouygues Telecom z Besoins: • rendre assez souple le SI pour s ’adapter à un métier en changement perpétuel • améliorer le service client z Trois problématiques: • un vaste structure commerciale: 5 millions de client - plusieurs centaines de processus métier - plusieurs milliers de conseillers d ’appel - • une offre mouvante: renouvellement de produit, offres spéciales… • multiplication des points de contacts clients: téléphone, minitel, web Panorama des offres & Etudes de cas

Etude de cas: Bouygues Telecom z Existant: • un progiciel de gestion intégré: architecture client - serveur autour d ’une base client z Implémentation d ’un EAI: • plate-forme d ’intégration: Web. Methods • durée du projet: 1 an et demi (incluant les phases de conseil et déploiement) • Equipe: 40 personnes • Coût produit: 1 000 de francs environ • Etape incontournable: la modélisation des processus Panorama des offres & Etudes de cas

Etude de cas: GAN Capitalisation z Besoins: • manque de flexibilité du SI par rapport à la stratégie client et services de l ’entreprise • problème de productivité lié au développement cobol z Architecture visée: • mainframe en back office associé à des dev CICS • front office construit autour de la BD ORACLE 8 i et Conso+ (solution de gestion de la relation client Oracle) • un datawarehouse sous DB 2 • site Web conçu autour du serveur d ’application websphere et d ’une base DB 2 Panorama des offres & Etudes de cas

Etude de cas: GAN Capitalisation z Solution d ’EAI: • Web. Methods est retenu (Enterprise Server pour la solution EAI, B 2 B Server pour la solution Bto. B) • arguments: pérennité, implantation en France, module d ’administration des flux, nombre de connecteurs DB 2 ENTREPRISE SERVER MESSAGE XML BACK OFFICE FRONT OFFICE Panorama des offres & Etudes de cas B to B SERVER SERVEUR WEB

Les Bonnes Pratiques Coexistence des technologies d ’échange et d ’intégration Tous les flux ne sont pas candidats à être traités par l'EAI A paramétrer - une infrastructure (bus) de transport, des connecteurs, moteurs de transformation et routage (1 to N évolué), A développer - une application de workflow basée sur le bus EAI MOM - un middleware de transport asynchrone essentiellement de type 1 to 1 ou 1 to N simple sans intelligence. - des APIs « hautes » pour s ’y interfacer : JMS, MQI - envoi de 1 à N lots de données (éventuellement volumineuses) pour être traitées en même temps. Moniteur TP Transfert de fichiers - gestion des transactions selon les propriétés ACID (Atomicité, Consistance, Isolation, Durabilité), - à terme, complètement intégré dans les serveurs d ’application - pilotage assuré par la production. RPC, RMI/IIOP - appel synchrone de programme à programme, - solution à fort couplage entre les 2 SSA concernés

Les types d ’intégration Politique des petits pas: de l ’intégration niveau données à l ’intégration par les processus z. Intégration au niveau données • « intégration par les flux » • interface unifiée à toute nouvelle application • implémentation d ’un minimum de règles fonctionnelles z. Intégration par l ’objet • • « intégration par les composants » synchronisation de plusieurs applications et/ou BD reengeniering, modélisation nécessaire dans les opérations de fusion / acquisition Quelle intégration pour quelle communication ?

Les types d ’intégration z. Intégration par les processus • finalité des EAI • situation: applications hétérogènes et distribuées au sein d ’un processus métier donné • dialogue broker - applications ou bus - applications grâce à des API de haut niveau • risque: implémentation d ’un grand nombre de fonctionnalités => perte de flexibilité et d ’ouverture (se limiter à de la programmation linéaire (if. . . Then… else)) Quelle intégration pour quelle communication ?