Data Factory ist nach HIPAA lio aus o

Data Factory ist nach HIPAA, lio aus o f t r o P HITECH, ISO/IECW 27001, elche V sende finierten h c a o w r ISO/IEC 27018 und CSA STAR kenn… tnisse sr 90 vorde zliche t ä i e n s d h b u i z ü l f reich? zertifiziert. s ohne r o t c e … Conn Kosten denn g n u s ö L e Cloud n i e o s Ist sicher? en von t r A i e r Was ist tützt d gger, Trigger „vorhande s r e die „AD t n u n i r e F T S S F“? e I AD t S r n P e a a l d k p p e o e e t r e r g e L a : t i u f n s t c r & Shift i h Trigge llierende Fen igger n A ü z b u e r r e r tragen u für ro erte T i s a b a s i u s führen“ nd in ADF ereign … so ein Datenintegratio fach? n sowie für Anfänger und P rofis in einem Tool? echt r e g s f r a as bed d h c i en? Kann skalier Azure Data Factory Hybriddaten-Integrationsdienst, der ETL bedarfsorientiert vereinfacht Das ko stet do ch IScthimkm antneds, ada Unsummen, oder? Azur Factory m mistsso ir die bek gar esp. Daartean. . ? annten SS -Tools bie IS tet, die m i r schon vertraut s ind. ? 1 Christopher Münch, BI-Entwickler Torsten Ahlemeyer, IT-Projektleiter arelium Gmb. H, Langenfeld arelium Gmb. H - 07. 12. 2020 nd ELTKann ich u L T E n o v n w stelle und Con i. Errklich Cip onetliineuso ohne Code… p tin. H us Integ n? uoyubsrid Deliverfu tioniereratio k n y kann das (CI/CD) nutz n en?

Über uns Christopher Münch arelium Gmb. H 40764 Langenfeld 2 Torsten Ahlemeyer www. arelium. de christopher. muench@arelium. de arelium Gmb. H 40764 Langenfeld @Kurzarm. SQLer www. arelium. de torsten. ahlemeyer@arelium. de Bachelor in Informatik IT-Berater, BI-Developer C#. net, SSIS, SSRS, SSAS, Cubes, MDX, Azure Plattform, … Dipl. Wirtschaftsinformatiker IT-Berater, Projektleiter, Sprecher >17 Jahre Berufserfahrung mit dem SQL Server, T-SQL-Spezialist arelium Gmb. H - 07. 12. 2020

Agenda Ø Warum nicht weiter wie bisher? Nachteile bisheriger Lösungen mit Stored Procedures und SSIS-Paketen. . Ø Was ist die „Azure Data Factory“? Hauptfunktionen, Anwendungsfälle, Verbreitung, Cloud Ø Wie ist der interne Aufbau? Was passiert „hinter den Kulissen“? Ø Einführung in die Werkzeuge Die Web-Oberfläche, das Lizenzmodell, die Konfiguration, Security Ø Konkretes Implementierungsbeispiel Wir importieren uns 3, 5 Mio. Datensätze, wandeln diese bedarfsgerecht um und schreiben sie in neue Datensenken 3 arelium Gmb. H - 07. 12. 2020

Worum geht es? Die Herzstücke einer jeden Analyse, jedes Vorhabens zum Thema „maschinelles Lernen“ und jedes Business Intelligence Projektes sind… Daten! Allerdings gibt es davon immer mehr und diese Masse ist in immer kürzerer Zeit auszuwerten. Wege wie Stored Procedures direkt in relationalen Datenbanken oder die bisherige Lösung „SSIS“ kommen mittlerweile an die Performance-Grenze. 4 arelium Gmb. H - 07. 12. 2020

Das Problem… Ohne Daten kann man die Vergangenheit nicht analysieren, um daraus zu lernen und Voraussagungen für die Zukunft abzuleiten. Je mehr Daten und je strukturierter diese vorliegen, je besser werden die Erkenntnisse und Vorhersagen. Doch nur seltenliegen Daten von verschiedenen Systemen in einem einheitlichen Format vor. Meistens muss man Daten Exportieren (E), Transformieren (T) und wieder Laden (L), was zu den traditionellen ETL-Pipelines führt. Daten zu sammeln, zu ordnen, ihre Typen anzugleichen, Informationen zusammenzuführen oder zu verknüpfen, Details in weiteren Quellen nachzuschlagen, usw… ist harte Arbeit, bevor man mit der Auswertung überhaupt beginnen kann! 5 arelium Gmb. H - 07. 12. 2020

Kaggle. com Suchworte: „USA airport dataset“ Download einer ZIP-Datei (~45 MB), die eine CSV-Datei (~ 0, 5 GB) mit mehr als 3, 5 Mio. Datensätze über Flugbewegungen zwischen US-Airports enthält. 6 arelium Gmb. H - 07. 12. 2020

Und warum in die Cloud? Ø Wie potent muss meine Hardware ausgelegt sein? Ø Wieviel RAM benötigt der Datenbankserver? Ø Wieviel Plattenplatz benötige ich? Ø Wie schaffe ich Ausfallsicherheit bspw. durch redundante Anbindung? Ø Wie meistere ich in x Jahren ein Hardwareupdate? Ø … Ø Wie bekomme ich das Szenario fachgerecht abgesichert? Ø Wie kann ich von all den weiteren Cloud-Diensten von Microsoft am einfachsten profitieren? Ø Wie komme ich an geeignete Ressourcen, wie bspw. BI-Developer? Ø Welche Technologie unterstützt bei der Entwicklung am besten Ø Wo ist der Anteil an teurem und selbstgeschriebenem Code höher? Ø Wieviel Aufwand ist es, „fremde“ Datensenken zu lesen oder zu schreiben? Werden auch exotische Formate unterstützt? 7 arelium Gmb. H - 07. 12. 2020

Azure Data Factory Ø Cloudbasierter ETL-Dienst ØSeit Mitte 2018 als v 2 verfügbar Ø Platform as a Service ØServerless, pay as you go Ø Codeless Development ØErstellung & Verwaltung über Webseite Ø Versionsverwaltung & CI/CD ØGibhub / Azure Dev. Ops Repos & Pipelines 8 arelium Gmb. H - 07. 12. 2020

Azure Data Factory Ø Über 90 verschiedene Connectoren, die als Quelle verwendet werden können Ø Support für alle gängigen Dateiformate ØCSV, JSON, Avro, Parquet, Excel… Ø Nahezu unendliche Skalierbarkeit ØVerwendung von Apache Spark ØVerarbeitung mit bis zu 256 CPU-Kernen möglich Ø Support für SSIS ØAktuelle SSIS-Pakete können in die ADF verschoben werden 9 arelium Gmb. H - 07. 12. 2020

Azure Data Factory DEMO 10 arelium Gmb. H - 07. 12. 2020

Alle Skripte & Folien 11 arelium Gmb. H - 07. 12. 2020

Vielen Dank! Wir freuen uns über Feedback! 12 arelium Gmb. H - 07. 12. 2020

Quellennachweise 28 -29 Ø Ø Ø 13 https: //pixabay. com/vectors/checklist-task-to-do-list-plan-1295319/ https: //pixabay. com/de/photos/birne-strom-energie-glas-lampe-546859/ https: //pixabay. com/de/illustrations/fragezeichen-frage-antwort-1019820/ https: //pixabay. com/illustrations/matrix-network-data-exchange-1027571/ https: //pixabay. com/vectors/checklist-task-to-do-list-plan-1295319/ arelium Gmb. H - 07. 12. 2020