FME Server als multidimensionale Rasterdatendrehscheibe Zwei Jahre Erfahrung

FME Server als multidimensionale Rasterdatendrehscheibe. Zwei Jahre Erfahrung Estelle Grüter, Meteo. Schweiz / Pierre Terrettaz, INSER Fribourg, 23 mai 2013

Meteo. Schweiz / INSER Estelle Grüter / Pierre Terrettaz § The Mission: Integration von Rasterdaten aus diversen Datenquellen ins Meteo. Schweiz Data Warehouse § The Solution: ETL mit FME Server • Import in eine zentrale Ablage (inkl. zentralem Metadaten Repository) • Realisierung eines generischen Auszugstools für Rasterdaten, die im DWH abgelegt sind. • Einbindung in Applikationen (Data Streaming Service): - Direkter Zugriff auf Datenbasis mit R (Statistikpaket) - Direkter Zugriff auf Datenbasis zur Datenvisualisierung mit Climap • Räumliche Aggregierung: Applikation zur Erstellung von aggregierten Statistiken 23/05/2013 FME World Tour 2013 2

Raster Daten bei Meteo. Schweiz produziert verschiedenste Arten von Rasterdaten: Interpolierte Klimadaten (Net. CDF) Analysen für Kurzfristprognosen (GRIB) Derivate aus Satellitendaten (Net. CDF) Radardaten (GIF) 23/05/2013 FME World Tour 2013 Modelldaten (GRIB) 3

Vor dem Data Warehouse R 7 Bisherige Verarbeitung von Rasterdaten bei Meteo. Schweiz nur mit Zusatzaufwand möglich Net. CDF Dezentrale Archivierung Climate analysis GIF Radar information extern gerechnet § Diverse Analysis etc. 23/05/2013 Grafiken auf Internet ASCII All raster data in individual formats FME World Tour 2013 GIS, . . KML OGC 4

Mit dem DWH R 7 und FME Server Spatial aggregation Net. CDF XML MAP (PNG, PDF, JPG) Climate analysis Spatial data transformation GIF Radar information Geodata Mgmt Geodatabase ASCII Diverse Analysis Climap (via HTTP) Central repository for metadata Datasets: full extent or subset GIS, . . etc. 23/05/2013 IMAGE (Net. CDF, TIFF, ASCIIGRID, GIF) FME World Tour 2013 Products combining different data sources R Interface (via HTTP) GIS 5

Automatischer Import § Daten • Ungefähr 1500 Bilder pro Tag • Schon ungefähr 1 Mio Bilder im Raster Catalog § FME Server • Performant und stabil 23/05/2013 FME World Tour 2013 6

Export (automatisch – kundenspezifisch) § Flexibel, performant und stabil • Unterschiedliche Formate • Pixelinhalt Transformation - Coded/physical content • Unterschiedliche Regionen - Bounding Box - Region • Unterschiedliche Zeitperiode - Previous hour/day/month/year - Last_n_minutes • Scheduling - Realtime (synchronisiert mit dem Import) - Scheduled (daily, monthly) 23/05/2013 FME World Tour 2013 + code MHS 7

Schlussfolgerung § FME Server Zentrale, entscheidende Komponente für erfolgreiche Implementation des zentralen Rasterdatenrepositories • Flexibel - z. B. im Hinblick auf die Integration neuer Rasterdatenformate • Stabile und performante Lösung trotz rasant wachsendem Datenzuwachs § Zusammenarbeit mit Safe und INSER • Es war beeindruckend, wie aufgeschlossen , flexibel und entgegenkommend Safe. com auf unsere teilweise ungewöhnlichen Anforderungen reagiert hat (z. Bsp. Schnittstelle zu R, Net. CDF Writer) • Sehr positive Zusammenarbeit mit INSER mit hoher Fachkompetenz der involvierten Mitarbeiter, die viel zum Erfolg der implementierten Lösung beigetragen haben. Herzlichen Dank an Safe. com und INSER ! 23/05/2013 FME World Tour 2013 9