ECMWF Weather Forecast Data

Kundenerfolgsgeschichte mit dem Europäischen Zentrum für mittelfristige Wettervorhersagen

Kundenprofil

Das Europäische Zentrum für mittelfristige Wettervorhersagen (EZMW) ist eine unabhängige zwischenstaatliche Organisation unterstützt durch 34 Länder. Es erfüllt zwei Funktionen – als Forschungsinstitut und als 24/7 betriebsbereiter Service, der numerische Wettervorhersagen erstellt und diese unter seinen Mitgliedstaaten verbreitet. Diese Daten sind für die nationalen Wetterdienste in den Mitgliedstaaten komplett frei zugänglich. Das Zentrum bietet auch einen Katalog mit Vorhersagedaten, der von Unternehmen auf der ganzen Welt und von anderen Geschäftskunden erworben werden kann. Die Supercomputer-Anlage (und das damit assoziierte Datenarchiv) bei EZMW ist eines der größten dieser Art in Europa und die Mitgliedstaaten können 25% ihrer Kapazität für eigene Zwecke nutzen.

Die Organisation wurde 1975 gegründet und beschäftigt ca. 300 Mitarbeiter aus mehr als 30 Ländern. EZMW ist eines der sechs Mitglieder der Koordinierten Organisationen, welche noch die Nordatlantikvertrags-Organisation (NATO), den Europarat, die Europäische Weltraumorganisation (ESA), die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OSZE) und die Europäische Organisation für die Nutzung von meteorologischen Satelliten (EUMETSAT) einschließen.

Die Entscheidung für CloudSigma ermöglichte es der Organisation, hohes Volumen an in EZMW generierten Echtzeitdatensätzen in der öffentlichen Cloud von CloudSigma bereitzustellen, wo Mitgliedstaaten auf diese EZMW-Datensätze zugreifen können. Ohne jegliche Intervention seitens der EZMW sind die Mitgliedstaaten in der Lage, direkt die CloudSigma-Plattform zu besuchen, einen eigenen Account anzulegen und so die benötigten Daten zu erhalten.

“Dank CloudSigma können wir heute unseren Mitgliedstaaten etwas anbieten, das wir vorher nicht anbieten konnten, nämlich ihre eigene virtuelle Maschine mit ihrer eigenen Software zu betreiben. Sie kümmern sich um ihre eigenen Lizenzen für diesen Einsatz, wo wir die von ihnen benötigten Daten durch Colocation zusammenführen.”Ricardo Correa, Network Applications Expert @ ECMWF

Die Herausforderung

Die Hauptaufgabe des EZMW besteht darin, seine Mitgliedstaaten mit Wettervorhersageprodukten zu versorgen. Weil viele von diesen Produkten über ein sehr hohes Datenvolumen verfügen (hunderte von Gigabytes bis zu einem Terabyte), stellt deren Verteilung über das Internet keine Option dar.

“Die Internetgeschwindigkeit war so niedrig, dass bis das Produkt ankam die Daten in den Produkten schon nutzlos waren und keinen Wert mehr hatten. Wir reden schließlich über Wettervorhersagedaten. Entweder werden diese in eine Stunde oder weniger geliefert, oder gar nicht.”

Daher suchte das Team nach einer Lösung, wodurch sie die Produkte verarbeiten und diese dann für die Mitgliedstaaten über eine virtuelle Maschine in der Cloud zugänglich machen können. Da EZMW selbst keine virtuellen Maschinen bietet, mussten sie nach einem Public Cloud-Anbieter als Partner suchen.

EZMW suchte nach Kontakten via Helix Nebula – der wissenschaftlichen Cloud-Initiative. Nach den Tests mit einigen Anbietern erwies sich CloudSigma als der einzige Anbieter, der den Anforderungen entspricht.

“Wir haben mit den Anbietern, die bereit waren, uns einen Netzwerktest anzubieten, ein Proof-of-Concept durchgeführt. Die beste Cloud-Lösung hatte CloudSigma, weil sie in der Lage waren, uns die benötigte Bandbreite zu besorgen.”

Die Lösung

Das Haupterfolgskriterium für den EZMW-Anwendungsfall ist es in der Lage zu sein, die Daten rechtzeitig zum jeweiligen Standort der Mitgliedstaaten zu bringen, sodass sie für jeden potenziellen Drittabnehmer von Nutzen sein können, da der Wert von Wettervorhersagen sehr schnell mit der abgelaufenen Zeit sinkt. Deshalb gehörten zu den Hauptanforderungen zum einen ein schnelles Netzwerk, das bis zu 3Gbps für Real-Application-Datenübertragungen von EZMW unterstützt, und zum anderen der die schnelle Speicherlösung, die in der Lage ist, Daten schnell zu schreiben. Dazu wird natürlich auch schnelles Computing benötigt, um die Daten rechtzeitig zu verarbeiten.

“Schnelles Netzwerk und Top-Diskleistung sind die Hauptgründe, CloudSigma vor anderen Anbietern zu bevorzugen.”Ricardo Correa, Network Applications Expert @ ECMWF

Darüber hinaus haben die durch EZMW generierten Produkte einen sehr strikten täglichen Zeitplan und EZMW ist nicht authorisiert, irgendein Produkt vor der planmäßigen Zeit freizugeben. Mit CloudSigma haben beide EZMW und seine Mitgliedstaaten ihre eigenen Accounts und EZMW ist in der Lage, die Produkte an den CloudSigma-Server der Mitgliedstaaten genau zum geplanten Zeitpunkt zu verschicken. Nachdem der Kunde die Daten erhalten hat, kann er die Produkte in seiner virtuellen Maschine nachverarbeiten und die Ergebnisse seinen eigenen Kunden weitergeben.

“Wir stellen diese Produkte bei CloudSigma bereit, da wir eine fantastische Netzwerkbandbreite zu unserem Rechenzentrum bekommen – bis zu 6 Gbps. Als Ergebnis sind wir in der Lage, Produkte unseren Mitgliedstaaten genau zum festgelegten Zeitpunkt zuzusenden.”

Mit den kommerziellen Internetanbietern konnte EZMW die gewünschte Leistung nicht erreichen. Die maximale Leistung war 2Gbps und es gab viele Paketverluste. Bei CloudSigma war die Lösung durch die Nutzung einer privaten Peering-Session mit GEANT über SWITCH.ch mit einer dedizierten Bandbreite von 10Gbps (mit einem Einsatz von 3Gbps 95. Perzentil) ermöglicht. Eine weitere Hauptanforderung für den Anwendungsfall von EZMW ist es, eine hochverfügbare Architektur zu gewährleisten, um “Single Point of Failure” auf Infrastrukturebene zu vermeiden. Das wurde durch die Nutzung der in der Cloud angebotenen ‘Avoid’-Funktionalität für bestimmte Server erreicht, in Kombination mit dem knotenausfalltoleranten Clustered Storage System von CloudSigma. Das von CloudSigma genutzte Clustered Storage System bietet eine hohe Verfügbarkeit und eine ‘Always Live’ Umgebung, die Hardware- und Softwarelebenszyklen ununterbrochen überstehen kann. Das erlaubt die Bereitstellung echter Verfügbarkeits-Cluster-Setups.

Die Auswirkung

Sowohl EZMW als auch seine Kunden sind mit der Serviceleistung sehr zufrieden und nutzen die Cloud neben Lieferung und Empfang der bestimmten Vorhersageprodukte auch für weitere Zwecke. Der erste Kunde, der integriert wurde, dient heute als Beispiel, um diesen EZMW-Service zu bewerben. EZMW ist gerade dabei, seine Kollaboration und Partnerschaft mit CloudSigma zu erweitern, um von dem Ausbau seines eigenen Services weiter zu profitieren.

“Unsere Kunden sind sehr, sehr zufrieden mit dem Service und planen, automatisch horizontal zu skalieren, um alle denkbaren Dinge zu machen.”

Ein Jahr nachdem die Kooperation zwischen EZMW und CloudSigma gestartet wurde, macht EZMW Pläne, von der globalen Exposition von CloudSigma zu profitieren. In Bezug auf ein nahestehendes Projekt hat EZMW Geschäftskunden in den USA, die fordern, dass Daten zu ihren Anlagen geliefert werden.

Dank der Nutzung der Cloud-Infrastruktur ist EZMW jetzt in der Lage, Daten aus den USA mit minimalen Latenzzeiten und somit mit steigender Datenübertragungsleistung zu übertragen. Diese Kunden wurden vorher von einem Proxy-Host in Canada bedient, aber kürzlich wurde die ganze Infrastruktur erfolgreich auf das Rechenzentrum von CloudSigma in Washington DC migriert.

“Der Service ist viel besser als ich erwartet habe. Ich habe diese Netzwerkleistung wirklich nicht erwartet.”Ricardo Correa, Network Applications Expert @ ECMWF

Ausblick in die Zukunft

Der nächste logische Schritt wäre, die die Kunden von EZMW in APAC anzuschauen, welche die CloudSigma-Standorte in Manila, Perth oder Melbourne nutzen und somit die Latenz des derzeitigen Services verbessern können.

“Wir versuchen, unsere Vorhersage an Geschäftskunden über die ganze Welt so schnell wie möglich zu liefern. Allerdings ist die Bandbreite von Europa, insbesondere für Orte wie Malaysia, China oder Singapur, sehr, sehr schlecht. Eine geringe Anzahl an ausgefallenen Paketen würde die Leistung auf ein sehr niedriges Niveau bringen. Mit den neuen Cloud-Standorten von CloudSigma in SEA und Australien werden wir in der Lage sein, viel höhere Leistung im ganzen Pazifischen Raum anzubieten.”

Ein weiterer geplanter Schritt besteht darin, einen Prozess zu nutzen, um automatisch alle virtuellen Maschinen bei CloudSigma zu erstellen und die API für die Erstellung und Bereitstellung der virtuellen Maschinen mit den gesamten von einem bestimmten Kunden benötigten Software und Tools zu nutzen. Auf diese Weise wird EZMW in der Lage sein, ein kundenspezifisches VM-Image vom CloudSigma-Marktplatz zu wählen, welches von EZMW pre-konfiguriert wurde. Zusätzlich können auch die EZMW-Tools, die den Kunden bei der Interpretation und dem Number-Crunchen der erhaltenen Daten helfen, in den Services-Marktplatz von CloudSigma integriert werden.

Download PDF

About Vanya Nikova

Vanya is leading the Global Customer Development Team at CloudSigma. Beside that, she is responsible for a number of big data and big science partners and projects at CloudSigma. She has a Masters in Business Administration from the University of Mannheim, Germany with 10 years of work experience in sales and consulting services.