Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen

Logo des Norddeutschen Verbundes für Hoch- und Höchstleistungsrechnen (HLRN)

Der Norddeutsche Verbund zur Förderung des Hoch- und Höchstleistungsrechnens (HLRN) wurde 2001 durch ein Verwaltungsabkommen der sechs norddeutschen Bundesländer Berlin, Bremen, Hamburg, Mecklenburg-Vorpommern, Niedersachsen und Schleswig-Holstein mit dem Ziel der gemeinsamen Beschaffung und der Inbetriebnahme eines Computersystems zur Bearbeitung von Grand Challenges gegründet. Ende 2012 trat auch Brandenburg dem HLRN-Verbund bei^[1].

Der HLRN betreibt seit 2002 gemeinsam ein verteiltes Supercomputersystem an den Standorten Konrad-Zuse-Zentrum für Informationstechnik Berlin (Zuse-Institut Berlin, ZIB) und Georg-August-Universität Göttingen (seit 2018; zuvor: Gottfried Wilhelm Leibniz Universität IT Services Hannover).

Organisation und Struktur

Das oberste Gremium des HLRN ist der Verwaltungsrat^[2], der sich aus je einem Vertreter der Ministerien bzw. Senatsbehörden eines jeden Mitgliedslandes zusammensetzt. Der Verwaltungsrat entscheidet über alle gemeinsamen Angelegenheiten, die von grundsätzlicher Bedeutung sind.

Zu den ständigen Kommissionen des HLRN gehören der Wissenschaftliche Ausschuss und die Technische Kommission. Der Wissenschaftliche Ausschuss entscheidet über die Zulassung von Projekten und die Vergabe von Betriebsmitteln (Kontingenten). Die Technische Kommission berät den Verwaltungsrat und die Betreiberzentren während der Planung und in allen technischen Fragen. Die HLRN-Fachberater unterstützen in einem überregionalen Kompetenznetzwerk die Anwender und ihre Projekte.

Nutzung und Anwendungen

Das HLRN-System kann auf Antrag von Wissenschaftlern der Universitäten und Forschungseinrichtungen der sieben norddeutschen Länder genutzt werden. Anderen Anwendergruppen steht das System auf Antrag und gegen Gebühr zur Verfügung.

Die Rechnerressourcen werden vor allem für numerische Modellrechnungen aus den Hauptanwendungsgebieten Umweltforschung, Klima- und Meereswissenschaften, Ingenieuranwendungen wie Aero- und Fluiddynamik (zum Beispiel Flugzeug- und Schiffbau) sowie Grundlagenwissenschaften wie Physik, Chemie und Lebenswissenschaften genutzt. Anwendungsgebiete sind unter anderem die Triebwerksentwicklung, die Vorhersage von Wirbelstürmen, die Optimierung von Windenergieanlagen sowie die Klima- und Meeresforschung^[3].

Aus Sicht der Nutzer wirkt das über die beiden Standorte in Berlin und Hannover verteilte System wie ein großer Komplex (Einsystemeigenschaft). Beispielsweise verteilt ein gemeinsames Batchsystem Rechenjobs auf die beiden HLRN-III Komplexe. Die Nutzerverwaltung, Abrechnung sowie die Systemadministration erfolgen zentralisiert.

Historie

HLRN-I

Von 2002 bis 2008 betrieb der HLRN-Verbund an den beiden Standorten in Berlin und Hannover einen symmetrisch verteilten Parallelrechner IBM pSeries 690 (Regatta) aus insgesamt 1024 IBM Power4-Prozessoren. Die beiden Standorte waren über eine dedizierte Glasfaserverbindung (HLRN-Link) miteinander verbunden. In der TOP500 Liste von November 2002^[4] belegten die beiden Standorte die Plätze 44 und 45.

HLRN-II

(c) Foto: Axel Hindemith, CC BY 3.0

HLRN-II-Rechner am Standort Hannover

Von 2008 bis Anfang 2014 betrieb der HLRN-Verbund ein Computer-System von SGI, das ebenfalls symmetrisch über die beiden Standorte verteilt und über eine dedizierte Glasfaserverbindung mit 10GigE miteinander verbunden waren.

In einer ersten Ausbaustufe wurden Mitte 2008 an den beiden Standorten jeweils 44 SGI Altix XE 250-Server sowie 320 SGI Altix ICE 8200+-Blades installiert. Jeder Rechenknoten war mit je zwei Intel Xeon E5472 Quad Core (Harpertown)-Prozessoren mit 3,0 GHz ausgestattet. Der Hauptspeicher umfasste 64 GByte (Altix XE) bzw. 16 GByte (Altix ICE 8200+). Alle Rechenknoten waren über ein 4x DDR Infiniband-Netzwerk für die Kommunikation und den Datenaustausch über MPI untereinander, sowie über ein weiteres 4x DDR Infiniband-Netzwerk mit einem 405 TByte großen globalen Hintergrundspeichersystem auf Lustre-Basis verbunden, und wurden mit dem freien Betriebssystem Linux betrieben. Der Hauptspeicherausbau der ersten Stufe umfasste acht TByte, die maximale Rechenleistung (Peak Performance) betrug 35,3 TFlop/s.

In einer zweiten Ausbaustufe wurden Mitte 2009 an jedem Standort jeweils vier weitere SGI Altix XE 250-Server sowie 960 SGI Altix ICE 8200+-Blades installiert, wobei die neuen Blades mit je zwei Intel Xeon X5570 Quad Core-(Nehalem EP Gainestown)-Prozessoren mit 2,93 GHz und 48 GByte Hauptspeicher ausgestattet und über 4x DDR Dual Rail-Infiniband verbunden waren. Das globale Hintergrundspeichersystem wurde auf 810 TByte je Standort erweitert. Der Hauptspeicherausbau der zweiten Stufe umfasste 45 TByte, die maximale Rechenleistung (Peak Performance) betrug 90 TFlop/s.

In der TOP500 Liste vom November 2009^[5] belegten die beiden Standorte die Plätze 39 und 40.

In einer dritten Ausbaustufe wurden Mitte 2010 an beiden Standorten jeweils fünf SGI Altix UltraViolet 1000 installiert. Jeweils vier von diesen Systemen, je Standort, umfassten jeweils 32 Blades mit je zwei Intel Xeon X7560 Octo Core (Nehalem EX Beckton)-Prozessoren mit 2,23 GHz und 64 GByte Hauptspeicher. Die 32 Blades eines jeden Systems waren über einen SGI NUMAlink5 miteinander verbunden und stellten damit einen 2 TByte großen globalen Adressraum als NUMA-System zur Verfügung. Das fünfte System umfasste jeweils 24 Blades mit insgesamt 1,5 TByte globalem Hauptspeicher.

Außerdem umfasste das Gesamtsystem circa 20 TByte für Heimatverzeichnisse, die zwischen den beiden Standorten synchron repliziert wurden, sowie zwei Archivspeichersysteme auf Basis der StorageTek SL8500 Tape Library von Oracle mit insgesamt 6,5 PByte Speicherkapazität.

HLRN-III

(c) Foto: Axel Hindemith, CC BY 3.0

Supercomputer Gottfried des HLRN-III-Systems Anfang 2014 beim Leibniz Universität IT Services in Hannover

Im Herbst 2013 ging die dritte Generation des HLRN in Betrieb^[6]. Mitte Januar 2014 wurde die Phase 1 des im Endausbau 2,6 PetaFlop/s-System der Firma Cray offiziell eingeweiht^[7]. Die HLRN-III-Komplexe stehen beim Leibniz Universität IT Services (LUIS), früher RRZN, in Hannover sowie am Konrad-Zuse-Zentrum für Informationstechnik Berlin (ZIB) und sind über eine dedizierte Glasfaserverbindung von 10GigE miteinander verbunden^[8]. Der Komplex in Hannover ist nach dem Universalgelehrten und Mathematiker Gottfried Wilhelm Leibniz als Gottfried benannt^[9]. Der Komplex in Berlin trägt den Namen Konrad des Computerpioniers Konrad Zuse.

Die erste Phase der beiden Cray XC30 Rechner bestand jeweils aus 744 Rechenknoten mit insgesamt 1488 Dual-Socket Xeon E5-2695v2-Prozessoren von Intel mit insgesamt 93 TB Hauptspeicher, die über ein schnelles Cray Aries-Netzwerk mit Dragonfly-Topologie verbunden sind. Sie bieten gegenüber dem Vorgängersystem HLRN-II die doppelte Rechenleistung.

HLRN-III Supercomputer Konrad am Zuse-Institut Berlin nach der Erweiterung im Herbst 2014

In einer zweiten Ausbauphase im Herbst 2014 wurde der HLRN-III auf insgesamt 3552 Rechenknoten mit 85248 Compute Cores mit 1872 Rechenknoten in Berlin^[10] und 1680 Rechenknoten in Hannover^[11] und zusammen 2,7 PetaFlop/s Peak Performance sowie 222 TB Hauptspeicher erweitert. Dadurch wurde die Rechenleistung des Systems gegenüber dem Vorgängersystem HLRN-II verzehnfacht.

Ergänzt werden die massiv-parallelen Supercomputer durch Serviceknoten für Login, Datenmanagement sowie speicherintensives Pre- und Postprocessing. Am Standort Hannover stehen für weniger skalierende und speicherintensive Anwendungen 64 SMP-Knoten mit je 4 Intel Xeon-Prozessoren und je 256 bzw. 512 GB Hauptspeicher zur Verfügung. Von den Supercomputern, den SMP-Komponenten und den Serviceknoten können Nutzer auf ein paralleles Dateisystem (Lustre) mit einer Gesamtkapazität von 2,7 PB zugreifen.

In der TOP500 Liste von November 2014^[12] belegen die beiden Supercomputer die Plätze 51 und 61^[13] (Plätze 118 und 150 in November 2017).

Die Investitionskosten, die von den sieben am HLRN beteiligten Bundesländern sowie dem Bund jeweils zur Hälfte getragen werden, belaufen sich auf 30 Millionen Euro. Ende 2014 nutzen mehr als 850 Wissenschaftler im Rahmen von über 150 Großprojekten die Rechenleistung des HLRN-III.

HLRN-IV

2018 wurden die Kaufverträge für die neuen Hochleistungsrechnersysteme der vierten Generation des HLRN mit den beiden Komponenten „Lise“ und „Emmy“ an den Standorten Berlin und Göttingen unterzeichnet. Die beiden Systemkomponenten sind nach den der Physikerin Lise Meitner und der Mathematikerin Emmy Noether benannt. In der TOP500 Liste von November 2020 belegen die beiden Supercomputer die Plätze 47^[14] und 55^[15]. Die neuen HLRN-IV-Rechnersysteme der Firma Atos/Bull im Wert von 30 Millionen Euro wurden in zwei Phasen (Phase 1 im Jahr 2018, Phase 2 im Jahr 2019) installiert und von den sieben HLRN-Ländern (Berlin, Brandenburg, Bremen, Hamburg, Mecklenburg-Vorpommern, Niedersachsen und Schleswig-Holstein) sowie dem Bund jeweils zur Hälfte finanziert. Der HLRN-IV ersetzt die bisherigen HLRN-III-Systeme und wird mit knapp einer Viertelmillion Rechenkernen, rund 1000 TB Hauptspeicher und einer Rechenleistung von circa 16 PetaFlop/s die verfügbare Leistung etwa versechsfachen. Damit bietet er den Forschern die Möglichkeit für noch präzisere Modellrechnungen, z. B. in der Umweltforschung, in den Lebens-, Material- und Ingenieurwissenschaften und in der Grundlagenforschung auf den Gebieten der Physik, Chemie und Mathematik.

Das seit der Installation des HLRN-I-Systems im Jahr 2002 bewährte Konzept mit zwei Betreiberstandorten in den Ländern Berlin und Niedersachsen wird vom HLRN-Verbund weiterhin verfolgt. In Berlin und Niedersachsen sind die Betreiberzentren das Zuse-Institut Berlin und die Georg-August-Universität Göttingen, die aufgrund ihrer langjährigen Erfahrung mit Betrieb und Weiterentwicklung von Hoch- und Höchstleistungsrechnern durch die Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen die kompetente systemtechnische Betreuung der Nutzer transparent sicherstellen werden.

Zentren für Nationales Hochleistungsrechnen

2020 einigten sich Bund und Länder in der Sitzung der Gemeinsamen Wissenschaftskonferenz (GWK) darauf, insgesamt acht Zentren für Nationales Hochleistungsrechnen (NHR) zu etablieren. In die Förderung aufgenommen wurden die Standorte Berlin und Göttingen. Damit verbunden sind Fördermittel in Höhe von insgesamt rund 144 Millionen Euro über zehn Jahre, von denen die Standorte Berlin und Göttingen jeweils rund 72 Millionen Euro erhalten.^[16]

Weblinks

• Webseite des HLRN

Einzelnachweise

1. ↑ Änderungsabkommen zum HLRN-Verwaltungsabkommen vom 14. Dezember 2012
2. ↑ Organisation und Struktur des HLRN
3. ↑ Pressemitteilung des Niedersächsischen Ministeriums für Wissenschaft und Kultur: Grünes Licht für Norddeutschlands größten Supercomputer vom 16. Januar 2014
4. ↑ TOP500 von November 2002
5. ↑ TOP500 von November 2009
6. ↑ HLRN-Pressemitteilung „Neuer Supercomputer für die Spitzenforschung in Norddeutschland“ vom 17. Dezember 2012
7. ↑ Feierliche Einweihung des HLRN-III Hochleistungsrechners in Hannover
8. ↑ Norddeutschlands Supercomputer läuft bei ndr.de vom 16. Januar 2014
9. ↑ Bernd Haase: Hannovers neuer Supercomputer. Gottfried gibt Gas in: Hannoversche Allgemeine Zeitung vom 16. Januar 2014
10. ↑ 744 Knoten mit Dual-Socket Intel Xeon E5-2695v2 Ivy Bridge und 1128 Knoten mit Dual-Socket Intel Xeon E5-2680v3 Haswell-EP
11. ↑ 744 Knoten mit Dual-Socket Intel Xeon E5-2695v2 Ivy Bridge und 936 Knoten mit Dual-Socket Intel Xeon E5-2680v3 Haswell-EP
12. ↑ TOP500 von November 2014
13. ↑ HLRN NewsCenter Artikel Gottfried and Konrad in the Top 500
14. ↑ Emmy+ - BullSequana X, Intel Xeon Platinum 9242/Gold 6148, Intel Omni-Path. TOP500, abgerufen am 28. Dezember 2020. 
15. ↑ Lise - Bull intel Cluster, Intel Xeon Platinum 9242 48C 2.3GHz, Intel Omni-Path. TOP500, abgerufen am 28. Dezember 2020. 
16. ↑ Förderung von acht Rechenzentren im Rahmen des Nationalen Hochleistungsrechnens beschlossen. Gemeinsame Wissenschaftskonferenz (GWK). Abgerufen am 19. November 2020.