Daten werden immer schneller und in immer größeren Mengen erzeugt, z.B. in der Forschung, im Medienbereich oder in der Diagnostik. Das Problem der Speicherung und Archivierung löst das Software-Produkt PoINT Archival Gateway, das große Datenmengen mit hohen Transferraten direkt und sicher auf Tape-Speichersystemen speichert.
High Performance S3 Object Storage
PoINT Archival Gateway ist ein Software-basierter und hoch performanter Objektspeicher, der Tape-Libraries als Zielspeicher unterstützt. In dieser Kombination lassen sich Datenmengen im dreistelligen Petabyte-Bereich problemlos speichern und archivieren. Entscheidend dabei ist, dass PoINT Archival Gateway die Datenmengen schnell entgegennimmt und sicher auf die Tape-Medien schreibt. Die Daten können performant wieder gelesen werden. Durch die hohe Skalierbarkeit unterstützt PoINT Archival Gateway Transferraten von mehr als 1 PB pro Tag.
S3 REST API
Als Schnittstelle für Anwendungen, die große Datenmengen schnell speichern müssen, bietet PoINT Archival Gateway ein standardisiertes S3 REST API. Damit ist die Software ohne Anpassungen verwendbar für die stark steigende Anzahl von Applikationen, die Objekt-basierte Speicher auf Basis von S3 REST unterstützen. Das Konzept des PoINT Archival Gateway abstrahiert von dem eingesetzten Tape-Speichersystem, welches frei wählbar und austauschbar ist.
"Wir sind sehr zufrieden mit dem Einsatz von PoINT Archival Gateway und besonders auch mit der Zusammenarbeit und dem Austausch mit PoINT und dem Partner Mercia. Auf das künftige Datenwachstum fühlen wir uns gut vorbereitet und freuen uns, die weiteren Entwicklungsschritte von PoINT Archival Gateway mitzugehen.“
- Marc Riera, Software Development and Operations – Service and Data Management Technical Coordinator beim EMBL-EBI
Hohe Parallelität
PoINT Archival Gateway ist konzipiert für hohe Parallelität. Dies gilt für den Empfang der Daten über die S3 Schnittstelle, wie auch für das Schreiben der Daten auf die Tape-Medien.
Der hochskalierbare S3 REST Web-Service des PoINT Archival Gateway sorgt für fast unbegrenzte Parallelität und sehr hohe Datentransferraten. PoINT Archival Gateway schreibt Objektdaten direkt auf die Tape-Medien und benötigt keine Buffer-Festplatten. Umständliche S3 Glacier-Kommandos zum Lesen der archivierten Daten sind nicht notwendig.
Der Schreibprozess eines Interface Nodes kann Daten auf bis zu 8 Tape Laufwerke parallel schreiben. Bis zu 24 Interface Nodes können in der Enterprise Edition von PoINT Archival Gateway konfiguriert werden. So können bis zu 192 Tape Laufwerke parallel für Schreib- und/oder Leseprozesse verwendet werden. Insgesamt unterstützt PoINT Archival Gateway bis zu 8 Tape Libraries mit bis zu 24 Laufwerken pro Library.
Die folgende Tabelle zeigt Performance Beispiele für verschiedene Konfigurationen:
Eigenschaften
- Standardisiertes S3 REST API
- High Performance S3 Objekt-Speicherung direkt auf Tape-Medien
- Hoch skalierbarer S3 Service für fast unbegrenzte Parallelität
- Parallele Schreib-/Leseprozesse auf bis zu 256 Tape-Laufwerke
Vorteile und Nutzen
- Keine aufwändige Zwischenspeicherung auf Disk-Systemen
- Herstellerunabhängigkeit bzgl. des Speichersystems
- Geringe Betriebs- und Energiekosten
- Investitionsschutz durch Standards
