Wie baut man 2 Petabyte?

[ngomaichi]

Meine Frau ist Wissenschaftlerin und macht Live cell imaging. Dabei fallen immense Datenmengen an und die verlangen jetzt nach Speicherplatz von 1-2 Petabyte. Es liegen Angebote vor, die sollen sich zwischen 600.000 und 800.000 € bewegen. Der Chef meint, ob man das nicht mit USB-Festplatten aus dem Blödmarkt billiger bauen könnte. Offensichtlich gibt es dort niemanden mit echtem Sachverstand. Deshalb stelle ich die Frage mal hier: Wie stellt man so viel Speicherkapazität (über LAN) zur Verfügung? Gibt es so große NAS oder geht das nur als Server? Was kann das kosten?
Danke für euer Gehirnschmalz und schöne Grüße
Andreas

Tags:

You do not have permission to view link please Anmelden or Registrieren

|

You do not have permission to view link please Anmelden or Registrieren

 

[Urkman]

Die größte HDD die ich jetzt mal gerade gefunden habe, besitzt 10TB. Da 1PB 1000TB besitzt, bräuchtest du ergo 100 mal diese HDD um eben 1PB Speichervolumen zu erhalten.
Diese 10TB HDD kostet schlappe 580€ macht bei 100 Stück dann mal gerade schlappe 58000€.
Dazu kommen die Kosten für die endsprechenden Servergehäuse nebst allen drum und dran. Da sollte auch noch mal ordentlich was zusammen kommen.
Das Problem, solche Speichervolumen werden eben nur im Profibereich und Geschäftlich bzw. für die Industrie gebraucht, Preise ergeben sich dann endsprechend hoch.

 

[R32]

Der Chef meint, ob man das nicht mit USB-Festplatten aus dem Blödmarkt billiger bauen könnte. Offensichtlich gibt es dort niemanden mit echtem Sachverstand. Deshalb stelle ich die Frage mal hier: Wie stellt man so viel Speicherkapazität (über LAN) zur Verfügung? Gibt es so große NAS oder geht das nur als Server?

Hat mit Sachverstand eigentlich wenig zutun.
Sowas mit normal erhätliches Festplatten zu bauen, ist schlicht unmöglich.

2 Petabyte wären 2000 TB..
Die aktuell größte reguläre Festplatte die man so in den "Blödmärkten" bekommt, fasst 10TB.

Ihr bräuchtet also 200 STÜCK von diesen 10TB Festplatten um auf 2 Petabyte zu kommen.

Wie wollt ihr die zugänglich machen?
Wir wollt ihr die unterbringen?
Wie wollt ihr die anschliessen?
Wie wollt ihr die kühlen?
Wie wollt ihr die mit Strom versorgen?

Selbst die größten NAS Systeme die man so frei erhältlich bekommt, sind so bei etwa 100TB am Ende.

Jemand der 2 Petabyte Speicher benötigt, baut sich sowas nicht irgendwie aus Platten.
Für sowas gibt es dann eben professionelle Anbieter.

 

[Urkman]

Selbst die größten NAS Systeme die man so frei erhältlich bekommt, sind so bei etwa 100TB am Ende.

Wäre dann auch das einzige was man noch umsetzen "könnte", da man für 1 PB dann endsrechend 10 dieser NAS bräuchte (bei 2PB eben 20) die ließen sich wohl noch per Netzwerkhub einbinden.
Möchte aber auch nicht wissen was so ein 100TB NAS kostet, da 1-2 TB NAS schon zwischen 100-150€ kosten und die Preise mit der Volumengröße in der Regel propotional ansteigen.
Man muß bei der Sache ja auch an Datensicherheit denken. Solche Daten müßen ja auch endsprechend gesichert und geschützt werden. Alles im allen eine Angelegenheit die man ganz sicher den Profis überlassen sollte aber dadurch eben auch ihren Preis haben.

 

[Morti1]

Um einen richtigen 19Zoll-Rack kommt man da nicht rum.
Da gibts zum Beispiel von QNAP Schränke mit 152 Festplatten.
Davon dann zwei Stück und man hätte schon mal 2PB im RAID gesichert.
Ich halte die Angebote von 600-800 Tausend realistisch, zumal da ja auch Installation und Konfiguration, wahrscheinlich auch eine Zeit lang Support dabei sein werden?!

Ich kann nur davon abraten, sowas selber basten zu wollen, wenn man sich nicht wirklich mit Systemadministration auskennt.

 

[schiffi]

Ich denke die richtigen Adressen wären hier EMC, Hitachi Data Systems (HDS) oder Netapp.

z.B. VNX5500 oder VNX5700
Evtl. sind andere Lösungen besser geeignet, je nach Performanceanspruch und ob NAS oder SAN ...
Ihr solltet euch aber von einem Systemberater beraten lassen. Die von dir genannten Preise sind realistisch.
Das ganze mit Blödmarktplatten zu realisierne war wohl ein Scherz? Wie siehts mit Datensicherheit aus? Zusätzlich den oben bereits genannten Problemen.
Das ist einfach nur totaler Blödsinn und es muss eine professionelle Lösung her.

Muss das ganze jederzeit verfügbar sein? Wenn nicht, und nur als Archiv gedacht, wäre auch eine Tape-Lösung denkbar, hier wäre IBM die Adresse.

 

[ThomasVanThom]

Wenn man derart grosse Datenbestände auf HDDs speichern will, kommen Storage Devices zum Einsatz, die skalierbar sind.
Nur als Beispiel: Fujitsu Eternuns DX200/DX500/DX600 oder gar CD-Series. (Bzw. gleichwertige Geräte der Mitbewerber wie HP, IBM, etc.)

Bei dieser Grössenordnung sollte man neben dem Bereitstellen der Daten auch berücksichtigen, dass dafür auch eine Datensicherung möglich sein muss.
Bei 2 Petabyte Daten würden somit wenigstens 4 Petabyte an Plattenspeicher notwendig. Und da ist noch keine Redundanz durch RAID eingerechnet.

 

[Coco92]

Sehr interessantes Thema!

Muss man nicht auch noch folgendes Problem beachten:

Wenn man jetzt z.b. eine Datei mit 15TB hat muss diese ja aufgesplittet werden. Gibts dafür Software die das anständig kann?

You do not have permission to view link please Anmelden or Registrieren