Aufbau eines Rack-Massenspeichers

[Frimi_2]

Hallo Leute, ein Freund von mir hat mich gebeten für seine kleine Firma eine möglichst große Massenspeicherlösung zu suchen. (ca. 2 - 5 TB nach Möglichkeit erweiterbar) Mein erster Gedanke war ein kleines 19" Rack (ca 25 HE) mit Festplatten vollzustopfen und einen normalen PC mit einer Gbit Netzwerkkarte einzubauen. Dannach per Software die ganzen Festplatten zu einem großem Speichermedium zusammenfassen.

Nur stehe ich jetzt vor dem Problem dass PCs ja mit IDE Fesplatten nur eine begrenzte Anzahl handeln können. D.h. selbst mit zusätzlichen PCI IDE Karten ist das Limit schnell erreicht, von der miesen Geschwindigkeit mag ich dann gar ned erst reden.

Und wenn ich Mehrere PCs einbaue kann ich die ganzen Festplatten nicht zu einem großen Speichermedium zusammenfassen. Was aber zwingend notwendig ist da in der Firma sehr große Messdateien (mehrere GB pro Datei) verwaltet werden müssen und diese nicht verstreut werden sollen da sonst ein riesiges Chaos entsteht...

Ist jemanden eine Solche Lösung bekannt oder hat dazu jemand weitere Informationen?

Ich weiß es gibt da fertige Lösungen mit Raid und Notfallaccu aber die sind mit 4000€ pro 19" Einschub sündhaft teuer, und außerdem is es keine Herausforderung

Vielen Dank im Vorraus.

 

[Gelöschter Nutzer 211]

Also, so schwer ist das eigentlich garnicht mehr, dank 1000GB-Platten.

Speziell dafür gibts jetzt auch eine von Hitachi.
Die haben die 1000er auch als "Ultrastar"-Version, also als deren Server-Variante:

You do not have permission to view link please Anmelden or Registrieren

Die Platten softwareseitig zusammenzufassen würde ich nicht machen.
Aber das ist garnicht nötig, jedes halbwegs brauchbare "normale" Mainboard hat ein RAID-Bios onboard.

Soll das ganze denn irgendwie redundant werden?
Und wie sieht es mit der nötigen Performce aus?

Wenn beides nicht so wichtig ist, wären volle 5 TB bereits für ~2000 € realisierbar.

 

[Frimi_2]

Ja schon aber diese TB Platten sind auch ned billig. Und außerdem bin ich dann mit 4 Platten in einem Rechner schon am Limit. Im Messrechner sind ja schon 2 Tb Platten verbaut und 2 externe USB TB Platten sind bei jeder Messung schon mit dabei.

Vielleicht erläuter ich mal wozu das ding gut sein Soll. Dort werden Messungen gespeichert die mit über 2kHz pro Kanal gesampelt werden. d.h. ein Messpunkt 8bit * 2000Hz = 16000bit pro sekunde sind 2MB pro Sekunde. Diese Messungen laufen oft mit ca 10 oder mehr Sensoren = 20Mb/sec und das oft über mehrere Minuten. Das sind dann 1,2 Gb/min, und das is noch schöngerechnet

Soviel zum Thema notwendig oder ned. Wenn also in Zukunft Messungen mit größerer Samplingrate oder nem größeren AD Wandler oder mehr Sensoren gefahren werden sind 4TB ziemlich schnell voll. Deswegen muss das ganze Rack nach oben hin unbedingt erweiterbar sein. Und weil die Messharware schon so extrem Teuer is währe ne günstige Speicherlösung sehr angenehm.

Die Geschwindigkeit is dabei nur von untergeordneter Bedeutung da auf dem Teil die Messfiles quasi nur Zwischengeparkt werden sollen bis sie ausgewertet werden können. Bei der Auswertung fällt dann meistens bis zu 90% weg.

Ums nochmal zusammenzufassen. Sicherheit und Performance sind von bedeutung aber ned an erster Stelle. Nur reichen 4 bis 5 TB momentan noch aus werden aber in naher Zukunft fast zu eng.

 

[Gelöschter Nutzer 211]

Ja schon aber diese TB Platten sind auch ned billig. Und außerdem bin ich dann mit 4 Platten in einem Rechner schon am Limit. Im Messrechner sind ja schon 2 Tb Platten verbaut und 2 externe USB TB Platten sind bei jeder Messung schon mit dabei.

Wieso mit 4 Platten am Limit?
Viele Mobos haben 6 SATA-Ports und Gehäuse gibts auch welche mit viel Platz.
Muss also nicht zwangsweise ein 19"-Rack sein.

Und die PCIe-Slots kann man mit weiteren SATA-Controllern vollstopfen.
16 SATA-Ports erhält man durch diese Karte:

You do not have permission to view link please Anmelden or Registrieren

16 Festpatten reichen für 16 TB.

Der Vorteil an einem solchen Controller wäre außerdem, dass man alle Laufwerke auf Hardware-Ebene zu einem zusammenfassen könnte.

Und es gibt auch billigere mit nur 8 Ports...

Vielleicht erläuter ich mal wozu das ding gut sein Soll. Dort werden Messungen gespeichert die mit über 2kHz pro Kanal gesampelt werden. d.h. ein Messpunkt 8bit * 2000Hz = 16000bit pro sekunde sind 2MB pro Sekunde. Diese Messungen laufen oft mit ca 10 oder mehr Sensoren = 20Mb/sec und das oft über mehrere Minuten. Das sind dann 1,2 Gb/min, und das is noch schöngerechnet

Soviel zum Thema notwendig oder ned. Wenn also in Zukunft Messungen mit größerer Samplingrate oder nem größeren AD Wandler oder mehr Sensoren gefahren werden sind 4TB ziemlich schnell voll. Deswegen muss das ganze Rack nach oben hin unbedingt erweiterbar sein. Und weil die Messharware schon so extrem Teuer is währe ne günstige Speicherlösung sehr angenehm.

Also geschwindigkeitsmäßig sollte eine normale 7200er Platte ausreichen.
~40MB/s schaffen aktuelle Festplatten selbst in ihren langsamsten Regionen.

Ums nochmal zusammenzufassen. Sicherheit und Performance sind von bedeutung aber ned an erster Stelle. Nur reichen 4 bis 5 TB momentan noch aus werden aber in naher Zukunft fast zu eng.

OK.... aber wenn es sich um solche Größen handelt, wären 1TB Festplatten schon fast Pflicht, selbst wenn die vom Preis pro GB nicht das beste sind.
Aber da gibts noch als billigere Möglichkeit die 1TB-Platten von Samsung, die kosten nur um die 230€ pro Stück. Die widersprechen aber ein bischen dem Punkt Sicherheit....
Wie oft sind die Festplatten denn im Einsatz?
Wenn sie nicht gerade im Dauereinsatz sind, würdens die Samsung-Platten schon tun, ansonsten wäre die Hitachi Ultrastar besser.

Und wenn du übrigens noch Redundanz willst, wird das ganze nochmal um einiges teurer. Damit wäre die doppelte Anzahl an Festplatten für die gleiche nutzbare Speichermenge nötig.
Ein Raid5 wäre für dich keine Option, da die dortige katastrophale Schreibperformance zu wenig sein könnte.

 

[Frimi_2]

Ah perfekt das war das fehlende Teil! PCIe 16x SATA dann kann ich genug Festplatten auf einmal zusammenfassen. Dann müssen es fürs erste nicht unbedingt die teuren TB Platten sein. Ich wusste nicht dass man an einenen SATA Port 4 Platten anschließen kann. Und bei Mobos dachte ich währe ebenfalls bei 4 Platten schluss...

Wie ich das dann mit welchem Raid mach muss ich dann noch austüfteln. Die Geschwindigkeit is nich von so großer Bedeutung da die Files einmal vom Messrechner auf den Speicher kommen, um Platz für neue Messungen zu schaffen, und dannach übers Netzwerk vom Auswerterechner bearbeitet werden. Es soll quasi nur ein Zwischenpuffer sein.

Gemessen wird ja eh am Messrechner der extremst schnelle Platten drin hat, welche weiß ich auch nich genau. Also is Geschwindigkeit im Massenspeicher nich so wichtig, Sicherheit dagegen sehr.

Bei 16 SATA anschlüssen pro PCIe Slot hab ich mehr als genug Platz nach oben. Dann wirds wohl ein Raid 2 oder 5 werden das wird sich dann zeigen. Und wenn das ned langt kommt eben noch ein Rechner dazu dann sinds halt 2 Speicherebenen aber das müsste zu handeln sein.

Das ganze wird dann wohl Modular aufgebaut und er kann neue Festplatten reinhängen wenn ihm der Platz ausgehen oder durch größere ersetzen.

Perfekt, wenn man also in ein bestehendes Raid System neue Platten "einhängen" kann is das die Lösung

Fettes Merci!

 

[Gelöschter Nutzer 211]

Ah perfekt das war das fehlende Teil! PCIe 16x SATA dann kann ich genug Festplatten auf einmal zusammenfassen. Dann müssen es fürs erste nicht unbedingt die teuren TB Platten sein. Ich wusste nicht dass man an einenen SATA Port 4 Platten anschließen kann.

Das ist auch kein SATA, sondern ein SAS-Port. (Serial Attached SCSI)

Der ist aber kompatibel zu SATA und lässt sich wie in der Beschreibung mit 4 Laufwerken pro Port betreiben.

An einem alten parallelen SCSI-Port kann man sogar 15 Laufwerke anstecken.

Wie ich das dann mit welchem Raid mach muss ich dann noch austüfteln. Die Geschwindigkeit is nich von so großer Bedeutung da die Files einmal vom Messrechner auf den Speicher kommen, um Platz für neue Messungen zu schaffen, und dannach übers Netzwerk vom Auswerterechner bearbeitet werden. Es soll quasi nur ein Zwischenpuffer sein.

Gemessen wird ja eh am Messrechner der extremst schnelle Platten drin hat, welche weiß ich auch nich genau. Also is Geschwindigkeit im Massenspeicher nich so wichtig, Sicherheit dagegen sehr.

Bei 16 SATA anschlüssen pro PCIe Slot hab ich mehr als genug Platz nach oben. Dann wirds wohl ein Raid 2 oder 5 werden das wird sich dann zeigen. Und wenn das ned langt kommt eben noch ein Rechner dazu dann sinds halt 2 Speicherebenen aber das müsste zu handeln sein.

Das ganze wird dann wohl Modular aufgebaut und er kann neue Festplatten reinhängen wenn ihm der Platz ausgehen oder durch größere ersetzen.

Perfekt, wenn man also in ein bestehendes Raid System neue Platten "einhängen" kann is das die Lösung

Fettes Merci!

Gut, gut...
Ein Raid5 hat wiegesagt eine miserable Schreib-Performance. (sogar langsamer als mit einer einzelnen Platte)
Die Lesegeschwindigkeit ist dagegen ganz OK und es dürfte die billigste redundante Speicherlösung sein.