Enttäuschende Netzwerkperformance

[mikewarer]

Hallo,
was ich bisher gemacht habe:
Opensolaris Fileserver 2008.11
   CPU Intel E8400
   4 GB RAM
   Intel Pro/1000 PT PCIe Desktop
   Raid5 mit 3xWD 750GB Raid-Edition
Client
   Asus A8V Deluxe
   Athlon64 X2 3800+
   2 GB RAM
   Intel Pro/1000 GT PCI Desktop
   Win XP prof.
verbunden über Netgear 5-Port Gigabit-Switch, alle Kabel geprüfte Cat6-Kabel.

Durchschnittliche Datenübertragungsrate Client-Server, Server-Client 25 bis 28 Mbyte/s , gemessen bei Übertragung per ftp, smb noch langsamer

Dann Client-Server über CrossLink direkt verbunden, um Probleme mit Switch auszuschließen

gleiche Datenrate

OK, auf der Client-Seite ist der PCI-Bus der beschränkende Faktor, aber müßte eigentlich trotzdem eher in Richtung 60 - 70 Mbyte/s gehen, oder? Mit Marvell OnBoard Gigabit übrigens die gleiche Performance.
Laut Artikel in c't, haben die 86 Mbyte/s schreibend und über 110 Mbyte/s lesend gemessen - auch und gerade mit Intel-Karten.

Habt ihr noch eine Idee, woran es liegend könnte, oder ist das Asus-mainboard der beschränkende Faktor und ich sollte mich mit dem Kauf eines aktuellen Rechners anfreunden?
Bin ratlos.
gruß
michael

[Tschokko]

Hallo,

Windows XP ist das Problem. Da musst ein bisschen herum tricksen, damit man XP annehmbare Übertragungsraten über GBit hat. Das Problem hatte ich vor lange Zeit auch. Unter Vista, usw. hast das Problem nicht mehr. In diesem Fall ist Google dein Freund.

Gruß
Tschokko

[mikewarer]

So, ich habe noch ein wenig im Netz recherchiert und bin dabei, wie nicht anders zu erwarten, auf die unterschiedlichsten Erklärungen gestoßen. Dabei bin ich auch auf das Tool "netio" gestoßen, welches die tatsächlich erreichbare Geschwindigkeit zwischen Client- Server mißt.
Anbei meine Ergebnisse, wobei netio als Serverinstanz auf Opensolaris 2008.11 lief:

Hier der Test über UDP-Protokoll
NETIO - Network Throughput Benchmark, Version 1.26
(C) 1997-2005 Kai Uwe Rommel

UDP connection established.
Packet size  1k bytes:  37239 KByte/s (0%) Tx,  95814 KByte/s (0%) Rx.
Packet size  2k bytes:  8190 KByte/s (0%) Tx,  96939 KByte/s (0%) Rx.
Packet size  4k bytes:  16280 KByte/s (0%) Tx,  99825 KByte/s (0%) Rx.
Packet size  8k bytes:  32598 KByte/s (0%) Tx,  100024 KByte/s (0%) Rx.
Packet size 16k bytes:  32565 KByte/s (0%) Tx,  100035 KByte/s (0%) Rx.
Packet size 32k bytes:  36904 KByte/s (0%) Tx,  101069 KByte/s (0%) Rx.
Done.

Hier der Test über TCP-Protokoll
NETIO - Network Throughput Benchmark, Version 1.26
(C) 1997-2005 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  37859 KByte/s Tx,  96481 KByte/s Rx.
Packet size  2k bytes:  40533 KByte/s Tx,  95642 KByte/s Rx.
Packet size  4k bytes:  41874 KByte/s Tx,  95791 KByte/s Rx.
Packet size  8k bytes:  42438 KByte/s Tx,  95458 KByte/s Rx.
Packet size 16k bytes:  42553 KByte/s Tx,  95147 KByte/s Rx.
Packet size 32k bytes:  42953 KByte/s Tx,  96211 KByte/s Rx.
Done.

Die Transferleistung von Windows zu Opensolaris ist gerade einmal 1/3 bis zur Hälfte, wie vom Server zu Windows.
Das deckt sich in etwa mit meiner Beobachtung, daß der Filetransfer von Windows zu Opensolaris nur halb so schnell ist, wie beim Transfer von Opensolaris zu Windows.
Trotzdem bleibt ein erhebliches Defizit zu den gemessenen Werten von netio; ich erreiche im realen ftp-Transfer
Win --> Opensolaris 25 - 28 Mbyte/s
Opensolaris --> Win 50 - 55 Mbyte/s
Ein Teil ist sicherlich darauf zurück zu führen, daß der Windows-Rechner nur über einen PCI-Bus verfügt und dieser bekanntermaßen Gigabit-Performance nicht vollständig ausnutzen kann. Aber mehr als die gemessenen 25 Mbyte/s sind schon drin.

Es ist und bleibt mir ein Rätsel
1) wo/wie dieser Performanceverlust zustande kommt
2) wie die Tester in der c't Ausgabe 26/2008 auf Transferraten von 88 Mbyte/s schreiben und 111 Mbyte/s lesen, noch dazu unter dem lahmen smb-Protokoll(!) kommen konnten.
@Tschokko
In diversen Windowsforen wird eher davon gesprochen, daß Vista noch langsamer wäre als XP. Wie kommst du zu der Einschätzung, daß dies an XP läge? Hast du das selbst getestet oder hast du dafür einen Link/Beleg?
gruß
michael

[Tschokko]

@Tschokko
In diversen Windowsforen wird eher davon gesprochen, daß Vista noch langsamer wäre als XP. Wie kommst du zu der Einschätzung, daß dies an XP läge? Hast du das selbst getestet oder hast du dafür einen Link/Beleg?

Wenn ich es nicht selbst getestet hätte, würde ich es wohl kaum schreiben? Mit Vista erreichte ich bei meinen iSCSI Tests Transferraten an die 100MByte/Sek. Der einzige drosselnde Faktor stellten hier nur die Festplatten oder beim Solaris iSCSI Target mit ZFS der Arbeitsspeicher dar. Ansonsten die 1GBit Performance hat hier definitiv gepasst und das Out-of-the-Box! Bei XP hatte ich damals bei diesen Tests enorme Probleme und ich musste einige Änderungen am System vornehmen. Allerdings liegt das schon sehr weit zurück, so das ich dir heute keine Details mehr nennen kann. Darum google einfach mal. Ach ja, die MTU hoch drehen hilft natürlich auch immer ein bisschen, allerdings macht das bei einem normalen Netzwerk keinen Sinn. Meine Tests unter Vista hab ich immer mit einer Standard MTU von 1500 durchgeführt.

Windows XP glänzt schlicht und ergreifend nicht mit einem hervorrragend TCP/IP Stack. Das ist ein bekanntes Problem. Hier sind andere Betriebssystem dem bunten OS aus Redmond weit voraus.

Gruß
Tschokko

[mikewarer]

Hallo Tschokko,
war wirklich nicht böse gemeint  . Ich wollte keinesfalls deine Aussage in zweifel ziehen, Zweifel habe ich selbst schon mehr als genug mit dieser Windowskiste unter meinem Tisch  .
Ich denke, ich werde hier einen radikalen Schnitt machen und die Kiste inkl. OS auswechseln und auf aktuelle Technik gehen. Wenn ich das vernünftig haben will, komme ich da wohl nicht drum herum. Vernünftige Gigabit-Performance verlangt doch wesentlich mehr, als ich bisher gedacht hatte. Nun, dann muß ich ans Ersparte - Augen zu und durch.
Ich melde mich dann wieder mit aktuellen Werten.
Bis dann und nochmals vielen Dank
michael

[Tschokko]

Ach ja,

soeben mit meinem alten/neuen NAS fertig geworden. Ist ein Asus P5MT Board mit einem Pentium D820. Der Raid-Z Datenpool besteht aus 4 alten 250er Samsung SATA Platten. Also meine FTP Datenübertragungsrate liegt konstant bei hohen 60 MByte/Sek. Das passt soweit... Ach ja, Client ist OSX.

Gruß
Tschokko
 

[mikewarer]

Ja, ja,
hast recht, mach mich nur fertig und streue Salz in meine Wunde 
Na warte, das werde ich übertreffen, wirst schon sehen 
gruß
michael der Rächer der Performancelosen

[Freud-Schiller]

leider hat Tschokko wirklich keine Ahnung. es liegt an Deinem SATA Controller. Raid5 mit nem Billig-Controller oder noch schlimmer Onboard... das KANN NICHTS GEBEN. Deine Werte sind für den Rahmen ok! In einem Punkt hat Tschokko jedoch Recht, Vista ist im Netzwerkbereich (TCP/IP) schneller als XP von Haus aus.

Und wenn Du die GBit Karte auslasten willst... Hol Dir nen 3Ware Controller, sieh ein das Raid5 nur für Storage ist und geh auf Raid0+Bandsicherung wenn Du Speed haben willst. Von nichts kommt nichts

[Tschokko]

leider hat Tschokko wirklich keine Ahnung. es liegt an Deinem SATA Controller. Raid5 mit nem Billig-Controller oder noch schlimmer Onboard...

Au weia... da verschlägt es mir gleich die Sprache. Ich erreiche mit 4 alten Samsung SATA Platten an einem Onboard SATA Anschluß (ICH9) 110 MByte/Sek. schreibend und 170 MByte/Sek. lesend. Was glaubst du worin die Stärken von ZFS liegen? Sobald ich endlich mal ein günstiges Opteron Board mit PCI-X Anschluß gefunden habe, dann verspreche ich dir mit meiner 100 Euro billig 8-Port SATA PCI-X Karte (Marvell Hercules-2 basierend) und 8 frischen SATA Platten Transferleistungen von rund 300 MByte/Sek. aufzuzeigen. SUNs ZFS macht das nämlich auch ohne teure RAID Controller möglich! Hinzu kommt, das ich dank der permanenten ZFS Checksummen Bildung (Copy-On-Write-Transactions) schon Fehler im RAID erkenne, bevor die Platte entgültig kaputt geht, mir aber zum Dank erstmal ein bißchen Datenmüll hinterlässt. Das können so manch teuer bezahlte RAID Controller nämlich nicht, denn die können nicht unterscheiden ob Mist oder Mist geschrieben wird, die schreiben einfach mal drauf los.

Und wenn Du die GBit Karte auslasten willst... Hol Dir nen 3Ware Controller, sieh ein das Raid5 nur für Storage ist und geh auf Raid0+Bandsicherung wenn Du Speed haben willst. Von nichts kommt nichts

Mit meiner oben genannten Zusammenstellung aus vier alten Platten am Onboard SATA Controller erreiche ich bei FTP Übertragungsraten zw. 60 und 80 MByte/Sek. Ich kann mal gerne die MTU auf beiden Seiten hoch drehen (Jumbo Frames werden nämlich von meinem Switch unterstützt), COMSTAR auf meinem OpenSolaris System aktivieren, ein iSCSI Target präsentieren und dann mal den iSCSI Test durchführen. Wäre gelacht, wenn ich da nicht an die 100 MByte/Sek. rankomme, mein ZFS Pool gibt das nämlich locker her! Wohlgemerkt ohne teuren RAID Controller.

Ergo deine Aussage klemmt irgendwo...


In diesem Sinne, Gruß
Tschokko

P.S.: Wirf doch mal einen Blick auf Suns Unified Storage System 7000. Evtl. fällt dir ja was auf?

[linus83]

P.S.: Wirf doch mal einen Blick auf Suns Unified Storage System 7000. Wink Evtl. fällt dir ja was auf? Grin

Ganz einfach, das schafft keine 80 MB/s, wenn Du nötigen Applikationen hast schaufelst Du 500MB/s schreibend durch und bis zu 1GB/s lesend - bei random über die 20TB Platten "bricht" es aber auch auf ein 500MB/s ein. Ich habe am Montag den Menschen aus den Benchmarkcenter in Langen gesprochen. Die hatten ehr Probleme die Maschine auszulasten -- alles über das 10Gb/s Interface.

Wenn man nicht glaubt wie gut zfs ist, dann nehme man sich  ein paar USB-Sticks und sieht wie die Transferraten nach oben gehen. Das ist bei Platten nicht anderst, wenn es die Controller und die Busse mit machen.

gruß

P.S.: viel Spaß beim zpool bauen 

[Tschokko]

P.S.: Wirf doch mal einen Blick auf Suns Unified Storage System 7000. Wink Evtl. fällt dir ja was auf? Grin

Ich habe am Montag den Menschen aus den Benchmarkcenter in Langen gesprochen.

Und ich erwarte heute oder spätestens morgen unser eigenes Sun Unified Storage System 7110. Bin schon voll gespannt. Vor allem werden wir es hauptsächlich als NFS Server für die VMware ESX Datastores und diverse Solaris Systeme nutzen, u.a. auch MySQL Server und mit hoher Wahrscheinlichkeit auch für unser Oracle Datenbank System. Leider ohne 10GbE Anbindung. Für uns müssen "leider" 4x 1GBit genügen.

Gruß
Tschokko