Drie HPE-rackservers als Proxmox-cluster: reserve goed plannen

Drie HPE-rackservers vormen op zichzelf geen weerbaar Proxmox-cluster. Het doel wordt pas toetsbaar wanneer na uitval van een node voldoende rekenkracht, geheugen, bereikbare VM-data, netwerk en stroompaden overblijven. Dit voorbeeld toont de beslissingen voor een Proxmox VE-cluster met drie HPE ProLiant DL360 Gen11-servers.

Het artikel beschrijft een hypothetisch dimensioneringsprofiel, geen kant-en-klaar HPE-bestelnummer. Per node worden een CPU met 24 cores, 256 GiB ECC-RAM, gespiegelde bootmedia, vier enterprise-SAS-SSD’s van elk 3,84 TB voor VM-data, twee redundante voedingen en passende 25-Gbit-netwerkaansluitingen aangenomen. HPE biedt de DL360 Gen11 als rackserver met opties voor CPU, DIMM, schijven, netwerk en voeding. Of precies deze combinatie van CPU, backplane, HBA/JBOD-modus, SSD-type, ventilatoren, NIC, kabels en firmware is vrijgegeven, hoort in een door de HPE-partner bevestigde stuklijst- en compatibiliteitstoets. Ceph-OSD-schijven mogen niet achter een ongeschikte hardware-RAID-array verdwijnen.

Is de reserve na hostuitval voldoende?

Drie nodes bieden bruto 72 fysieke CPU-cores en 768 GiB RAM. Valt er één uit, dan blijven 48 cores en 512 GiB over. In het voorbeeld reserveren we per resterende host vier cores en 32 GiB voor Proxmox, Ceph en operationele pieken. Voor VM’s blijft daarmee rekenkundig 40 core-equivalenten en 448 GiB RAMover. Een gemeten piek van 28 core-equivalenten en 300 GiB VM-RAM laat in dit model 12 core-equivalenten en 148 GiB ruimte over. Een vCPU-aantal alleen is geen meetwaarde: CPU steal, NUMA, I/O, RAM-bezetting en plaatsing van individuele grote VM’s moeten in de pilot worden gemeten. Ook herstarttijd en applicatieprioriteiten horen bij de acceptatie.

Voor betrouwbaar quorum in HA-bedrijf heeft Proxmox ten minste drie stemmen nodig. Bij drie gelijkwaardige nodes blijven na uitval van één twee stemmen en dus een meerderheid over. Dat garandeert nog geen VM-herstart: data moet bereikbaar zijn, de doelhost moet resources hebben en HA-regels moeten passen. Corosync vereist stabiel lage latency en een onafhankelijk tweede pad. Een defecte gedeelde switch of gemeenschappelijke PDU ondergraaft de beoogde hostredundantie.

Lokale SSD’s: welke data blijft na uitval beschikbaar?

In dit voorbeeld vormen de twaalf lokale data-SSD’s een Ceph-pool met drie kopieën en de host als foutdomein. De ruwe capaciteit is 3 × 4 × 3,84 = 46,08 TB . Drie kopieën verlagen de theoretisch bruikbare capaciteit vóór metadata en reserves tot 15,36 TB. Met een uitsluitend voor de planning gekozen bovengrens van 70% ontstaat een werkwaarde van circa 10,75 TB. Dit is geen gegarandeerde Ceph-capaciteit: OSD-vulling, verdeling, recovery, snapshots en daadwerkelijke datapatronen moeten worden gemeten.

Bij uitval van een van de drie hosts kunnen de twee resterende kopieën I/O blijven bedienen onder een passend ingestelde min_size-regel; de pool is dan gedegradeerd. Een derde kopie op een derde hostfoutdomein kan pas worden hersteld wanneer de node terugkeert of wordt vervangen. Dat is een grens van een ontwerp met precies drie nodes. Ceph-replicatie vervangt bovendien geen aparte back-up. Een Proxmox Backup Server hoort buiten deze drie hosts in een eigen foutdomein, met geteste restore en een extra externe kopie. Het DAXS-artikel Proxmox Backup Server: verificatie, retentie en herstel gaat dieper in op de hersteltest.

Netwerk en stroom als onderdeel van de architectuur

Bandbreedte en lage latency zijn belangrijk voor Ceph. Voor een nieuw cluster plannen we aparte, redundant aangesloten 25-Gbit-paden als toetsbare uitgangsaanname. De benodigde snelheid volgt uit schrijfbelasting, replicatieverkeer en de beoogde hersteltijd, niet uit het poortaantal op een datasheet. Corosync moet over onafhankelijke fysieke paden lopen; beheer en VM-verkeer worden zorgvuldig gescheiden of begrensd. De precieze VLAN-, switch- en NIC-toewijzing wordt in een poortplan vastgelegd.

Twee servervoedingen helpen alleen wanneer zij aparte stroompaden gebruiken. DAXS zou per host voeding A op PDU/UPS A en voeding B op PDU/UPS B laten aansluiten, het verbruik onder belasting controleren en uitval van een pad testen. iLO-beheer, reserve-SSD’s, firmwareonderhoud en onderhoudsvensters zijn verdere bedrijfsposten. Drie servers in hetzelfde rack beschermen niet tegen uitval van de hele ruimte.

Een open drie- en vijfjaarsberekening

Een actueel bevestigde HPE-offerte voor de volledig uitgeruste node noemen we h euro, het redundante netwerk inclusief optiek n, en een zelfstandige back-upserver inclusief media k. HPE-service en onderdelen kosten in het model s euro per jaar, stroom en housing e euro per jaar. Deze offertewaarden worden niet verzonnen. De gepubliceerde Proxmox-lijstprijzen bedragen jaarlijks €550 per bezette VE-socket en €2.240 voor een PBS Standard-server: hier 3 × 550 + 2.240 = €3.890 per jaar. Eenmalig nemen we hypothetisch 80 uur à €90 (€7.200) aan voor bouw, tests en overdracht; jaarlijks 50 uur à €90 (€4.500) voor beheer.

De gevoeligheid is direct zichtbaar: €1.000 meer per node verhoogt beide termijnen met €3.000; €1.000 meer jaarlijkse HPE-service met respectievelijk €3.000 en €5.000. Heeft elke host een tweede bezette CPU nodig, dan komt bij hetzelfde Proxmox Standard-niveau alleen aan abonnementen €1.650 per jaar bij, plus hardware, RAM en energie. VMware-migratiekosten, een tweede back-uplocatie en prijsstijgingen ontbreken in de berekening; die moeten voor de concrete beslissing worden toegevoegd.

DAXS toetst eerst piekbelasting en uitvaldoelen, daarna de goedgekeurde HPE-stuklijst, het poort- en stroomplan, Ceph- en back-upherstel en volledige offertes. Voor zo’n clusterplanning in uw omgeving kunt u via Contact een gesprek starten.

Bronnen: HPE ProLiant DL360 Gen11 QuickSpecs · Proxmox VE Administration Guide: cluster, HA en Ceph · Ceph: aantal kopieën en min_size · Proxmox VE: abonnementsprijzen · Proxmox Backup Server: prijzen.