Op de bestaande Proxmox-host is nog ruimte voor een AI-dienst. Volstaat het om een grafische kaart te plaatsen en een virtuele machine aan te maken? Dat kan zinvol zijn wanneer GPU-toewijzing, hostresources en onderhoud samen worden gepland.
Bij passthrough hoort een fysieke GPU bij één VM
PCIe-passthrough geeft een virtuele machine controle over een fysiek apparaat. De AI-VM gebruikt de GPU via zijn eigen gastdriver. Tijdens die toewijzing kunnen de host en andere VM’s dezelfde kaart niet tegelijkertijd voor eigen berekeningen gebruiken.
Een gedeelde modeldienst binnen de AI-VM kan meerdere aanvragen verwerken. Dat verschilt van het verdelen van de kaart over meerdere VM’s. Of een aparte vGPU-oplossing geschikt is, hangt ook af van GPU, hypervisor, drivers, ondersteunde configuraties en licenties.
Een VM biedt een duidelijk toegewezen systeemomgeving: besturingssysteem, modelserver en benodigde gegevens kunnen samen worden beheerd. De GPU blijft een fysiek apparaat met eigen voorwaarden.
Controleer de volledige hardwareketen vóór plaatsing
De Proxmox-documentatie noemt IOMMU-ondersteuning inclusief interrupt remapping als voorwaarde. CPU, moederbord, firmware en Linux-ondersteuning moeten bij elkaar passen. Alleen de aanduiding VT-d of AMD-Vi vervangt die controle niet.
Ook de IOMMU-groep van het gekozen slot is relevant. De GPU en bijbehorende functies moeten passend zijn gescheiden van andere benodigde apparaten. De Linux-VFIO-documentatie legt uit waarom een groep de grens voor toewijzing en isolatie vormt. Een ander slot kan tot een andere groepering leiden.
Controleer daarnaast ruimte, elektrische PCIe-aansluiting, voeding en koeling. In het gastsysteem zijn een geschikte GPU-driver en ondersteuning door de modeldienst nodig. Voor GPU-passthrough adviseert Proxmox doorgaans q35 met OVMF/UEFI en PCIe; ook de kaartfirmware moet daarvoor geschikt zijn. De concrete instellingen hangen af van de gebruikte hardware.
Beschikbare capaciteit is een gezamenlijk budget
Het planningsvoorbeeld gebruikt een bestaande virtualisatiehost met bedrijfsapplicaties en een extra AI-VM. CPU-tijd, werkgeheugen, opslag en netwerk blijven gedeelde resources. Een onbegrensde documentimport of het starten van een model mag de overige applicaties niet onverwacht vertragen.
De VM krijgt daarom een inzichtelijke configuratie en belastingslimieten. Grafisch geheugen, contextlengte en gelijktijdige modelaanvragen worden samen getest. Meer RAM toewijzen aan de VM vergroot de fysieke VRAM van de kaart niet. Offloading naar de CPU kan het gedrag veranderen en vraagt om een aparte meting.
Leg voor een eerlijke vergelijking modelversie, invoer, context en gelijktijdigheid vast. Beoordeel kwaliteit, eerste reactie, verdere uitvoer, wachttijd en invloed op andere VM’s. Een algemeen percentage voor virtualisatieoverhead zegt weinig zonder deze concrete test.
VM of dedicated machine: wat verandert er in het beheer?
| Vraag | AI-VM met GPU-passthrough | Dedicated AI-server |
|---|---|---|
| Resources | GPU vast toegewezen; stem overige hostresources af op bestaande VM’s. | Reken- en geheugenresources zijn beschikbaar voor het eigen systeem. |
| Onderhoud | Plan gastdrivers, modelbeheer en Proxmox-/hostupdates samen. | Besturingssysteem en modeldienst binnen een eigen onderhoudsgebied. |
| Andere host | Direct doorgegeven PCI-apparaten verhinderen reguliere livemigratie. Controleer bij een verplaatsing met gestopte VM geschikte doelhardware en toewijzing. | Verplaatsing of vervanging via voorbereid herstel op andere hardware. |
| Back-up | Bekijk VM-schijven, applicatieconsistentie, configuratie en apparaattoewijzing samen. | Organiseer systeem-/applicatiegegevens en herstel afzonderlijk. |
| Inspanning | Bestaande infrastructuur kan worden gebruikt; tel integratie en extra hostafhankelijkheden mee. | Plan eigen hardware en locatievoorzieningen, met duidelijker afgebakend onderhoud. |
Een bestaand cluster maakt een aan fysieke hardware gebonden AI-VM niet automatisch zonder onderbreking verplaatsbaar. Opnieuw starten op een andere node vereist compatibele GPU-resources, een geldige toewijzing en een daadwerkelijk geteste procedure. De eisen aan de dienst bepalen of dit voldoende is of dat een extra servicenode passend is.
Herstel moet meer bewijzen dan een VM die opstart
Een gekopieerde virtuele schijf bevat niet de actieve toestand van de fysieke grafische kaart. Controleer bij herstel daarom ook modelversies, configuratie, gegevensrechten en hernieuwde apparaattoewijzing. Een snapshot op dezelfde host vervangt geen afzonderlijke back-up.
Bij de acceptatie horen een normale VM-herstart, een hostherstart, een driver-/kernelwissel in het geplande onderhoudsvenster en een geplande restore. Test daarna een echte modelaanvraag en de overige applicaties. Zo blijkt of het apparaat na een herstart correct beschikbaar komt.
Een GPU die uitsluitend als rekenversneller dient, heeft geen aangesloten monitor nodig. De Proxmox-console toont niet zomaar het beeld van een doorgegeven GPU. De AI-dienst wordt via de bedoelde interface of API gebruikt.
Onderbouw de keuze met een beperkte pilot
DAXS verduidelijkt eerst de taak, bestaande host, gebruiksomvang en aanvaardbare onderbreking. Een beperkte pilot toetst daarna apparaattoewijzing, inhoudelijke kwaliteit en invloed op het beheer. Afhankelijk van de uitkomst kan een VM, een eigen machine of een externe dienst geschikt zijn.
Het Proxmox-overzicht voor bedrijven verklaart de algemene platformkeuze. De themapagina over lokale LLM-infrastructuur en de pilot met belastingstest gaan dieper in op dimensionering. Voor de gedeelde dienst vult het artikel over Ollama en Open WebUI de architectuur aan.
Bespreek het AI-bedrijfsmodel en de bestaande infrastructuur.
Bronnen: Proxmox: PCIe-passthrough (externe link) · Proxmox: migratie van virtuele machines (externe link) · Linux: VFIO en IOMMU-groepen (externe link) · NVIDIA: vGPU-ondersteuningsmatrix (externe link) · Ollama: hardwareondersteuning (externe link).
