8, 12, 16 of 24 GB grafisch geheugen helpt bij de eerste selectie. Of een lokaal taalmodel in het dagelijks werk goed functioneert, hangt ook af van modelversie, context en gelijktijdig gebruik. Een korte geheugenvergelijking voorkomt miskopen.
Wat grafisch geheugen daadwerkelijk bezet
Houd bij het plannen rekening met drie onderdelen: de geladen modelgewichten, het contextgeheugen inclusief KV-cache en de uitvoeringsbuffers van de gebruikte backend. Daarnaast moet ruimte overblijven voor andere GPU-toepassingen en een operationele reserve. Bij een gebruikelijke losse grafische kaart zijn systeem-RAM en grafisch geheugen verschillende bronnen.
Systemen met gedeeld geheugen hebben een ander budget: besturingssysteem, toepassingen en model gebruiken dezelfde voorraad. Ook daar moet de pilot het werkelijk beschikbare geheugen en de echte taak meten. De nominale capaciteit alleen volstaat bij geen van beide ontwerpen.
4 bit: een nuttige berekening met duidelijke grenzen
De “B” in 7B of 70B betekent miljard parameters. Een grove gewichtsberekening bij uniforme 4 bit is: aantal parameters × 4 ÷ 8 = bytes. Kwantisatie slaat gewichten op met een lagere precisie. Het effect op de antwoordkwaliteit moet voor de betreffende taak worden getest.
| Modelklasse | Theoretisch bij 4 bit | Wat hieruit volgt |
|---|---|---|
| 7–8B | 3,5–4,0 GB ≈ 3,26–3,73 GiB | Compact vertrekpunt voor een eerste test; het concrete bestand en de context komen erbij. |
| 14B | 7,0 GB ≈ 6,52 GiB | De berekening alleen bewijst geen volledige uitvoering op een kaart van 8 GB. |
| 32B | 16,0 GB ≈ 14,90 GiB | Zelfs een nominaal passend gewichtsbudget laat nog geen ruimte voor de overige uitvoering. |
| 70B | 35,0 GB ≈ 32,60 GiB | In deze vereenvoudigde berekening overschrijden de gewichten al één kaart van 24 GB. |
Een specifiek GGUF is groter of anders samengesteld dan deze berekening. Bij methoden zoals Q4_K_M worden niet alle onderdelen simpelweg met vier bits per parameter opgeslagen. Vermeld daarom het exacte modelbestand met de kwantisatievariant in de planning.
Een controleerbaar voorbeeld uit de officiële Qwen-bestandslijsten: de opgetelde Q4_K_M-bestandsdelen van Qwen2.5-Instruct nemen bij 7B ongeveer 4,68 GB / 4,36 GiB, bij 14B 8,99 GB / 8,37 GiB en bij 32B 19,85 GB / 18,49 GiBin. Dit zijn bestandsgroottes, geen gemeten VRAM-verbruiken. Ze laten wel zien waarom “32B in 4 bit past op 16 GB” voor deze versie geen houdbare toezegging is.
8, 12, 16 of 24 GB beoordelen
| Capaciteitsklasse | Zinvol testgebied | Aandachtspunten |
|---|---|---|
| 8 GB | Een compacte 7–8B-versie en beperkte context als vertrekpunt. | Ander GPU-gebruik en langere invoer kunnen het budget snel verkleinen. |
| 12 GB | Meer ruimte voor compacte modellen; test een specifieke 14B-kwantisatie gericht. | Gewichten, KV-cache en uitvoeringsbuffers moeten samen in het vrije geheugen passen. |
| 16 GB | Extra reserve voor passende kleinere en middelgrote modelversies. | De genoemde Qwen2.5-32B-Q4_K_M overschrijdt deze klasse al als volledig bestand. |
| 24 GB | Een geschikte 32B-kwantisatie kan op de shortlist komen. | Lange context en gelijktijdige verzoeken moeten aanvullend worden getest. Ondersteuning voor 70B volgt hier niet uit. |
Controleer de eenheid van het meetgereedschap en het vrije geheugen. Twee kaarten met dezelfde capaciteit kunnen sterk verschillen in geheugenbandbreedte, rekenkracht, driverondersteuning en energieverbruik. Meer GB vormen dus geen modelgoedkeuring of benchmark.
Context en gelijktijdige verzoeken horen in de test
De KV-cache bewaart tussenwaarden voor de verwerking. De behoefte hangt onder meer af van modelarchitectuur, contextlengte en opslagformaat. Lange documenten, chatgeschiedenis en ingevoegde kennisfragmenten vragen extra ruimte. Het geadverteerde maximale contextvenster is dus geen kosteloos beschikbare geheugenruimte.
Ook een geslaagde losse test zegt weinig over gelijktijdige verzoeken. Bij Ollama neemt het geheugengebruik toe door parallelle contextverwerking; leg de exacte configuratie vast. Test naast een kort verzoek ook een langere realistische context en de verwachte gelijktijdigheid. Beoordeel antwoordkwaliteit, tijd tot het eerste token, totale duur, fouten en piekgebruik samen.
Een kleiner of gekwantiseerd KV-formaat kan afhankelijk van runtime en backend geheugen besparen. Het kan ook nauwkeurigheid en gedrag beïnvloeden. Kwantisatie van modelgewichten en van KV zijn afzonderlijke instellingen; vergelijk beide met dezelfde inhoudelijke testgevallen.
Uitwijken naar CPU en RAM: mogelijk, met ander gedrag
Runtimes zoals llama.cpp ondersteunen een verdeling tussen CPU en GPU. Daarmee kan een model bruikbaar worden waarvan de totale geheugenbehoefte het grafisch geheugen overschrijdt. Daarvoor zijn genoeg systeem-RAM en een geschikt datapad nodig. Een SSD vervangt ontbrekende VRAM niet door even snel grafisch geheugen.
Offloading verandert het uitvoeringspad en vaak de antwoordtijd; de omvang is zonder meting niet verantwoord te becijferen. In Ollama helpt ollama psom de huidige CPU/GPU-verdeling te controleren. Meerdere GPU’s staan evenmin automatisch gelijk aan één groot apparaat: ondersteuning, verdeling en overdracht tussen de kaarten horen in de architectuurcontrole.
Voor aankoop: een concrete configuratie valideren
- Model vastleggen: exacte versie, kwantisatie, licentie en gewenste antwoordkwaliteit.
- Belasting vastleggen: contextbudget, invoer-/uitvoerlengte en gelijktijdige verzoeken.
- Omgeving controleren: concrete GPU, backend, drivers, besturingssysteem, RAM, koeling en voeding.
- Meten: vrije capaciteit, piekgebruik, antwoordtijden en inhoudelijke fouten in een representatieve pilot.
- Beslissen: bestaande hardware hergebruiken, gericht uitbreiden of een lokale, externe of hybride dienst kiezen.
DAXS stemt de model- en hardwarekeuze af op uw bestaande IT en het afgesproken beheer. De vakpagina Lokale LLM’s en infrastructuurbeschrijft het kader. Het artikel over de belastingspilot voor lokale AI toont de beoordeling met realistische taken; Kosten en modelkeuze behandelt de economische kant.
Model- en hardwarekeuze bespreken
Bronnen: Ollama: contextlengte (externe link) · Ollama: geheugen, gelijktijdigheid en offloading (externe link) · llama.cpp: uitvoeringspaden (externe link) · Hugging Face: GGUF (externe link) · officiële Qwen-bestandslijsten 7B (externe link), 14B (externe link), 32B (externe link). Oriëntatie voor inferentie; geen trainingstest, hardwareaanbieding of beweerde klantmeting.
