Voor een eerste proef met lokale AI hoeft niet meteen een nieuwe server te worden gekocht. Een bestaande computer kan laten zien of een kleiner taalmodel bruikbare resultaten voor de gewenste taak oplevert. Voor dagelijks werk tellen vervolgens ook wachttijd, beschikbare capaciteit en betrouwbaar beheer mee.
De belangrijkste vraag is daarom: wat moet het model doen? Een korte tekstcorrectie stelt andere eisen dan het analyseren van lange documenten, uitgebreid programmeerwerk of meerdere mensen die tegelijk werken. ‘Het model start’ is een eerste technische vaststelling. Daarmee is nog geen geschikte werkplek of bedrijfsdienst aangetoond.
Wat mogelijk is zonder bijzondere grafische kaart
Taalmodellen kunnen op een ondersteunde CPU draaien. De runtime llama.cpp ondersteunt verschillende processorplatforms en ook het verdelen van het werk tussen CPU en GPU. Een GPU is dus geen algemene voorwaarde voor elke proef, maar kan de verwerking aanzienlijk versnellen. Het werkelijke verschil wordt met de gekozen taak gemeten. llama.cpp: ondersteunde hardware en uitvoering (externe link).
Een CPU-proef kan bijvoorbeeld dienen om niet-gevoelige steekwoorden in een concepttekst om te zetten, een korte notitie te structureren of een klein codevoorbeeld te beoordelen. Het model moet bij de taal en het onderwerp passen. Een lange invoer, een veeleisend antwoord of een tweede gelijktijdige aanvraag kan een aanvankelijk bruikbare proef met één gebruiker sterk veranderen.
32 of 64 GB RAM: planningsscenario’s in plaats van een universeel minimum
De volgende niveaus zijn bewust als voorbeelden aangeduid. Ze vervangen noch de controle van het concrete modelbestand, noch een belastingstest. Kleinere modellen kunnen met minder geheugen toe; grotere modellen, lange contexten of meerdere diensten kunnen aanzienlijk meer nodig hebben.
| Uitbreidingsniveau | Voorbeeldbasis | Wat de test moet uitwijzen |
|---|---|---|
| Bestaande computer beoordelen | Ondersteunde CPU, bijvoorbeeld 32 GB RAM en voldoende vrije SSD-capaciteit; eerst zonder extra GPU. | Past een kleiner model inhoudelijk? Is de wachttijd voor afzonderlijke korte taken acceptabel? |
| Regelmatig gebruikte werkplek | Bijvoorbeeld 32–64 GB RAM, een NVMe-SSD en een GPU die gericht op model en context is gekozen. | Blijft het werk vlot wanneer andere toepassingen tegelijk draaien en de invoer langer wordt? |
| Gedeelde dienst | Eigen toegewezen middelen; bijvoorbeeld 64 GB systeem-RAM als uitgangspunt voor de planning, passende versnelling en geregeld beheer. | Welke gelijktijdigheid, antwoordkwaliteit en beschikbaarheid zijn onder echte belasting haalbaar? |
64 GB systeem-RAM vervangt geen voldoende groot grafisch geheugen. Ook bewijst een modelbestand dat op de SSD past niet dat het volledige model met de gewenste context in het GPU-geheugen past. Bij systemen met gedeeld geheugen moet de volledige geheugenverdeling worden bekeken.
Waarom alleen de modelgrootte niet genoeg is
Een eenvoudig rekenvoorbeeld verduidelijkt de orde van grootte: acht miljard parameters met theoretisch vier bits per parameter leveren 8.000.000.000 × 4 ÷ 8 = 4.000.000.000 bytes, dus ongeveer 4 GB of 3,73 GiB aan alleen gewichten. Dit is niet de volledige geheugenbehoefte van een uitvoerbaar model.
Daar komen onder meer kwantisatiegegevens, onderdelen in andere opslagformaten, runtimebuffers en geheugen voor de context bij. Het werkelijke bestand en de gekozen runtime zijn bepalend. GGUF bevat bijvoorbeeld naast tensoren ook metadata en ondersteunt verschillende kwantisatieformaten. Hugging Face: GGUF en kwantisatie (externe link).
Een groter contextvenster heeft extra geheugen nodig. Daarom wordt de gewenste invoerlengte uitdrukkelijk in de test vastgelegd. Een korte chat met een kleine invoer zegt weinig over later werk met lange documenten. Ollama: contextlengte en geheugenbehoefte (externe link).
Een GPU moet bij de hele omgeving passen
Bij de keuze tellen bruikbaar grafisch geheugen, ondersteunde drivers en runtime, stroomverbruik, koeling en inbouwmogelijkheden mee. Twee kaarten met een vergelijkbare productnaam kunnen verschillende hoeveelheden geheugen hebben. Ook ‘herkend door het besturingssysteem’ betekent nog niet dat de gewenste modelruntime de kaart goed gebruikt.
Voor aankoop worden daarom het exacte kaartmodel, het besturingssysteem en de driverversie getoetst aan de actuele ondersteuning van de runtime. Ollama beschrijft verschillende mogelijkheden voor NVIDIA, AMD, Apple Metal en andere backends. Dat betekent niet dat elke kaart van een merk algemeen wordt ondersteund. Ollama: actuele hardwareondersteuning (externe link).
Wat NVMe en Linux bijdragen
Een NVMe-SSD is een zinvolle planningsoptie voor lokale modelbestanden, updates en werkgegevens. Vrije ruimte wordt gereserveerd voor de werkelijk gebruikte modellen en extra versies. Een grotere schijf vervangt echter geen RAM of grafisch geheugen; ook een snelle SSD maakt een te groot model niet automatisch interactief bruikbaar.
Linux kan goed passen bij een continu beheerde dienst als drivers, onderhoud en verantwoordelijkheden daarbij aansluiten binnen het bedrijf. Ollama beschrijft onder meer het gebruik als eigen systeemdienst. Het besturingssysteem wordt gekozen op basis van de bestaande omgeving; het hoeft niet op elke werkplek nieuw te worden ingevoerd. Ollama: Linux-beheer en versieonderhoud (externe link).
Een korte pilot levert een betere boodschappenlijst op
- Een taak vastleggen: bijvoorbeeld een concept maken van goedgekeurde steekwoorden voordat de hele kennisopslag wordt aangesloten.
- Testvoorwaarden noteren: modelversie, kwantisatie, context, hardware en andere actieve toepassingen.
- Resultaten beoordelen: inhoudelijke juistheid, noodzakelijke correcties en werkelijk bespaard werk.
- Wachttijden meten: gebruikelijke en langere invoer, plus het verwachte gelijktijdige gebruik.
- Ook het beheer toetsen: gegevensstromen, toegangsrechten, updates, back-up en opnieuw opstarten van de dienst.
De uitgebreidere testaanpak staat in het artikel Lokale AI testen: een pilot met representatieve belasting. Voor de overstap naar een gedeelde dienst beschrijft Ollama en Open WebUI in het bedrijfsnetwerk de verdeling tussen toegang, interface en model.
Het bestaande goed gebruiken en gericht aanvullen
Een bestaande computer kan voldoende zijn om te beginnen. Als de pilot een overtuigend nut aantoont, wordt daarna gericht uitgebreid of een eigen dienst gepland. Voor zeldzame of bijzonder veeleisende taken kan ook een goedgekeurde cloud-API of een hybride model economisch passen. Gegevens, kwaliteit, gebruik en beheerlast geven de doorslag.
DAXS helpt bij deze afweging en bij de integratie in de bestaande IT. Een startpunt bieden Lokale LLM’s en infrastructuur en de aanvraag voor AI-advies en automatisering.
Bronnen: de geheugenwaarden zijn uitdrukkelijk beschreven planningsscenario’s of een theoretische berekening van de gewichten. Ze zijn geen benchmark, prijsaanbieding of bewijs voor een bepaald aantal gebruikers. De licentie van het concrete model en de systeemcompatibiliteit worden vóór gebruik gecontroleerd.
