Vijf steekwoorden moeten een korte gespreksnotitie worden. Moet daarvoor bij elke aanvraag het grootste beschikbare taalmodel aan de slag? Vaak loont het om eerst de taak goed af te bakenen en een kleiner model te testen.
Het gewenste resultaat past op enkele regels.
Een fictief telefoongesprek wordt vastgelegd met deze steekwoorden: ‘Klant vraagt naar leverdatum, offerte beschikbaar, interne afstemming nog open, morgen terugkoppeling.’ Het bericht moet de inhoud begrijpelijk samenvatten. Het mag geen leverdatum verzinnen en er ook geen bestelling of prijstoezegging van maken.
Voor deze taak zijn volledigheid, correcte toewijzing en omgaan met ontbrekende informatie doorslaggevend. Een bijzonder uitvoerige redenering of een groot contextvenster kan extra inspanning veroorzaken zonder de notitie nuttiger te maken.
Eerst de acceptatiecriteria, daarna de modelkeuze.
Een testverzameling bevat niet alleen goed geschreven voorbeelden. Afkortingen, typefouten, tegenstrijdige tijdsaanduidingen en ontbrekende contactpersonen horen erbij. Voor elk voorbeeld staat vast wat mag worden overgenomen en waar een aanvullende vraag nodig is.
Een kleiner model is geschikt als het betrouwbaar aan deze eisen voldoet. Zo niet, dan wordt de oorzaak onderzocht: onduidelijke invoer, ongeschikte voorbereiding, ontbrekende validatie of werkelijk onvoldoende modelcapaciteit. Een groter model kan helpen, maar is niet voor elke fout de voordeligste oplossing.
Een gecontroleerde router kan taken verschillend behandelen.
Een korte gespreksnotitie kan een ander verwerkingspad volgen dan een complexe contractanalyse of codecontrole. Bij de keuze tellen beschermingsbehoefte, goedgekeurde aanbieders, kwaliteit en reactietijd mee. Bij een ontoereikend resultaat volgt een aanvullende vraag of een vastgelegde escalatie.
Een vervangend model mag daarbij geen nieuwe ongeoorloofde gegevensoverdracht veroorzaken. Inhoudelijke controle en budgetgrenzen blijven gelden als de aanvankelijk gekozen API niet bereikbaar is.
De tokenprijs is slechts één regel in de berekening.
Een goedkope aanroep kan duur worden als medewerkers vaak moeten corrigeren. Omgekeerd kan een duurder model als geheel zinvol zijn als het een veeleisende taak met beduidend minder correcties afrondt. Vergelijk dezelfde taak met dezelfde kwaliteitseisen.
- Gebruik
- Verbruik van invoer en uitvoer, extra gereedschapsaanroepen en noodzakelijke herhalingen.
- Kwaliteit
- Aandeel werkelijk bruikbare resultaten en gevolgen van inhoudelijk kritieke fouten.
- Correctiewerk
- Tijd voor controle, correctie, aanvullende vragen en nieuwe verwerking.
- Beheer
- Integratie, monitoring, updates, limieten en afhandeling van uitval.
Ook de invoer kan worden verbeterd.
Voor de notitie worden de benodigde steekwoorden doorgegeven, niet uit voorzorg de hele klantgeschiedenis. Een helder uitvoerformaat maakt controle eenvoudiger. Waar de dienst dit ondersteunt, kunnen terugkerende invoerdelen profiteren van prompt caching. Of de cache wordt geraakt en welk effect dat heeft, moet worden gemeten.
Asynchrone batchverwerking is een andere mogelijkheid voor taken waarvoor geen direct antwoord nodig is. Die past bijvoorbeeld eerder bij een voorbereide documentverzameling dan bij een notitie die nog tijdens het gesprek nodig is.
Een beschikbaar vast tarief maakt wachten niet gratis.
Al betaalde quota kunnen de keuze beïnvloeden. Overbodige invoer, menselijk correctiewerk en bezette capaciteit blijven relevant. Een economische architectuur meet de kosten per succesvol afgeronde handeling en toetst die opnieuw na wijzigingen aan modellen of producten.
De vakpagina AI-kostenoptimalisatie legt modelroutering, gateways en lokale infrastructuur uit. Voor de beoordeling van complete processen vult Script, workflow of AI-agent? de afweging aan.
Bronnen: OpenAI: kostenoptimalisatie · OpenAI: prompt caching · OpenAI: batchverwerking. Geen algemene besparings- of prijsbeloften.
