AI-model benchmark augustus 2026
AI-model benchmark augustus 2026: lokaal model Qwen 3.8 verslaat Fable voor bug-fixing
Nieuwe modellen sluiten direct aan bij de kopgroep. Tegelijk lopen kwaliteit, kosten en actieve uitvoeringstijd sterk uiteen.
We hebben onze benchmark voor AI-ondersteunde softwareontwikkeling opnieuw uitgebreid met nieuwe modellen en modelversies. De resultaten van 31 augustus 2026 maken vooral duidelijk hoe weinig één algemene modelranking inmiddels zegt.
Bij full-stack softwaregeneratie behalen Claude Opus 5, Claude Opus 4.8 en GPT-5.6 Terra alle drie de maximale score van 25/25. Daarachter volgen negen modellen met 24/25.
De bug-fixtest onderscheidt de modellen veel sterker. GPT-5.6 Sol staat daar bovenaan met 68 van de 71,5 punten. Claude Opus 5 volgt met 60,5, terwijl Grok 4.6, GPT-5.6 Terra en Qwen 3.8 27B FP8 dicht bij elkaar eindigen rond de 57 punten.
Juist die verschillen tussen taken zijn relevant voor organisaties die AI structureel in softwareontwikkeling willen inzetten. De vraag verschuift van "welk model is het beste?" naar "welk model presteert goed op deze taak, tegen welke kosten en binnen welke tijd?"
Twee verschillende softwaretests
De benchmark bestaat uit twee onderdelen. De eerste test beoordeelt full-stack softwaregeneratie binnen een Kanban-use-case. Iedere run bestaat uit vier taken. Het resultaat krijgt maximaal 25 punten op basis van vijf beoordelingsdimensies:
scope fidelity
architectuur
volledigheid van de gebruikerservaring
operationele kwaliteit
reliability risk
Iedere dimensie levert maximaal vijf punten op. De huidige grafiek bevat 21 modelentries.
De tweede test richt zich op bug-fixing in een bestaande codebase. Daarin zijn 29 defects vooraf aangebracht. De maximale gewogen score is 71,5 punten. Critical defects wegen voor 5 punten mee, High voor 3, Medium voor 2, Low voor 1 en Trivial voor 0,5. Een fix telt alleen wanneer de bijbehorende verificatiestap slaagt. Per model is één ronde uitgevoerd. Waar beschikbaar registreren we daarnaast wall-clock time en run cost. Wall-clock time is de actieve bouw- of fixtijd, exclusief perioden waarin een run stil lag.
De kostencijfers zijn niet allemaal rechtstreeks vergelijkbaar. Sommige subscription-runs worden als API-equivalente kosten weergegeven. De GPT-5.6-kosten in de bug-fixtest zijn bijvoorbeeld geschat op basis van token counts. Qwen 3.8 27B FP8 draaide op eigen hardware en heeft daardoor $0 provider charge. Compute, hardware en beheer zijn daarmee vanzelfsprekend niet gratis. Voor enkele runs ontbreekt een reproduceerbare tijd- of kostwaarde.
Full-stack: de bovenkant van het klassement zit bijna tegen het plafond
Claude Opus 5, Claude Opus 4.8 en GPT-5.6 Terra behalen ieder de maximale 25/25.
Direct daarachter volgt een opvallend brede groep op 24/25: GLM 5.3, Grok 4.6, Kimi K3, Codex 5.5, GLM 5.2, Fable, GPT-5.6 Luna, Muse Spark 1.2 en Qwen 3.8 27B FP8. Voor modelselectie is het verschil tussen 24 en 25 punten daardoor minder informatief dan de score alleen suggereert. Kosten en bouwtijd voegen binnen deze kopgroep veel meer onderscheid toe. Claude Opus 5 behaalde 25/25 in 3 uur en 40 minuten voor $35,87. Claude Opus 4.8 kwam op dezelfde score in 2 uur en 4 minuten voor $24,74. GPT-5.6 Terra kostte $17,58 en had 4 uur en 2 minuten nodig.
De kwaliteitsscore is dus gelijk, maar operationeel zijn de runs behoorlijk verschillend.
Ook binnen de 24/25-groep lopen de resultaten uiteen. Grok 4.6 realiseerde 24 punten in 1 uur en 26 minuten voor $19,52. Muse Spark 1.2 deed er 2 uur en 1 minuut over voor $18,10. Fable kwam eveneens op 24/25, maar de geregistreerde run cost bedroeg $59,29. GPT-5.6 Luna eindigde op dezelfde score met circa $6 aan API-equivalente kosten. De actieve bouwtijd bedroeg 6 uur en 44 minuten. Qwen 3.8 27B FP8 is vooral interessant vanuit een self-hosted perspectief. Het model scoorde 24/25 zonder provider charge, maar de run duurde 10 uur en 21 minuten. Dat is de langste geregistreerde full-stackrun in de grafiek.
Ook onder de kopgroep blijven de verschillen relevant
Vijf modellen komen uit op 23/25: DeepSeek V4 Pro 0813, GPT-5.6 Sol, Composer 2.5, Grok 4.5 en Gemini 3.6 Flash.
Daarna neemt de afstand toe. Gemini 3.7 Flash en MiniMax 2.7 behalen 20/25, DeepSeek V4 Flash 0731 komt op 16/25 en Qwen 3.6 Plus op 12/25.
De goedkoopste run is daarmee niet automatisch aantrekkelijker. MiniMax 2.7 kostte in deze test $1,11 en Qwen 3.6 Plus $0,36, maar hun kwaliteitsscores liggen duidelijk onder de kopgroep.
Hoeveel extra menselijke correctie of review die lagere scores veroorzaken, is niet gemeten. Op basis van deze benchmark kunnen we daarom geen totale ontwikkelkosten per model berekenen.
Bug-fixing trekt het klassement veel verder uit elkaar
Waar de full-stackresultaten bovenin dicht op elkaar zitten, loopt de bug-fixscore uiteen van 27 tot 68 punten.
GPT-5.6 Sol staat bovenaan met 68/71,5. Claude Opus 5 volgt met 60,5/71,5. Daarna komen Grok 4.6 met 57,5, GPT-5.6 Terra met 57 en Qwen 3.8 27B FP8 met 56,75. Kimi K3 behaalt 54,5 punten. Fable en Grok 4.5 komen beide op 52 en Muse Spark 1.2 op 50. Verder naar beneden zien we onder andere DeepSeek V4 Pro 0813 op 35,5, Qwen 3.6 Plus op 31,5, DeepSeek V4 Flash op 30,5, DeepSeek V4 Flash 0731 op 28,25 en MiniMax 2.7 op 27.
Deze test maakt verschillen beter zichtbaar dan de huidige full-stackrubric. Dat komt mede doordat iedere bug vooraf bekend is en een fix pas meetelt wanneer de verificatiestap slaagt.
Hetzelfde model kan per taak een heel andere positie innemen
GPT-5.6 Sol staat eerste bij bug-fixing met 68/71,5, maar behaalt in de full-stacktest 23/25. Claude Opus 5, Claude Opus 4.8 en GPT-5.6 Terra komen daar op 25/25.
Claude Opus 4.8 laat bijna het spiegelbeeld zien. Het model haalt de maximale full-stackscore, maar komt bij bug-fixing op 38/71,5.
Claude Opus 5 doet het in beide tests sterk: 25/25 voor full-stack en 60,5/71,5 voor bug-fixing.
GPT-5.6 Terra combineert eveneens hoge scores over beide taken, met 25/25 en 57/71,5.
Die verschillen zijn een goede reden om modellen per taak te evalueren. Een model dat uitblinkt in het herstellen van bestaande code hoeft niet automatisch bovenaan te staan bij het genereren van een complete applicatiefunctie, en andersom. Twee tests zijn uiteraard te beperkt om daar algemene uitspraken over alle softwareontwikkeling aan te verbinden.
De nieuwkomers maken vooral de bug-fixkopgroep interessanter
Ten opzichte van onze eerdere benchmark zijn verschillende nieuwe modelversies toegevoegd.
In de vorige full-stackmeting stond Claude Opus 4.8 alleen op 25/25 en GPT-5.6 Terra op 24/25. In de huidige meting halen Claude Opus 5, Claude Opus 4.8 en GPT-5.6 Terra alle drie 25/25. Bij bug-fixing blijven enkele eerder geteste scores gelijk zichtbaar, waaronder GPT-5.6 Sol op 68/71,5, GPT-5.6 Terra op 57, Fable op 52 en Claude Opus 4.8 op 38. Nieuw in de huidige kopgroep zijn onder meer Claude Opus 5 op 60,5, Grok 4.6 op 57,5 en Qwen 3.8 27B FP8 op 56,75.
Vooral Grok 4.6 combineert in deze specifieke run drie interessante waarden: 57,5/71,5 punten, 8 minuten actieve fixtijd en $1,35 run cost. Claude Opus 5 scoort drie punten hoger, op 60,5, met 35 minuten actieve tijd en $14,54 aan geregistreerde kosten. Qwen 3.8 27B FP8 komt met 56,75 vrijwel op hetzelfde scoringsniveau als Grok 4.6 en Terra, maar had 47 minuten nodig en draaide op eigen hardware.
Dat maakt deze modellen interessant voor een vervolgtest op een eigen codebase. De data is te beperkt om er een algemene prijs-prestatieranglijst van te maken. Ook vergelijkingen tussen benchmarkrondes verdienen voorzichtigheid. De grafieken bevatten niet alle prompt-, configuratie- en omgevingsdetails die nodig zijn om iedere verschuiving als een volledig gecontroleerde longitudinale vergelijking te behandelen.
Kwaliteit, tijd en kosten leveren drie verschillende ranglijsten op
Wie alleen op kwaliteit sorteert, krijgt een ander beeld dan wie op kosten of snelheid sorteert. Dat is direct zichtbaar bij de drie full-stackmodellen met 25/25. Hun geregistreerde kosten lopen uiteen van $17,58 voor GPT-5.6 Terra tot $35,87 voor Claude Opus 5. Claude Opus 4.8 is van deze drie het snelst met 2 uur en 4 minuten, terwijl Terra 4 uur en 2 minuten nodig had.
Bij bug-fixing verschuift de verhouding opnieuw. Grok 4.6 behaalt 57,5 punten in 8 minuten voor $1,35. GPT-5.6 Terra komt op 57 punten tegen circa $4,05. Voor Terra is bij deze run geen reproduceerbare wall-clock value beschikbaar. GPT-5.6 Sol bereikt 68 punten tegen circa $8,44. Ook daar ontbreekt een reproduceerbare tijdwaarde.
Welke combinatie aantrekkelijk is, hangt af van het werk. Bij een risicovolle wijziging kan kwaliteit zwaarder wegen dan een paar dollar inferencekosten. Bij duizenden kleine en goed testbare wijzigingen kan prijs juist doorslaggevender worden. Voor interactieve taken kan wachttijd een praktische bottleneck zijn. Daarom is het nuttiger om deze drie metrics afzonderlijk te sturen dan één totaalklassement te maken.
Model routing wordt relevanter naarmate de verschillen per taak groter worden
Voor een productieomgeving ligt het steeds minder voor de hand om één model standaard op ieder developmentprobleem los te laten. Een taak kan eerst worden geclassificeerd op type, risico en acceptatiecriteria. Daarna kan een passend model worden gekozen op basis van eigen testresultaten voor kwaliteit, snelheid en kosten.
Deze benchmark levert daar een aantal concrete kandidaten voor op.
Voor full-stack generation staan Claude Opus 5, Claude Opus 4.8 en GPT-5.6 Terra bovenaan met 25/25.
Voor de geteste bug-fixes heeft GPT-5.6 Sol de hoogste score, gevolgd door Claude Opus 5.
Grok 4.6 valt binnen de bug-fixtest op door de combinatie van 57,5 punten, 8 minuten actieve tijd en $1,35 run cost.
Qwen 3.8 27B FP8 is interessant voor organisaties die self-hosted modellen willen onderzoeken. De 24/25 full-stackscore en 56,75/71,5 bug-fixscore moeten dan worden afgewogen tegen de langere uitvoeringstijden en eigen infrastructuurkosten.
Binnen de SiliconCode AI Software Factory gebruiken we dit soort metingen om modelkeuze niet los te zien van architectuur, kwaliteitscontroles en het type developmenttaak.
Grenzen van deze benchmark
De bug-fixtest bestaat uit één ronde per model. De full-stacktest gebruikt vier taken per run en een kwalitatieve composite score. Daarmee kunnen we relevante verschillen signaleren, maar geen statistische zekerheid claimen voor toekomstige runs. Ook is de modelsamenstelling niet in beide tests gelijk. Codex 5.5 staat bijvoorbeeld wel in de full-stackgrafiek en niet in de huidige bug-fixgrafiek.
Van enkele runs ontbreken tijd- of kostgegevens. Providerkosten, API-equivalenten en self-hosted compute zijn bovendien verschillende kostensoorten. De benchmark meet ook niet hoeveel menselijke review na iedere run nodig was, hoeveel output uiteindelijk productie heeft gehaald of welke totale infrastructuurkosten erbij horen.
De resultaten beantwoorden daarom een afgebakende vraag: hoe presteerden deze specifieke modellen en versies op deze twee softwaretests?
Conclusie
De full-stackbenchmark heeft inmiddels een brede kopgroep. Drie modellen halen 25/25 en nog eens negen modellen 24/25. De huidige rubric maakt bovenin daardoor relatief weinig onderscheid.
De bug-fixtest levert een scherper beeld op. GPT-5.6 Sol staat met 68/71,5 duidelijk bovenaan. Claude Opus 5 volgt op 60,5, met Grok 4.6, GPT-5.6 Terra en Qwen 3.8 27B FP8 daar dicht achter.
Voor modelselectie zijn vooral drie zaken relevant:
Prestaties verschillen aantoonbaar per taak.
Kwaliteit, kosten en uitvoeringstijd leveren verschillende ranglijsten op.
Nieuwe modelversies kunnen binnen één benchmarkronde direct relevant worden voor de shortlist.
Een eigen benchmark op representatieve softwaretaken geeft daarom meer houvast dan één algemene publieke ranking.
Wil je zien hoe SiliconCode meerdere AI-modellen binnen een gecontroleerde softwareontwikkelstraat inzet? Vraag een persoonlijke SiliconCode demo aan of vergelijk deze resultaten met onze eerdere AI-modelbenchmark.