Anthropic presenteerde Claude Sonnet 5.5 op 28 september met een aantrekkelijke belofte: tot 30 procent lagere kosten per taak in eigen tests. De standaardtarieven veranderen niet: 2 dollar per miljoen invoertokens en 10 dollar per miljoen uitvoertokens, gelijk aan Sonnet 5. De besparing zou komen van minder tokenverbruik. S1
Zet daar de meting van Artificial Analysis naast en het beeld verandert. De onafhankelijke evaluator rapporteert op de hoogste inspanningsstand juist ongeveer 50 procent hogere kosten per taak dan bij Sonnet 5. Het model gebruikt in die meting veel meer uitvoertokens. S2
Dat verschil laat zich niet oplossen door één van de twee percentages te kiezen. Anthropic en Artificial Analysis beschrijven verschillende tests en instellingen. Bovendien gebruikte Artificial Analysis een pre-releaseversie waarin volgens Anthropic een fout zat bij gestructureerde uitvoer. De evaluator vermeldt die beperking en kondigt nieuwe metingen aan. S2
Voor een toepassing is daarom de instelling minstens zo relevant als de modelnaam. Vergelijk dezelfde opdrachten, stel dezelfde eisen aan het resultaat en reken ook mislukte pogingen mee. Het tarief per token staat vast; het aantal tokens dat een bruikbaar resultaat kost, volgt daar niet uit.
Sonnet 5.5 is volgens Anthropic beschikbaar op de Claude Platform en via AWS, Google Cloud en Microsoft Azure. PROEF heeft het model niet zelf gebenchmarkt. S1