Anthropic zegt Claude Docs-service twee weken vóór de lancering met belastingtests te hebben getest en gehard
In een engineeringblog beschrijft Vivek Nair van Anthropic een ‘chaos loop’ die werd gebruikt vóór de lancering van Claude Docs op 16 september. Dit is een documenteditor waarin mensen en Claude-sessies (van chat tot Claude Code) samen kunnen werken. Anthropic zegt dat de lancering op 22 september meer dan 4,6 miljoen documenten had opgeleverd en ongeveer 2 miljard verzoeken had verwerkt, met slechts 60 serverfouten, zonder terugdraaiactie en met ongeveer 50 voor geheugen geoptimaliseerde pods.
- De loop: vanaf 4 september coördineerde een Claude Code-sessie subagents (meestal ongeveer 11 tegelijk, met een piek van 30) op een stagingcluster dat de productieomgeving nabootste en dagelijks meer dan een miljoen synthetische documenten verwerkte. Het systeem koos een scenario, voerde de testharnas uit, las telemetrie via de Datadog MCP, stelde een oplossing voor, zette die uit op staging en herhaalde het proces. Claude vroeg om goedkeuring voordat het iets deed dat moeilijk terug te draaien was, zoals wijzigingen aan het schema of de opslag, en moest twee invarianten bewaken: documenten openen vrijwel onmiddellijk en een bevestigde bewerking gaat nooit verloren.
- Een geheugenfix: Claude herleidde het geheugengebruik van 3 GB voor één groot document tot het feit dat elke toetsaanslag het document naar meerdere datastructuren kopieerde. Het schakelde die structuren over op copy-on-write en bracht het geheugengebruik terug tot ongeveer 180 MB. Anthropic zegt dat dit de raming voor de lancering terugbracht van meer dan 500 pods naar ongeveer 50.
- ‘Begrijpelijke’ keuzes: de service is geschreven in Rust, met weinig afhankelijkheden die bovendien zijn meegeleverd, zodat gemeten cijfers terug te voeren zijn op code die het team zelf schreef. Anthropic zegt Rust niet met Go te hebben vergeleken.
- De lanceringsweek: Anthropic zegt de productieomgeving in september 629 keer te hebben uitgerold en dat zeven van de tien op staging geoefende faalscenario’s zich in productie voordeden, waarbij de fixes al achter runtimevlaggen stonden.
- Kosten: Nair zegt dat het werk tegen de API-lijstprijs van Claude Fable 5.2 ongeveer $125.000 aan inferentie kostte, met een intern onderzoeksmodel dat volgens hem ongeveer vergelijkbaar is met Fable 5.2. Een team van engineers zou er ongeveer zes maanden voor nodig hebben gehad. Voor een kleine service schat hij de kosten van een sprint van twee weken op $3.000 tot $10.000, zonder dat hij die schatting zelf heeft getest.
Bronnen
Krijg nieuws als dit als pushmelding.
AI Tracker waarschuwt je zodra er iets verandert aan de tools die je gebruikt.