Anthropic заявляет, что в течение двух недель до запуска проводила нагрузочное тестирование сервиса Claude Docs и повышала его надёжность
В инженерном посте Vivek Nair из Anthropic описывает «цикл хаоса», который использовали перед запуском Claude Docs 16 сентября. Это редактор документов, в котором могут совместно работать люди и сессии Claude — от чата до Claude Code. По данным Anthropic, к 22 сентября после запуска было создано более 4,6 млн документов и обработано около 2 млрд запросов; при этом произошло всего 60 серверных ошибок, откат не понадобился, а для работы хватило примерно 50 подов с оптимизированным потреблением памяти.
- Цикл: с 4 сентября сессия Claude Code координировала субагентов — обычно около 11 одновременно, максимум 30 — на тестовом кластере, повторявшем рабочую среду и обрабатывавшем более миллиона синтетических документов в день. Она выбирала сценарий, запускала тестовый стенд, изучала телеметрию через Datadog MCP, предлагала исправление, выкатывала его в тестовую среду и повторяла цикл. Перед действиями, которые было бы трудно отменить, например изменением схемы или хранилища, Claude запрашивала подтверждение. При этом необходимо было соблюдать два условия: документы должны открываться почти мгновенно, а подтверждённые изменения никогда не должны теряться.
- Исправление проблем с памятью: Claude выяснила, что один большой документ занимал 3 ГБ памяти, потому что при каждом нажатии клавиши копировался в несколько структур данных. После перехода на копирование при записи потребление снизилось примерно до 180 МБ. По словам Anthropic, благодаря этому расчётная потребность при запуске сократилась с более чем 500 подов примерно до 50.
- «Понятные» решения: сервис написан на Rust, с небольшим числом зависимостей, поставляемых вместе с кодом, чтобы измеряемые показатели можно было связать с кодом, написанным командой. Anthropic заявляет, что не сравнивала Rust с Go.
- Неделя запуска: по данным Anthropic, в сентябре компания 629 раз выкатывала изменения в рабочую среду. Семь из десяти сценариев сбоев, отработанных на тестовом кластере, произошли и в рабочей среде; исправления к тому моменту уже были защищены флагами функций.
- Стоимость: Nair сообщает, что на работу ушло около $125 000 на инференс по указанной в прайс-листе цене API Claude Fable 5.2. Использовалась внутренняя исследовательская модель, которую он описывает как примерно сопоставимую с Fable 5.2. По его словам, команде инженеров понадобилось бы около шести месяцев. Для небольшого сервиса он оценивает расходы на двухнедельную работу в $3 000–$10 000, оговаривая, что сам такого расчёта не проверял.
Источники
Получайте такие новости в push.
AI Tracker сообщит, когда что-то меняется в ваших инструментах.