AI Trackerアプリ
← すべてのニュース

Anthropic、Claude Docsサービスのローンチ前に2週間かけて負荷テストと堅牢化を実施したと発表

エンジニアリングに関する投稿で、AnthropicのVivek Nairは、9月16日のClaude Docsローンチ前に使用した「chaos loop」について説明している。Claude Docsは、ユーザーとClaudeのセッション(チャットからClaude Codeまで)が共同で作業できるドキュメントエディターだ。Anthropicによると、9月22日までにローンチ後のドキュメント数は460万件を超え、約20億件のリクエストに対してサーバーエラーはわずか60件で、ロールバックはなく、メモリー最適化済みポッドは約50台だった。

  • ループの仕組み: 9月4日から、Claude Codeのセッションがサブエージェント(通常は一度に約11個、ピーク時は30個)を調整し、本番環境を模したステージングクラスターで、1日あたり100万件超の合成ドキュメントを使ってテストした。シナリオを選び、テストハーネスを実行し、Datadog MCP経由でテレメトリーを読み取り、修正案を出してステージングに適用し、これを繰り返した。スキーマやストレージの変更など、元に戻すのが難しい操作の前にはClaudeが承認を求めた。また、ドキュメントがほぼ瞬時に開くこと、編集が受理された後は決して失われないこと、という2つの不変条件を守る必要があった。
  • メモリーの修正: Claudeは、ある大きなドキュメントでメモリー使用量が3 GBに達する原因を、キー入力のたびにドキュメント全体が複数のデータ構造にコピーされることだと突き止め、コピーオンライトに切り替えて約180 MBまで削減した。Anthropicによると、これによりローンチ時のポッド数の見積もりは500台超から約50台に減った。
  • 「見通しのよい」選択: サービスはRustで書かれており、依存関係を少数に絞ってベンダー化することで、測定値をチームが書いたコードにたどれるようにしている。Anthropicによると、RustとGoの比較は行っていない。
  • ローンチ週: Anthropicによると、9月には本番環境へのデプロイを629回実施した。また、ステージングでリハーサルした10件の障害シナリオのうち7件が本番環境で発生したが、修正はすでにランタイムフラグの背後に用意されていた。
  • コスト: Nairによると、この作業ではClaude Fable 5.2のAPI定価で約12万5,000ドル相当の推論を使用した。使用したのは社内研究モデルで、NairはFable 5.2とおおむね同等だと説明している。また、エンジニアチームなら約6カ月かかっただろうという。小規模なサービスなら、実際には試していないものの、2週間の集中作業に3,000~10,000ドルかかると見積もっている。

こんなニュースをプッシュで。

使っているツールに変化があると、AI Tracker がお知らせします。

アプリを入手