Artificial Analysis startet einen Search Index, der Such-APIs für Agents bewertet

Artificial Analysis hat seinen Search Index gestartet. Er misst Leistung, Kosten und Latenz von Such-APIs anhand von 1.700 Aufgaben aus drei Such-Benchmarks: BrowseComp, DeepSearchQA und AA-Omniscience. Für alle Einträge werden dasselbe Basismodell und dessen Open-Source-Agent-Harness Stirrup verwendet. Laut Artificial Analysis werden Agents bis Ende des Jahres voraussichtlich deutlich häufiger im Web suchen als Menschen.

Den Messungen zufolge liegen Exa (auto) und Perplexity (medium) vorn; ihre besten Konfigurationen erreichen 80 Punkte. Anbieter von Such-APIs können um Aufnahme bitten. Die Methodik-Seite enthält Informationen zu den DeepSeek-Sucheinstellungen.