OpenAI stellt LifeVal vor, einen Benchmark für alltägliche Aufgaben persönlicher Assistenten

OpenAI zufolge hat das Unternehmen LifeVal entwickelt, einen neuen Benchmark, der auf Rückmeldungen von Tausenden ChatGPT-Nutzern dazu basiert, wobei sie sich am meisten Hilfe von einem persönlichen Assistenten wünschen. Die Aufgaben reichen von der Suche nach Kinderbetreuung bis zum Zugang zu staatlichen Dienstleistungen und der Verwaltung der persönlichen Finanzen.

OpenAI zufolge stützte sich das Unternehmen zunächst auf zwei Studien zur Zeitverwendung, die American Time Use Survey und die Multinational Time Use Study, und ergänzte sie um eine eigene, demografisch repräsentative Umfrage unter 3.995 Befragten. Die daraus entstandenen Aufgaben decken Pflege und Betreuung, Gesundheit, Bildung, Haushaltsverwaltung, persönliche Finanzen, Einkäufe und staatliche Dienstleistungen ab. Viele davon erfordern konkrete Aktionen wie das Buchen oder Bestellen und nicht nur das Beantworten von Fragen.

OpenAI zufolge nutzt das Unternehmen LifeVal seit dem vergangenen Jahr, um seine Modelle bei der Browser- und Computernutzung sowie bei Aufgaben mit Konnektoren zu verfolgen und zu verbessern. Das Unternehmen gibt für GPT-6 Astra die höchsten aufgezeichneten Ergebnisse bei einzelnen Aufgaben an: etwa 100 % beim Buchen eines Sinneskurses für ein Kleinkind und beim Bestellen eines Budgets entsprechenden halal-Lebensmitteleinkaufs sowie 90,4 % bei einem Essensplan für die Zubereitung von Mahlzeiten für einen Elternteil, bei dem kürzlich Diabetes diagnostiziert wurde. Es handelt sich um Zahlen von OpenAI selbst.