Britisches AISI: KI-Agenten-Evaluierungen müssen Rechenbudget berücksichtigen
Das britische AI Security Institute zeigt, dass Evaluierungen von KI-Agenten mit festem Token-Budget die Fähigkeiten von Frontier-Modellen systematisch unterschätzen. Eine Erhöhung des Budgets von einer auf zehn Millionen Token steigert die Leistung bei Software-Engineering-Aufgaben um bis zu 25 Prozent und bei mathematischen Tests um 22 Prozent. Das AISI fordert Regulierungsbehörden auf, von Benchmark-Noten auf Fähigkeitskurven umzusteigen, die variables Rechenbudget berücksichtigen.