Allen Institute for AI veröffentlicht olmo-eval: Evaluierungsplattform für den aktiven LLM-Entwicklungszyklus
AI2 veröffentlichte olmo-eval, eine offene Evaluierungsplattform, die den OLMES-Standard vom einmaligen Benchmarking hin zu einer vollständigen Entwicklungsschleife erweitert. Die Kerninnovation ist der paarweise Checkpoint-Vergleich auf Einzelfrageebene sowie integrierte statistische Maße zur Unterscheidung echter Verbesserungen von Messrauschen.