Allen Institute for AI objavio olmo-eval: evaluacijska platforma dizajnirana za aktivni razvojni ciklus LLM modela
AI2 je objavio olmo-eval, otvorenu evaluacijsku platformu koja proširuje OLMES standard iz jednokratnog benčmarkinga prema cjelovitoj razvojnoj petlji. Ključna inovacija je parna usporedba na razini pojedinih pitanja kroz checkpointe, uz ugrađene statističke mjere za razlikovanje stvarnih poboljšanja od šuma u podacima.