Allen Institute: EMO — MoE jezični model s prirodnom semantičkom modularnošću iz podataka
EMO je novi MoE jezični model Allen Institutea s 1B aktivnih i 14B ukupnih parametara, treniran na 1 trilion tokena. Eksperti se sami organiziraju u semantičke domene — uz 25% aktivnih eksperata gubitak performansi je svega 1%.