Mistral: Search Toolkit za produkcijske pretraživačke pipeline

Mistral je predstavio Search Toolkit, sastavljivi (composable) framework za izgradnju produkcijskih pretraživačkih pipelinea za AI aplikacije. Alat je open-source i, prema Mistralu, “radi gdje god radi vaša infrastruktura” — u oblaku, on-premises ili na rubu mreže.

Što Search Toolkit rješava?

Search Toolkit objedinjuje unos, dohvat i evaluaciju pod jednim zajedničkim sučeljem. Umjesto spajanja zasebnih alata, framework smanjuje inženjerski teret konsolidacijom cijelog tijeka pretrage. Pipeline je termin za niz povezanih koraka obrade kroz koje prolaze podaci.

Koje su glavne komponente?

Toolkit ima tri jezgrene komponente. Ingestion parsira dokumente, dijeli sadržaj na dijelove (chunking) i generira embeddinge iz više izvora. Retrieval nudi BM25 rijetki dohvat, gusti dohvat na temelju embeddinga te hibridne pristupe. Evaluation mjeri kvalitetu metrikama poput recall, precision, MRR i NDCG na vlastitim testnim skupovima.

Za što se koristi?

Glavni su slučajevi uporabe pretraga unutar poduzeća (wikiji, sustavi podrške, repozitoriji, baze koda) te optimizacija RAG-a, gdje se kvaliteta dohvata izdvaja od kvalitete generacije. Toolkit cilja i na domenski specifičan dohvat za pravne, medicinske i financijske dokumente te na agentne tijekove rada. Integracija je dostupna kroz standardne API-je i Vespa infrastrukturu za indeksiranje.