GitHub: Offener Multilingual Repositories Dataset mit 80 Millionen Zeilen und 40 Millionen Repositories

GitHub hat den Multilingual Repositories Dataset veröffentlicht, einen offenen Datensatz für Forschende und Entwicklungsteams, die mehrsprachige KI-Systeme entwickeln.

Was enthält der Datensatz?

Der Datensatz umfasst mehr als 80 Millionen Klassifikationszeilen aus 40+ Millionen Repositories und wurde unter der CC0-1.0-Lizenz veröffentlicht, die den Inhalt gemeinfrei stellt. Für jedes Repository erfasst der Datensatz drei Textquellen: die README-Datei, das meistkommentierte Issue und den meistkommentierten Pull Request. Zusätzlich enthält er Metadaten wie Erstellungsdatum, Anzahl der Sterne, Forks, primäre Programmiersprache und SPDX-Lizenz-Tag.

Wie erkennt GitHub die Sprache eines Repositories?

Die Spracherkennung erfolgt durch drei unabhängige Tools — fastText, gcld3 und lingua-py — wobei jedes einen eigenen Konfidenzwert über dem Schwellenwert 0,5 liefert. Die Nutzung dreier Tools statt eines reduziert Klassifikationsfehler und ermöglicht es Forschenden, Beispiele nach dem Übereinstimmungsgrad der Detektoren zu filtern.

Welche Sprachen stechen in den Daten hervor?

Laut GitHub führt Portugiesisch bei nicht-englischen README-Dateien mit mehr als 3 Millionen Repositories, während Koreanisch die am häufigsten vertretene nicht-englische Sprache in Issue-Diskussionen ist. Diese Diskrepanz zeigt, dass sprachliche Vielfalt davon abhängt, ob man Dokumentation oder Community-Gespräche betrachtet.

Wozu dient der Datensatz?

GitHub nennt mehrere Anwendungsfälle: den Aufbau mehrsprachiger Evaluierungssets für KI-Tools, bessere Repräsentation europäischer Sprachen im Open-Source-Ökosystem sowie Forschung in der natürlichen Sprachverarbeitung. Die offene CC0-Lizenz beseitigt rechtliche Hürden für die Nutzung der Daten beim Training und der Evaluierung von Modellen.