LangChain: Wie wir unsere Dokumentation mithilfe von Deep Agents dazu gebracht haben, sich selbst zu testen

Jeder Entwickler kennt die Frustration: Man kopiert ein Code-Beispiel aus der offiziellen Dokumentation, führt es aus und — es funktioniert nicht. Die API hat sich geändert, ein Parameter wurde umbenannt, aber die Dokumentation wurde nicht aktualisiert. LangChain hat beschlossen, dieses Problem mit seinen eigenen KI-Agenten zu lösen.

Wie funktioniert das System zur Selbsttestung der Dokumentation?

LangChain verwendet Deep Agents — KI-Agenten mit mehreren spezialisierten Skills, die in einem .deepagents/skills/-Verzeichnis organisiert sind. Das System durchläuft automatisch die Dokumentation, identifiziert alle Inline-Code-Snippets und migriert sie in eigenständige Testdateien.

Jedes extrahierte Snippet wird zu einem ausführbaren Test, der bei jedem Commit über GitHub Actions ausgeführt wird. Wenn ein Test fehlschlägt — weil sich die API geändert hat —, regeneriert das System automatisch ein verifiziertes Code-Snippet, das den aktuellen Zustand der API widerspiegelt, und aktualisiert die Dokumentation.

Warum ist dies über LangChain hinaus relevant?

Der Ansatz „Dokumentation als Code mit Tests” ist nicht neu, aber die Verwendung von KI-Agenten zur Automatisierung des gesamten Zyklus schon. Traditionell erfordert das Testen von Dokumentation das manuelle Schreiben von Tests für jedes Beispiel — eine Arbeit, die selten gepflegt wird, weil sie keinen direkten Einfluss auf die Produktfunktionalität hat.

LangChains Ansatz behandelt die Dokumentation mit derselben Strenge wie Produktionscode: Jedes Beispiel muss einen Test bestehen, jeder Test wird automatisch ausgeführt, jeder Fehler wird automatisch behoben. Für Projekte mit schnellen Entwicklungszyklen — bei denen sich APIs wöchentlich ändern — ist dies der Unterschied zwischen einer Dokumentation, die funktioniert, und einer, die frustriert.

Das System ist als Referenzimplementierung verfügbar, die andere Open-Source-Projekte an ihre eigenen Bedürfnisse anpassen können.