AWS: Drei Architekturmuster für skalierbare Sprachagenten mit Amazon Nova Sonic

Amazon Nova Sonic ist das Foundation-Modell von AWS für Sprach-KI — es führt Gespräche in Echtzeit, versteht Ton und Kontext und kann externe Tools direkt während einer Sprachsitzung aufrufen. Anders als traditionelle Pipeline-Lösungen verarbeitet Nova Sonic Sprache von Eingang bis Ausgang ohne zwischengeschalteten Transkriptionsschritt.

Was ist der AgentCore Gateway und warum ist er wichtig?

AgentCore Gateway ist eine serverlose Infrastruktur, die Geschäftslogik als MCP-Tools (Model Context Protocol) exponiert — verwaltete Endpunkte, die Nova Sonic ohne zwischengeschaltete Inferenzschichten aufrufen kann. Sprachagent bezeichnet in diesem Kontext ein KI-System, das gesprochene Eingaben empfängt, die Absicht versteht und Aktionen in Echtzeit über eine gesprochene Antwort ausführt.

Der zentrale Vorteil des Gateways ist die Eliminierung von Vermittlerlatenz: Wenn ein Nutzer eine Frage stellt, ruft das Modell direkt das Tool auf und gibt die Antwort in derselben Sitzung zurück — ohne die Kontrolle an einen separaten Agenten-Orchestrator abzugeben.

Welches der drei Muster hat die geringste Latenz?

AWS beschreibt drei Architekturmuster mit je klaren Kompromissen:

• Direkte Tools — Nova Sonic ruft MCP-Tools direkt über den AgentCore Gateway auf. Die einfachste Architektur mit geringer Latenz, skaliert jedoch schlecht für mehrstufige Workflows.
• Sub-Agenten — Komplexe Aufgaben werden an spezialisierte Agenten mit eigenen Modellen und Tools delegiert. AWS empfiehlt kleinere Modelle (Nova Lite oder Micro), um die Zusatzlatenz durch Sub-Agenten-Inferenz zu reduzieren.
• Session-Segmentierung — Das Gespräch wird in Phasen aufgeteilt (z. B. Authentifizierung → Kontoverwaltung → Kreditanfragen), jede als separate Nova-Sonic-Sitzung mit fokussiertem Prompt und minimalem Tool-Set. Der Kontext der vorherigen Phase wird als Gesprächsverlauf übertragen.

Session-Segmentierung erzielt die geringste Betriebslatenz, da jede Sitzung nur die für diese Phase relevanten Tools trägt — ein kleineres Tool-Set bedeutet schnellere Auswahl und weniger Overhead im System-Prompt. Der einzige Nachteil ist eine kurze Pause beim Wechsel zwischen Phasen.

Praktische Latenz-Optimierungen

AWS nennt mehrere konkrete Techniken: paralleler Aufruf unabhängiger Tools (nativ unterstützt im Strands-Framework), Vorabruf von Nutzerdaten unmittelbar nach der Authentifizierung sowie Füllphrasen wie „Ich schaue kurz nach…” zur Maskierung der Aufrufzeit. Alle drei Techniken gelten unabhängig vom gewählten Architekturmuster.

---

Quelle: AWS Machine Learning Blog