NVIDIA und Siemens Healthineers: NV-Raw2Insights-US lernt direkt aus raw ultrasound channel data und korrigiert Bilder in Echtzeit

NVIDIA und Forscher von Siemens Healthineers veröffentlichten am 28. April 2026 NV-Raw2Insights-US — ein Modell, das die traditionelle Ultraschall-Pipeline umkehrt. Das klassische Beamforming komprimiert Millionen von Echos der Ultraschallsonde zu einem Endbild und stützt sich dabei auf physikalische Annahmen (z.B. konstante Schallgeschwindigkeit im Körper). NV-Raw2Insights-US lernt vor dieser Komprimierung, direkt aus raw channel data.

Was leistet das Modell konkret?

In dieser ersten Raw2Insights-Anwendung schätzen NVIDIA und Siemens die Schallgeschwindigkeit im Gewebe für adaptives Bildfokussieren. Das System generiert in einem einzigen KI-Durchlauf eine patientenspezifische Schallgeschwindigkeitskarte und streamt sie zurück an den Scanner zur Bildkorrektur während der Live-Aufnahme. Was bisher aufwendige Berechnungen erforderte, wird zu einer Single-Pass-Inferenz. Die Zusammenarbeit mit Siemens Healthineers wurde von Ismayil Guracar und Rickard Loftman aus der Gruppe AI & Advanced Platforms geleitet.

Wie wird es eingesetzt?

Raw ultrasound channel data ist auf klinischen Scannern nicht ohne Weiteres zugänglich, da das Signal eine sehr hohe Bandbreite aufweist. NVIDIAs Holoscan Sensor Bridge (HSB), ein quelloffenes FPGA-IP, überträgt die Daten über RDMA over Converged Ethernet mit geringer Latenz in den GPU-Speicher. Die Demonstration nutzt ein Altera Agilex-7 FPGA-Entwicklungskit, einen ACUSON Sequoia Scanner (Siemens) und eine Technologie, die NVIDIA als “Data over DisplayPort” bezeichnet — das Streaming von Rohsignalen über den DisplayPort-Ausgang des Scanners. Die Inferenz läuft auf einer Blackwell-class GPU in einem NVIDIA IGX Thor oder DGX Spark System unter der NVIDIA Holoscan Edge-KI-Plattform.

Was wurde offen veröffentlicht?

NVIDIA hat das vollständige Forschungspaket offen veröffentlicht: GitHub (github.com/NVIDIA-Medtech/NV-Raw2insights-US), Modellgewichte (huggingface.co/nvidia/NV-Raw2Insights-US) und Datensatz (huggingface.co/datasets/nvidia/NV-Raw2Insights-US). Detaillierte Benchmark-Zahlen oder eine klinische Validierung sind in dieser Ankündigung nicht enthalten — der Fokus liegt auf Architektur und Konzept. NVIDIA betont: Die Technologie befindet sich in investigativer Entwicklung und ist nicht klinisch zugelassen. Die übergeordnete Botschaft: Ein “KI-nativer Imaging”-Ansatz, der aus der Physik jedes Patienten lernt statt aus vorverarbeiteten Bildern, könnte zur modularen Grundlage für die nächste Generation KI-gestützter Diagnosesysteme werden.