Einleitung
Künstliche Intelligenz übernimmt zunehmend die Berechnungen, die früher rein physikalische Messungen erforderten. Während klassische Messungen stets eine Angabe zur möglichen Abweichung enthalten, liefern KI‑Modelle meist nur ein einzelnes Ergebnis – ein scheinbar präzises Zahlenergebnis aus einer Black‑Box. Forschende des niederländischen Nationalen Metrologischen Instituts VSL in Delft untersuchen, wie man für solche Modelle dennoch eine verlässliche Fehlermarge bestimmen kann.
Metrologie: Die Wissenschaft des Messens
Metrologie sorgt dafür, dass ein Meter in den Niederlanden exakt dieselbe Länge hat wie in China und dass an der Tankstelle wirklich ein Liter Kraftstoff gezählt wird. Früher basierten die Basiseinheiten auf physikalischen Artefakten – ein Metallzylinder in Paris definierte das Kilogramm. Da solche Objekte im Laufe der Zeit atomare Veränderungen erfahren, wurden die sieben Basiseinheiten des internationalen Einheitensystems (SI) auf unveränderliche Naturkonstanten umgestellt. So ist ein Meter die Strecke, die Licht in 1/299 792 458 Sekunden im Vakuum zurücklegt, und das Kilogramm ist seit 2019 an die Planck‑Konstante gekoppelt.
Herleitbarkeit und Unsicherheit
Metrologische Institute wie VSL messen diese Konstanten mit höchster Präzision und vergleichen ihre Ergebnisse weltweit. Durch ein Netzwerk von Kalibrierungen entsteht eine lückenlose Kette von der Supermarktwaage bis zur Naturkonstanten – ein Prinzip, das als Herleitbarkeit bezeichnet wird. Ein zweites Grundprinzip besagt, dass keine Messung perfekt ist. Jede Messung wird daher mit einer Unsicherheit angegeben, die angibt, in welchem Intervall das wahre Ergebnis liegen kann. Diese Unsicherheit wird nach internationalen Richtlinien aus allen bekannten Störfaktoren (z. B. Temperatur, Luftfeuchtigkeit) berechnet.
KI‑Modelle als „schwarze Kisten“
Im Gegensatz zu klassischen Formeln zeigen KI‑Modelle nicht, welche Zwischenschritte zum Ergebnis führen. Das Ergebnis hängt von vielen verborgenen Entscheidungen ab, etwa von der Auswahl und Aufbereitung der Trainingsdaten. Selbst bei identischer Datenbasis können unterschiedliche Trainingsläufe zu völlig verschiedenen Modellen führen. Dadurch wird die Herleitbarkeit zu den Naturkonstanten problematisch, und die Berechnung einer Fehlermarge erscheint fast unmöglich.
Herausforderungen bei der Unsicherheitsbestimmung
Ein weiteres Problem: KI‑Modelle können sehr empfindlich auf minimale Änderungen reagieren. Eine Temperaturabweichung von 0,01 °C kann ein komplett anderes Ergebnis erzeugen. Solche sprunghaften Reaktionen erschweren die Anwendung klassischer Unsicherheitsformeln, die auf linearen Zusammenhängen beruhen.
VSL‑Ansatz zur Quantifizierung von Unsicherheit
Das VSL‑Team untersucht drei Hauptquellen der Unsicherheit:
- Modellunsicherheit: Wie gut ist das Modell durch die vorhandenen Beispiele trainiert? Durch wiederholtes Training mit ausgelassenen Datenanteilen lässt sich die Stabilität des Modells prüfen.
- Unsicherheit der Trainingsdaten: Auch die Messungen, die das Modell lernt, besitzen eigene Fehler. Methoden wie Bootstrapping oder Monte‑Carlo‑Simulationen können die Auswirkung dieser Messfehler auf das KI‑Ergebnis quantifizieren.
- Algorithmische Unsicherheit: Die interne Struktur des Modells (z. B. Gewichtungen in neuronalen Netzen) kann zu nichtlinearen Effekten führen, die mittels Sensitivitätsanalysen erfasst werden.
Durch die Kombination dieser Analysen will VSL eine nachvollziehbare Fehlermarge für KI‑Ergebnisse etablieren – ähnlich der, die in der klassischen Metrologie üblich ist.
Fazit
Während KI‑Modelle in vielen Bereichen die Präzision klassischer Formeln übertreffen können, bleibt die transparente Angabe einer Messunsicherheit unverzichtbar. Ohne diese Angabe riskieren Anwender, blind auf Ergebnisse zu vertrauen, die in Wirklichkeit stark schwanken können. Die Forschung von VSL zeigt, dass es möglich ist, auch für komplexe, datenbasierte Modelle robuste Unsicherheitsabschätzungen zu entwickeln – ein entscheidender Schritt für das Vertrauen in KI‑gestützte Messungen.