Residual Sum of Squares (RSS) – eine kritische Einordnung
Die Residual Sum of Squares – im deutschen Sprachraum häufig als „Residuenquadratsumme“ bezeichnet – ist eine der ältesten und zugleich meistgenutzten Gütemaße in der Regressionsanalyse. Ihr Ruf als scheinbar unkomplizierte Kennzahl führt jedoch leicht dazu, dass ihre Tücken unterschätzt werden.
Was RSS misst – und was nicht
RSS ist die Summe der quadrierten Abweichungen zwischen beobachteten Zielgrößen [math]y_i [/math]und den vom Modell prognostizierten Werten [math]\hat{y}_i=f(x_i,\hat{\beta}[/math]):
[math]RSS=\sum_{i=1}^{n}(y_i-\hat{y}_i)^{2}\;[/math].
Die Einheit entspricht dem Quadrat der abhängigen Variable, weshalb RSS mit zunehmender Skalierung von [math]y [/math] drastisch wächst. Verdoppelt man z. B. alle Zielwerte, vervierfacht sich die RSS. Ein niedriges RSS bedeutet also nur relativ zur gewählten Skala, dass das Modell gut passt.
Vergleich mit dem Residual Standard Error (RSE)
Der häufig als „Standardfehler der Regression“ übersetzte RSE normalisiert die RSS durch ihre Freiheitsgrade:
[math]RSE=\sqrt{\frac{RSS}{n‑p}}\;[/math],
wobei [math]p[/math] die Zahl der geschätzten Parameter (inklusive Konstante) ist. Dadurch ist RSE dimensionsgleich mit [math]y[/math] und besser zwischen Modellen verschiedener Datensätze oder unterschiedlicher Komplexität vergleichbar. Wer dennoch RSS verwendet, läuft Gefahr, Modelle allein wegen unterschiedlicher Stichprobengrößen oder Skalierungen als ungleich gut zu beurteilen.
Optimierung via Methode der kleinsten Quadrate
Die gewöhnliche Kleinste-Quadrate-Schätzung minimiert per Definition die RSS. Das garantiert einen intern optimalen Fit, sagt aber nichts darüber, ob das Modell extern – also auf neuen Daten – verlässlich prognostiziert. Overfitting bleibt ein latentes Risiko, wenn man RSS ohne Kreuzvalidierung oder Penalisierung (etwa Ridge oder Lasso) interpretiert.
Empfindlichkeit gegenüber Ausreißern
Quadrierung verleiht Ausreißern disproportionalen Einfluss: Ein einzelner Fehler von 10,0010,00 erhöht die RSS um 100,00100,00. Robuste Alternativen wie die Median-Absolute-Deviation (MAD) oder quantilsensible Verlustfunktionen (Huber, Tukey) reagieren weniger hysterisch auf Extremwerte.
RSS im Kontext anderer Gütemaße
- MSE / RMSE: mathematisch identisch mit RSS, jedoch durch [math]n[/math] bzw. [math]\sqrt{n}[/math] geteilt – deswegen besser vergleichbar.
- [math]R^{2}[/math]: setzt RSS direkt ins Verhältnis zur Total Sum of Squares (TSS) und zeigt, welcher Anteil der Gesamtvarianz erklärt wird.[math]R^{2}=1-\frac{RSS}{TSS}[/math].
- MAE: basiert auf absoluten statt quadrierten Abweichungen, ist daher robuster, aber weniger empfindlich für große Fehler.
Ein blindes Vertrauen auf ein einziges Kriterium – gleichgültig ob RSS oder [math]R^{2}[/math] – widerspricht guter Modellentwicklung.
Anwendung in der Finanzwelt
Ökonometrische Modelle zur Ertrags- oder Volatilitätsprognose werden oft über RSS (bzw. deren logarithmische Pendants bei Likelihood-Funktionen) justiert. Gerade hier sind jedoch Ausreißer – Marktcrashs, Liquiditätsknappheiten – die Regel, nicht die Ausnahme. Analysten, die lediglich auf ein minimales RSS starren, riskieren Modelle, die in ruhigen Marktphasen glänzen, aber in Stresszeiten dramatisch versagen. Moderne Risikomanagement-Frameworks verknüpfen deshalb RSS-basierte Fits mit back-testing, Value-at-Risk-Analysen und Szenarien.
Grenzen und typische Fehlannahmen
- Linearität: RSS ist nur dann aussagekräftig, wenn die Modellform – meistens linear – die Datenstruktur tatsächlich abbildet. Nichtlineare Muster bleiben unerkannt.
- Homoskedastizität: Varianz der Fehler wird als konstant vorausgesetzt. Bei heteroskedastischen Daten (häufig in Finanzzeitreihen) wird RSS verzerrt.
- Unabhängigkeit: Autokorrelation in Residuen verletzt die Grundlage des RSS-Tests. Durbin-Watson- oder Ljung-Box-Statistiken sind hier Pflicht.
- Stichprobengröße: Ein Modell mit zusätzlicher erklärender Variable senkt RSS zwangsläufig. Ohne Adjustierung (Adj. [math]R^{2}[/math], AIC, BIC) droht Scheingenauigkeit.
Fazit
RSS ist zweifellos ein zentrales Werkzeug der Regressionsdiagnostik. Doch sein unkritischer Einsatz liefert schnell falsche Sicherheit. Eine solide Modellbewertung kombiniert RSS mit skalenunabhängigen oder robusten Metriken, prüft Modellannahmen und testet Prognosekraft auf unabhängigen Daten. Nur so wird aus einer simplen Quadratsumme ein verlässlicher Indikator für echte Erklärungskraft.