Innerhalb der Tutorials zur statistischen Umgebung XploRe diente ein Einstieg über Regressionsbäume als Einführung in die Arbeit mit der Umgebung. Er war unter dem Titel Introduction in XploRe geführt und behandelte das Verfahren, das in der Literatur als CART bekannt ist – Classification and Regression Trees. Thematisch gehörte er zu Teil III der Tutorials, der den Regressionsmodellen gewidmet war.
Was Regressionsbäume leisten
Ein Regressionsbaum beantwortet dieselbe Frage wie eine gewöhnliche Regression: Wie hängt eine Zielgröße von einer Reihe erklärender Merkmale ab? Der Weg dorthin ist jedoch ein anderer. Statt eine Gleichung über den gesamten Datenraum zu schätzen, teilt das Verfahren die Daten schrittweise auf. In jedem Schritt wird ein Merkmal und ein Schwellenwert gesucht, deren Trennung die Zielgröße innerhalb der entstehenden Teilmengen möglichst einheitlich macht. Diese Aufteilung wird auf die Teilmengen erneut angewandt, bis ein Abbruchkriterium erreicht ist.
Das Ergebnis ist eine Baumstruktur. An jeder Verzweigung steht eine Bedingung, an jedem Blatt ein Schätzwert für die Zielgröße. Eine Vorhersage entsteht, indem ein Fall entlang der Bedingungen bis zu einem Blatt geführt wird. Das Verfahren geht auf Arbeiten von Breiman, Friedman, Olshen und Stone aus den 1980er-Jahren zurück und ist seither Grundbestand der angewandten Statistik geblieben; die heute verbreiteten Ensembleverfahren wie Random Forests bauen unmittelbar darauf auf.
Warum das Verfahren als Einstieg taugt
Dass ein Tutorial mit Regressionsbäumen einsteigt und nicht mit der linearen Regression, ist eine begründete Wahl. Ein Baum lässt sich vollständig ansehen. Die Bedingungen an den Verzweigungen sind lesbare Aussagen über die Daten, und das Ergebnis ist unmittelbar als Bild darstellbar. Wer eine Umgebung kennenlernt, deren Stärke in interaktiver Grafik liegt, sieht an diesem Verfahren am schnellsten, was die Umgebung leistet.
Zudem stellt das Verfahren geringe Anforderungen an Vorannahmen. Es setzt keine bestimmte Verteilung der Fehler voraus, verlangt keinen linearen Zusammenhang und verträgt Merkmale unterschiedlicher Messniveaus. Für einen ersten Zugang zu einem unbekannten Datenbestand – also für genau jene explorative Arbeitsweise, die der Umgebung ihren Namen gab – ist das ein praktischer Vorzug.
Einordnung in die Dokumentation
Der Einstieg war so aufgebaut, dass links ein Inhaltsverzeichnis und rechts der Lehrtext stand; für Browser ohne Unterstützung dieser Darstellung war ein direkter Zugang zum Textteil vorgesehen. Diese Rücksicht auf ältere Browser ist ein Zeitzeichen und findet sich an mehreren Stellen der damaligen Dokumentation.
Inhaltlich schloss der Abschnitt an die übrigen Teile der Tutorials an. Teil III behandelte Regressionsmodelle in der Breite, Teil IV die Datenexploration, Teil VII schließlich das Schreiben eigener Verfahren. Wer den Einstieg über Regressionsbäume genommen hatte, konnte in beide Richtungen weitergehen: tiefer in die statistische Methodik oder in die Programmierung eigener Quantlets, wie sie auf der Seite zur Produktphilosophie beschrieben ist.
Verhältnis zur Lehrbuchreihe
Regressionsverfahren waren auch in der begleitenden e-book-Reihe ausführlich behandelt, insbesondere in den Bänden zur nichtparametrischen und semiparametrischen Modellierung sowie zu partiell linearen Modellen. Zwischen Tutorial und Lehrbuch bestand dabei eine klare Arbeitsteilung: Das Tutorial führte in die Bedienung ein und benutzte das Verfahren als Anlass; das Lehrbuch behandelte die Methodik und benutzte die Umgebung als Werkzeug. Für die Lehre ergänzten sich beide, weil derselbe Rechencode in beiden Zusammenhängen lief – ein Punkt, der sich durch die gesamte Anlage der Umgebung zieht und auch die Academic Edition prägte.
Grenzen des Verfahrens
Ein einzelner Regressionsbaum hat eine bekannte Schwäche: Er reagiert empfindlich auf kleine Änderungen der Datengrundlage. Verschiebt sich ein Schwellenwert an einer der oberen Verzweigungen, ändert sich die gesamte darunterliegende Struktur. Aus dieser Instabilität ist die Entwicklung der Ensembleverfahren hervorgegangen, die viele Bäume auf zufällig veränderten Datenauszügen erzeugen und deren Vorhersagen zusammenfassen.
Für einen Lehreinstieg ist die Schwäche allerdings nicht störend, sondern lehrreich. Sie lässt sich unmittelbar zeigen, indem man den Datenbestand geringfügig verändert und die entstehenden Bäume vergleicht – eine Übung, für die eine Umgebung mit interaktiver Grafik gerade geeignet ist.