Wir sprechen mit Noah Hollman von Prior Labs, einem der Schöpfer von TabPFN (Tabular Prior Fitted Network), über dieses bahnbrechende Foundation-Modell für tabulare Daten. In der Diskussion geht es um die Funktionsweise von TabPFN, die Rolle von In-Context Learning, die Herausforderungen bei der Anwendung der Transformer-Architektur auf tabulare Daten sowie die Generierung synthetischer Daten mit strukturellen kausalen Modellen (SCMs). Darüber hinaus beleuchten wir die beeindruckenden Benchmarking-Ergebnisse und zusätzliche Features des Modells. Zum Ende hin sprechen wir über die offenen Herausforderungen von Prior Labs und welche "Moonshots" sie für die Zukunft planen.

**Zusammenfassung:**

• TabPFN ist ein Modell für Vorhersagen auf tabellarischen Daten, entwickelt von Prior Labs


• Es nutzt In-Context Learning, um Aufgaben durch Sequenzen von Daten zu lernen, und wurde speziell für die Transformer-Architektur angepasst


• TabPFN wurde mit 100 Millionen synthetischen Datensätzen, die durch strukturelle kausale Modelle (SCMs) generiert wurden, trainiert


• Es stellt einen neuen Benchmark dar und liefert starke Leistungen über verschiedene Domänen hinweg


• Das Modell kann Unsicherheiten quantifizieren, mit fehlenden Werten umgehen und Outlier erkennen


• TabPFN ist auf Consumer-Hardware trainierbar, was die Entwicklung auch auf kleinen GPUs ermöglicht


• Zukünftige Entwicklungen fokussieren sich auf Zeitreihen, Kausalität und multimodale Modelle

**Links:**

• Blog: TabPFN: Die KI-Revolution für tabulare Daten https://www.inwt-statistics.de/blog/tabpfn-die-ki-revolution-fuer-tabulare-daten


• Nature Publikation zu tabPFN aus 2025: https://www.nature.com/articles/s41586-024-08328-6


• Artikel über tabPFN  in Fortune: https://fortune.com/2025/02/05/prior-labs-9-million-euro-preseed-funding-tabular-data-ai/


• Nature News & views von Duncan C. McElfresh: https://www.nature.com/articles/d41586-024-03852-x


• Zeit für Unternehmer: https://www.zeit.de/zeit-fuer-unternehmer/2025/01/kuenstliche-intelligenz-tabpfn-tabellen-daten?freebie=a67d9166


• Publikation zu tabICL: https://arxiv.org/abs/2502.05564


• früher Hintergrund-Artikel zur Transformers Architektur für Bayesianische Inferenz : https://arxiv.org/abs/2112.10510


• früheres Working Paper zu tabPFN: https://arxiv.org/abs/2207.01848


• GitHub Repo zu tabPFN: https://github.com/PriorLabs/TabPFN


• Homepage Prior Labs: https://priorlabs.ai/


• #71: Predictive LLMs: Skalierung, Reproduzierbarkeit & DeepSeek https://www.podbean.com/ew/pb-p2wjd-1897b7e


• Feedback, Fragen oder Themenwünsche gern an podcast@inwt-statistics.de