Open Source statt GPT-4: Matching-Plattform ohne laufende Token-Kosten
Spezialisierte Open-Source-Modelle schlagen Frontier-Modelle bei klar definierten Aufgaben — und kosten im Betrieb nichts außer Strom. TJ zeigt am Beispiel einer KI-gestützten Matching-Plattform für Interim-Manager, wie das Prinzip „Topmodell zum Entwickeln, Open Source in Produktion" in der Praxis funktioniert. Warum du für Leasing-Ratenberechnungen kein Claude Sonnet brauchst — und was das für deine nächste KI-Anwendung bedeutet.
Die echte Frage: Wie wichtig sind Topmodelle wirklich?
TJ stellt die Frage direkt zu Beginn: Wie wichtig sind die großen, teuren Modelle — GPT-4, Claude, Gemini — überhaupt? Die kurze Antwort lautet: zum Entwickeln sehr wichtig, im Betrieb oft völlig überflüssig. Was nach einer provokanten These klingt, ist für das Koerting Institut längst gelebte Praxis. Das Kernprinzip dreht sich um digitale Souveränität: Wer im Produktivbetrieb auf externe API-Modelle angewiesen ist, zahlt dauerhaft — in Token, in Abhängigkeit, in Datenschutzrisiken. Wer dagegen mit Open-Source-Modellen arbeitet, behält die Kontrolle. Und zahlt nur Strom.
Die Interim-Manager-Matching-Plattform: Live gebaut, lokal betrieben
Im KI-Café vor einigen Wochen hat TJ gemeinsam mit Falk Janotta live auf der Bühne eine KI-gestützte Matching-Plattform für Interim-Manager entwickelt — demonstriert in Echtzeit, vor Publikum. Das Besondere: Gebaut wurde die Plattform mit starken US-Modellen, dem, was TJ als „neue Form der Anwendungsentwicklung" bezeichnet — andere nennen es Vibe-Coding oder Vibe-Engineering. Betrieben wird sie aber mit Open-Source-Modellen von Hugging Face, lokal auf Falks Laptop. Das Ergebnis: keine laufenden API-Kosten, keine Token-Gebühren, keine Drittanbieter-Abhängigkeit im Produktivbetrieb. Die Plattform läuft — und kostet Falk außer Strom keinen Cent.
Warum spezialisierte Modelle Frontier-Modelle schlagen
Ein konkretes Beispiel macht den Unterschied greifbar: Leasing-Ratenberechnungen. Für solche klar strukturierten Rechenoperationen braucht man kein Claude Sonnet, kein Opus, kein Gemini. Man braucht ein auf Rechenoperationen spezialisiertes Open-Source-Modell — und das führt diese Berechnungen präziser durch als jedes Frontier-Modell. Der Grund liegt in der Spezialisierung: Generelle Modelle sind auf Breite trainiert, spezialisierte auf Tiefe. Für eng definierte Teilaufgaben innerhalb eines Prozesses gewinnt die Tiefe. Das gilt für Finanzberechnungen genauso wie für Matching-Logik — und vermutlich für viele weitere Anwendungsfälle in deinem Unternehmen.
Das Prinzip: Topmodell zum Entwickeln, Open Source in Produktion
TJ fasst das Vorgehen in eine klare Formel: Topmodell in der Entwicklung, Open Source in der Produktion. Während du Agenten baust, Logik entwirfst und Architekturen testest, lohnt sich der Einsatz der besten verfügbaren Modelle. Sobald die Anwendung aber in den Produktivbetrieb geht — ins Release, ins Change-Management — wechselst du auf die offenen Modelle, die am Markt frei verfügbar sind. Dieses Prinzip ist keine Theorie. Es funktioniert bereits bei Corporate-Kunden des Koerting Instituts. Und es verändert grundlegend, wie du über KI-Kosten und KI-Architektur nachdenken solltest.
Fazit: Souveränität ist eine Architekturentscheidung
Digitale Souveränität entsteht nicht durch eine Grundsatzdebatte — sie entsteht durch konkrete Architekturentscheidungen. Welches Modell sitzt wo in meinem Prozess? Welche Aufgabe erfordert Breite, welche Tiefe? Wo zahle ich Token-Kosten, und wo kann ich sie durch lokale Open-Source-Modelle ersetzen? Die Interim-Manager-Plattform zeigt: Diese Entscheidungen sind heute schon möglich, die Werkzeuge auf Hugging Face sind verfügbar, und das Ergebnis überzeugt auch bei Corporate-Kunden. Der wichtigste Schritt ist, aufzuhören, Frontier-Modelle als Standard vorauszusetzen — und stattdessen pro Teilaufgabe zu denken.
Das nimmst du mit
- Frontier-Modelle wie GPT-4 oder Claude eignen sich zum Entwickeln und Bauen von KI-Anwendungen — im Produktivbetrieb sind spezialisierte Open-Source-Modelle oft präziser und kosten nichts.
- Eine lokal betriebene KI-Anwendung mit Open-Source-Modellen verursacht keine laufenden Token-Kosten — du zahlst nur Strom und Hardware.
- Für klar definierte Teilaufgaben wie Leasing-Ratenberechnungen oder Matching-Logik übertreffen spezialisierte Open-Source-Modelle die generellen Frontier-Modelle in der Präzision.
- Das Prinzip „Topmodell zum Entwickeln, Open Source in Produktion" funktioniert bereits im Einsatz bei Corporate-Kunden des Koerting Instituts.
- Digitale Souveränität ist keine strategische Absichtserklärung, sondern eine konkrete Architekturentscheidung — pro Teilaufgabe, pro Prozessschritt.
Kapitel
- 00:00 Wie wichtig sind Topmodelle wirklich?
- 00:22 Die Interim-Manager-Matching-Plattform: Entstehung & Demo
- 01:04 Open Source auf Hugging Face statt teurer API-Modelle
- 01:30 Leasing-Ratenberechnung: Spezialisierte Modelle schlagen Frontier
- 01:59 Das Prinzip: Topmodell zum Entwickeln, Open Source in Produktion
Noch mehr von den Koertings ...
Das KI-Café ... jede Woche Mittwoch (>350 Teilnehmer) von 16:30 bis 18:00 Uhr ... online via Zoom .. kostenlos und nicht umsonst
Jede Woche Mittwoch um 16:30 Uhr öffnet das KI-Café seine Online-Pforten ... wir lösen KI-Anwendungsfälle live auf der Bühne ... moderieren Expertenpanel zu speziellen Themen (bspw. KI im Recruiting ... KI in der Qualitätssicherung ... KI im Projektmanagement ... und vieles mehr) ... ordnen die neuen Entwicklungen in der KI-Welt ein und geben einen Ausblick ... und laden Experten ein für spezielle Themen ... und gehen auch mal in die Tiefe und durchdringen bestimmte Bereiche ganz konkret ... alles für dein Weiterkommen.
Melde dich kostenfrei an ... www.koerting-institute.com/ki-cafe/
Mit jedem Prompt ein WOW! ... für Selbstständige und Unternehmer
Ein klarer Leitfaden für Unternehmer, Selbstständige und Entscheider, die Künstliche Intelligenz nicht nur verstehen, sondern wirksam einsetzen wollen. Dieses Buch zeigt dir, wie du relevante KI-Anwendungsfälle erkennst und die KI als echten Sparringspartner nutzt, um diese Realität werden zu lassen. Praxisnah, mit echten Beispielen und vollständig umsetzungsorientiert.
Das Buch ist ein Geschenk, nur Versandkosten von 9,95 € fallen an. Perfekt für Anfänger und Fortgeschrittene, die mit KI ihr Potenzial ausschöpfen möchten.
Das Buch in deinen Briefkasten ... https://koerting-institute.com/shop/buch-mit-jedem-prompt-ein-wow/
Die KI-Lounge ... unsere Community für den Einstieg in die KI (>2800 Mitglieder)
Die KI-Lounge ist eine Community für alle, die mehr über generative KI erfahren und anwenden möchten. Mitglieder erhalten exklusive monatliche KI-Updates, Experten-Interviews, Vorträge des KI-Speaker-Slams, KI-Café-Aufzeichnungen und einen 3-stündigen ChatGPT-Kurs.
Tausche dich mit über 4.000 KI-Enthusiasten aus, stelle Fragen und starte durch.
Initiiert von Torsten & Birgit Koerting, bietet die KI-Lounge Orientierung und Inspiration für den Einstieg in die KI-Revolution.
Hier findet der Austausch statt ... www.koerting-institute.com/ki-lounge/
Starte mit uns in die 1:1 Zusammenarbeit
Wenn du direkt mit uns arbeiten und KI in deinem Business integrieren möchtest, buche dir einen Termin für ein persönliches Gespräch. Gemeinsam finden wir Antworten auf deine Fragen und finden heraus, wie wir dich unterstützen können. Klicke hier, um einen Termin zu buchen und deine Fragen zu klären.
Buche dir jetzt deinen Termin mit uns ... www.koerting-institute.com/termin/
Weitere Impulse im Netflix Stil ...
Wenn du auf der Suche nach weiteren spannenden Impulsen für deine Selbstständigkeit bist, dann gehe jetzt auf unsere Impulseseite und lass die zahlreichen spannenden Impulse auf dich wirken.
Inspiration pur ... www.koerting-institute.com/impulse/
Die Koertings auf die Ohren ...
Wenn dir diese Podcastfolge gefallen hat, dann höre dir jetzt noch
weitere informative und spannende Folgen an ...
über 500 Folgen findest du hier ... www.koerting-institute.com/podcast/
Wir freuen uns darauf, dich auf deinem Weg zu begleiten!
Das Transkript zum Nachlesen
Wenn wir das weiterdenken, jetzt beispielsweise für die Finanzierung und Leasingratenberechnung, da brauchst du kein Sonex, da brauchst du kein Opus, da brauchst du kein Fable, brauchst du alles nicht, sondern du brauchst auf Rechenoperationen spezialisiertes Open Source Modell, was diese Berechnungen noch viel präziser durchführt als jedes Frontiermodell. Wie wichtig sind überhaupt diese Top-Modelle und wie wichtig ist es, die eigene Souveränität durch und dann mit diesen Modellen aufzubauen? Was ich damit meine ist, wenn wir an das KI-Café von vor zwei, drei Wochen zurückdenken, du bist hier, wir haben dich heute im Call, haben wir live on stage eine KI-gestützte Matching-Plattform für Interim-Manager entwickelt. Das war zweierlei, muss man sagen. Das eine, wir haben mit den starken Modellen aus Amerika diese Matching-Plattform gebaut. Ja, man könnte sagen, Vibe-Coding, Vibe-Engineering oder man könnte auch einfach sagen, die neue Form der Anwendungsentwicklung. So, ganz kurze Unterbrechung. Du kennst vielleicht noch nicht das KI-Café des Curtin-Instituts, eines der führenden Formate im deutschsprachigen Raum. Mit über 400 Teilnehmern kommen wir jede Woche Mittwoch von 8.30 Uhr bis um 10.00 Uhr zusammen und lassen uns inspirieren, wir geben neue Impulse mit dazu, wir haben spannende Anwendungsfälle, die wir live auf der Bühne lösen, wir haben Experten mit am Start, die wir interviewen, die uns Einblicke hinter die Kulissen geben und vieles, vieles mehr und das in einer spannenden Community und du kannst kostenlos dabei sein. Melde dich gerne an unter curtin-institut.com slash ki-café und wir sehen uns nächste Woche Mittwoch um 8.30 Uhr. Bis dann! Und in der KI selbst oder in dieser Matching-Plattform selbst haben gar nicht die Top-Modelle, die man sich irgendwie mal teuer in den Homes kaufen muss, gelebt, sondern Open-Source-Modelle, die ihr aus Hugging Face heruntergeladen und genutzt habt, um unterschiedliche Teilbereiche dieses Matching-Prozesses zu unterstützen. Und da kostet die Matching-Plattform dem lieben Hulk keinen Cent mehr, außer den Strom und den Laptop, auf dem er sie betreibt, weil das Ding lokal gelaufen ist. Das sehen wir bei uns am Institut und das sehen wir ja auch bei unseren Corporate-Kunden. Wenn wir das weiterdenken, jetzt beispielsweise für die Finanzierung und Leasing-Ratenberechnung, da brauchst du keinen Sonex, da brauchst du keinen Opus, da brauchst du kein Fable, brauchst du alles nicht, sondern du brauchst auf Rechen-Operationen spezialisiertes Open-Source-Modell, was diese Berechnungen noch viel präziser durchführt, als jedes Frontier-Modell. Das zeigt eigentlich, dass du für die Anwendungsentwicklung, für das Entwickeln der Agenten, du dir ein Top-Modell reinholst, aber sobald du es dann in Produktion hast und sobald du dann in die Lease, in das Change-Management gehst, nur noch die Modelle hast, die offen am Markt zur Verfügung stehen, die sogar deutlich besser sind für einzelne Teilbereiche eines Prozesses als die generellen Modelle, die wir von den Anbietern bekommen.