Blog

Austrian AI Podcast – 68 – Europäische LLM Infrastruktur Souveränität

Europa braucht KI Souveränität – Cortecs will sie mit intelligentem Routing für KI-Infrastruktur ermöglichen

Die Abhängigkeit Europas von US-amerikanischen und chinesischen Tech-Konzernen, insbesondere im Bereich Künstliche Intelligenz (KI) und Cloud-Infrastruktur, ist nicht nur ein wirtschaftliches, sondern auch ein strategisches Risiko. Genau an dieser Stelle setzt das österreichische Unternehmen Cortecs an, das im Podcast von Mitgründer Markus Tretzmüller vorgestellt wird. Ziel von Cortecs ist es, mit einem sogenannten Sky-Computing-Ansatz ein Routing-System zu schaffen, das europäischen Unternehmen erlaubt, verteilte europäische Cloud-Anbieter effizient und sicher für KI-Anwendungen zu nutzen – ohne dabei auf Vorteile wie Skalierbarkeit, Kosteneffizienz oder Ausfallsicherheit verzichten zu müssen.

Die Idee hinter Cortecs

Cortecs entstand aus einem universitären Spin-off und entwickelte sich von einem Dienstleister im Bereich KI-Consulting hin zu einem Produktunternehmen. Ihr Hauptprodukt ist ein Routing-Gateway, das große Sprachmodelle (LLMs) über eine Vielzahl europäischer Cloud-Provider verteilt betreiben kann. Der entscheidende Punkt: Unternehmen können bei jeder Anfrage priorisieren, ob Kosten, Geschwindigkeit oder eine Kombination aus beidem im Vordergrund steht.

Fragmentiertes Europa, verbunden durch intelligentes Routing

Anders als in den USA ist der europäische Cloud-Markt fragmentiert – viele kleine Anbieter statt einiger Hyperscaler. Zwar verfügen viele dieser Anbieter über leistungsfähige Infrastrukturen, doch der Zugang war bisher mühsam und nicht einheitlich. Cortecs schließt diese Lücke: Aktuell sind sieben europäische Provider angebunden, darunter größere wie Deutsche Telekom und OVH, aber auch Startups wie Data Grunge aus Finnland. Die Plattform ermöglicht den Zugriff auf rund 60 Modelle, mit weiterem Ausbau geplant.

Datenschutz und digitale Souveränität

Ein zentraler Vorteil von Cortecs ist die Einhaltung europäischer Datenschutzstandards. Im Gegensatz zu US-Routing-Lösungen wie dem OpenRouter stellt Cortecs sicher, dass Daten ausschließlich innerhalb der EU verbleiben – ein entscheidender Aspekt für Behörden oder Unternehmen in kritischen Infrastrukturen. Denn selbst europäische Niederlassungen von US-Anbietern unterliegen dem US Cloud Act, was potenziell Zugriff durch US-Behörden erlaubt.

Technologische Flexibilität und Kostenvorteile

Das Routing-System von Cortecs erinnert an die „Least Cost Router“ der Telekom-Ära: Es wählt in Echtzeit den besten Anbieter je nach gewünschter Priorität aus. Im Fall eines Ausfalls erfolgt ein automatisches Fallback. So kann laut Tretzmüller eine Verfügbarkeit nahe 100 % gewährleistet werden. Preislich bietet das System bis zu 93 % Einsparungspotenzial, im Schnitt etwa 32 %, da ineffiziente Preismodelle vieler Anbieter ausgenutzt werden können.

Offene Modelle als Schlüssel

Cortecs setzt bewusst auf Open-Source-Modelle, da diese bei verschiedenen Anbietern gleich verfügbar sind und damit erst das Provider-basierte Routing ermöglichen. Proprietäre Modelle wie GPT-4 von OpenAI schaffen hingegen Vendor-Lock-ins, da sie nur von einem Anbieter betrieben werden. Ein zukünftiger Entwicklungsschritt soll auch das modellbasierte Routing ermöglichen, bei dem je nach Anfrage automatisch das passende Modell gewählt wird – etwa einfache Anfragen an kleine, günstige Modelle und komplexere an leistungsstärkere.

Zielgruppe und Integration

Die Zielgruppe sind Unternehmen mit hohen Sicherheitsanforderungen, insbesondere im DACH-Raum und im öffentlichen Bereich. Die Integration ist denkbar einfach: Cortecs nutzt die OpenAI-kompatible API, sodass bestehende Anwendungen schnell umgestellt werden können. Über eine API können auch Routing-Präferenzen wie Kosten oder Latenz individuell konfiguriert werden.

Fazit

Cortecs bietet eine vielversprechende Lösung für eine digital souveräne KI-Infrastruktur in Europa. Durch intelligentes Routing, DSGVO-Konformität und die Nutzung offener Modelle schafft das Unternehmen die Voraussetzung für eine effiziente, kostengünstige und unabhängige Nutzung von KI – im Dienste europäischer Werte und technologischer Autonomie.

Referenzen