Lokale AI-Modelle mit Xinity und keinsaas Navigator

keinsaas Navigator führt jetzt lokale KI-Modelle über Xinity aus. Neben den großen Cloud-Modellen, die bereits in Navigator verfügbar sind, können Sie Modelle verbinden, die auf Ihrem eigenen Server, Ihrer eigenen Workstation oder sogar Ihrem eigenen PC laufen, und alle Ihre Tools und Automatisierungen über eine einzige Schnittstelle betreiben. Keine Daten verlassen Ihre Infrastruktur.

Dieser Artikel erklärt, was die Integration bewirkt, warum lokale Modelle in jede ernsthafte KI-Strategie gehören und wie Sie damit starten.

Was ist die keinsaas Navigator und Xinity Integration?

keinsaas Navigator ist ein einheitlicher Arbeitsbereich für die Arbeit mit KI-Modellen und die Automatisierung von Workflows. Wie Xinity ist es Open-Source und kann auf Ihrem eigenen Server selbst gehostet werden, sodass der gesamte Stack, von der Schnittstelle bis hin zur Inferenz-Engine, auf einer von Ihnen kontrollierten Infrastruktur läuft. Bisher war Navigator mit den großen kommerziellen Modellanbietern verbunden. Mit der Xinity-Integration verbindet er sich nun auch mit Modellen, die Sie selbst hosten.

Xinity ist eine Open-Source-, On-Premise-Inferenz-Engine mit einer OpenAI-kompatiblen API. Diese Kompatibilität ist der ganze Trick: Navigator spricht mit Ihrem lokalen Xinity-Endpunkt genau so, wie er mit einem Cloud-Anbieter spricht. Gleiche Schnittstelle, gleiche Workflows, andere Rechtsprechung. Ihre Prompts und Dokumente werden auf von Ihnen kontrollierter Hardware verarbeitet, anstatt an einen Drittanbieter gesendet zu werden.

In der Praxis sieht das Setup so aus: Xinity führt Ihr gewähltes Open-Source-Modell auf Ihrem eigenen Rechner aus, Navigator zeigt darauf, und jedes Tool in Navigator kann es sofort nutzen.

Warum KI-Modelle lokal ausführen?

Wenn lokale Modelle nicht Teil Ihrer KI-Strategie sind, sollte man ehrlich sein, was Ihr aktuelles Setup tatsächlich ist: eine Abhängigkeit.

Jeder Workflow, der rein auf einer kommerziellen API aufbaut, hängt von einem einzigen Anbieter ab. Von dessen Preisgestaltung, die sich ändern kann. Von dessen Nutzungsbedingungen, die sich ändern können. Von dessen Verfügbarkeit in Ihrer Region, die sich ändern kann. Und von dessen Infrastruktur, auf der Ihre Daten letztendlich landen – oft außerhalb des rechtlichen Rahmens, in dem Ihre Kunden und Regulierungsbehörden sie erwarten.

Für Unternehmen in der EU ist dieser letzte Punkt nicht abstrakt. DSGVO-Verpflichtungen und die Transparenzanforderungen des EU AI Acts lassen sich einfacher handhaben, wenn die Inferenz on-premise stattfindet, da die Protokolle, die Datenflüsse und der Audit-Trail vollständig in Ihrer Hand liegen.

Lokale Modelle schließen diese Lücke. Und wenn sowohl Navigator als auch Xinity auf Ihren eigenen Servern laufen, gibt es keinen Teil des Stacks, der heimlich Verbindung nach Hause aufnimmt. Cloud-Modelle bleiben nützlich, und Navigator hält sie verfügbar. Es geht um die Auswahl: Leiten Sie sensible Workloads auf Ihre eigene Hardware um und belassen Sie den Rest dort, wo er ist.

Open-Source-Modelle haben schneller aufgeholt als erwartet

Der Grund, warum dies heute praktikabel ist und vor zwei Jahren noch mühsam war, liegt in der Qualität der Open-Weight-Modelle. Mit Veröffentlichungen wie der Gemma-Familie von Google läuft ein großer Teil der alltäglichen Geschäftsanwendungsfälle – Zusammenfassungen, Entwürfe, Extraktionen, Klassifizierungen, interne Q&A – hervorragend auf Modellen, die klein genug für Endverbraucher-Hardware sind.

Sie benötigen keinen GPU-Cluster mehr, um lokale KI nützlich zu machen. Eine leistungsfähige Workstation oder eine kompakte Inferenz-Box reicht für viele Teams völlig aus, und dedizierte Hardware wie der ASUS Ascent GX10 geht für produktive Workloads noch einen Schritt weiter.

Wie Sie starten

Wenden Sie sich an das keinsaas-Team, um die Xinity-Integration in Navigator zu testen und lokale Modelle parallel zu den bereits genutzten Cloud-Modellen auszuführen oder um Unterstützung bei der Einrichtung in Ihrem Unternehmen zu erhalten.

Wenn Sie tiefer in den Infrastrukturbereich einsteigen möchten: Xinity ist Open-Source unter Apache 2.0 und läuft überall – vom einzelnen PC bis hin zu dedizierter On-Premise-Hardware.

Häufig gestellte Fragen

Welche Hardware benötige ich, um lokale Modelle auszuführen? Für kleinere Open-Source-Modelle wie Gemma reicht eine moderne Workstation oder ein Gaming-PC aus. Für eine intensivere produktive Nutzung ist dedizierte Inferenz-Hardware die bessere Wahl.

Verlassen meine Daten meine Infrastruktur, wenn ich ein lokales Modell verwende? Nein. Mit Xinity findet die Inferenz auf Ihrer eigenen Hardware statt. Prompts, Dokumente und Ergebnisse bleiben dort, wo Sie sie ausführen.

Kann ich keinsaas Navigator selbst hosten? Ja. Navigator ist Open-Source und kann auf Ihrem eigenen Server laufen, sodass sowohl die Schnittstelle als auch die Xinity-Inferenz-Engine innerhalb Ihrer Infrastruktur verbleiben.

Ist Xinity wirklich Open Source? Ja, lizenziert unter Apache 2.0. Der Code ist öffentlich unter github.com/xinity-ai/xinity-ai einsehbar.

Welche Modelle kann ich ausführen? Jedes Open-Weight-Modell, das von der Xinity Runtime unterstützt wird, einschließlich der Gemma-Familie, Qwen und anderer führender Open-Source-Modelle.