Warum nicht einfach vLLM? Eine ehrliche Antwort

Wir bekommen diese Frage in manchen technischen Evaluierungen gestellt, meistens vom klügsten Entwickler im Raum: „Wir könnten doch einfach vLLM laufen lassen. Warum sollten wir euch bezahlen?“

Es ist eine berechtigte Frage, also verdient sie eine ehrliche Antwort und keine Feature-Tabelle, die nur darauf ausgelegt ist, ein Open-Source-Projekt schlecht dastehen zu lassen.

Hier ist sie also.

Erstens: Ja, vLLM ist hervorragend

vLLM ist eine der besten verfügbaren Inference-Engines. Sie ist schnell, wird aktiv weiterentwickelt, ist weit verbreitet und kostenlos. Dasselbe gilt für andere starke Projekte im Ökosystem. Wenn Ihre Frage lautet „Kann dies Token von einem Modell auf einer GPU liefern?“, lautet die Antwort ja, und sie tut es gut.

Wenn Sie ein Forschungsteam, ein Startup ohne regulatorische Einschränkungen oder eine Organisation mit einem engagierten ML-Plattformteam sind, brauchen Sie uns möglicherweise nicht. Wir sagen Ihnen das lieber auf unserem Blog, als dass Sie es erst nach einem Verkaufsgespräch herausfinden.

Aus demselben Grund steht unsere Core-Engine unter Apache 2.0 als Open Source zur Verfügung. Sie können sie nehmen, ausführen und überprüfen, ohne jemals mit uns sprechen zu müssen. Einige Organisationen tun genau das, und das ist ein gutes Ergebnis.

Die Frage, die Ihr Auditor stellen wird, ist eine andere

Die Frage des Entwicklers lautet „Können wir Modelle bereitstellen?“. Die Frage der Organisation – jene, die tatsächlich darüber entscheidet, ob ein KI-System in einer Bank, einem Krankenhaus oder einer öffentlichen Institution in Produktion geht – ist eine andere:

Wer hat Zugriff auf dieses System und wie wird dieser Zugriff kontrolliert? Wo ist das Protokoll darüber, was von wem und wann verarbeitet wurde? Wer patcht es, wenn eine Sicherheitslücke veröffentlicht wird? Wer haftet vertraglich, wenn etwas schiefgeht? Wo ist die Vereinbarung zur Auftragsverarbeitung (AVV)? Wer unterstützt uns morgens um 8 Uhr vor der Vorstandspräsentation?

Keine davon ist eine Frage der Inference. Alle sind Fragen des Produktionsbetriebs. Und in einem regulierten Umfeld sind das keine optionalen Formalitäten rund um das System. Sie sind die Bedingungen, unter denen das System überhaupt existieren darf.

Eine Inference-Engine, wie gut sie auch sein mag, beantwortet diese Fragen nicht. Das war auch nie ihr Ziel. Das ist keine Kritik an vLLM. Das ist eine Abgrenzung des Leistungsumfangs.

„Klaus wartet das“ ist keine Antwort für ein Audit

Die realistische Alternative zum Kauf einer Inference-Plattform ist nicht vLLM direkt aus der Box. Es ist vLLM plus alles, was Sie darum herum aufbauen: Authentifizierung und rollenbasierte Zugriffskontrolle, eine Anfragen-Protokollierung, die einen Auditor anstelle eines Debuggers zufriedenstellt, Modell-Deployment und Routing-Richtlinien, Update- und Patch-Prozesse, Monitoring, Dokumentation und jemand, der für all das die Verantwortung trägt.

Das ist ein echtes Projekt. Organisationen mit starken Plattformteams tun dies und tun es gut. Aber es bringt zwei Kostenpunkte mit sich, die in der ersten Schätzung selten auftauchen.

Der erste sind die Mitarbeiter. Der Aufbau und Betrieb dieser Schicht beansprucht realistischerweise einen erheblichen Teil der Arbeitszeit von ein oder zwei Infrastruktur-Engineers – dauerhaft, nicht nur einmal. Im DACH-Markt entspricht das einer sechsstelligen jährlichen Verpflichtung, noch bevor der erste geschäftliche Anwendungsfall live geht.

Der zweite Punkt ist die Auditierbarkeit. Eigenbau-Infrastruktur muss in jedem Audit einzeln von Ihrem Team verteidigt werden. Wenn der Auditor fragt, wer die Inference-Schicht wartet, beginnt mit „Unser Entwickler hat das aufgesetzt“ ein langes Gespräch. Ein namentlich genannter Anbieter mit einem Supportvertrag, einem dokumentierten Patch-Prozess und einer unterzeichneten AVV beendet dieses Gespräch.

Das ist der tatsächliche Unterschied zwischen einer Engine und einer Plattform. Nicht der Durchsatz. Sondern die Verantwortlichkeit.

Was Xinity Runtime konkret hinzufügt

Xinity Runtime wurde genau für diese Lücke entwickelt. Zusätzlich zur lokalen, OpenAI-kompatiblen Inference auf Ihrer eigenen Hardware bietet die Plattform-Schicht eine rollenbasierte Zugriffskontrolle, Audit-Trails für Inference-Anfragen, das Deployment und Routing von Open-Weight-Modellen (einschließlich europäischer souveräner Modelle), Multi-Node-Betrieb sowie einen Anbieter in Wien, der einen Vertrag unterzeichnet, Support leistet und für die Software haftet.

Der Open-Source-Kern bleibt überprüfbar. Ihr Sicherheitsteam kann den Code lesen, anstatt einer Blackbox vertrauen zu müssen. Die kommerzielle Schicht fügt das hinzu, was Ihr Compliance-Team, Ihr Auditor und Ihr Betriebsrat benötigen, um Ja zu sagen.

Mit anderen Worten: Entwickler führen die Engine ein. Organisationen beschaffen die Plattform. Beides ist derselbe Stack.

Wann Sie nicht bei uns kaufen sollten

Um ehrlich zu bleiben, sind dies die Fälle, in denen vLLM allein oder Ihr eigener Aufbau die richtige Wahl ist:

Sie haben keine regulatorischen Einschränkungen und keine Audit-Verpflichtungen. Sie haben ein Plattformteam, dessen Aufgabe es ist, die interne Infrastruktur aufzubauen und zu betreiben, und dies ist lediglich ein weiterer Dienst in deren Portfolio. Sie experimentieren noch und stellen nicht produktiv bereit, sodass Produktionsfragen ein Problem für das nächste Jahr sind.

Nutzen Sie in diesen Fällen das Open-Source-Ökosystem, einschließlich unseres Kerns, wenn er passt. Kommen Sie wieder zu uns, wenn das Audit ansteht.

Die Kurzfassung

vLLM beantwortet die Frage „Können wir Modelle auf unseren GPUs laufen lassen?“. Xinity Runtime beantwortet die Frage „Dürfen wir das in Produktion bringen und können wir es beweisen?“.

Für regulierte Organisationen ist die zweite Frage genau jene, die die Einführung von KI bisher blockiert hat. Es ist auch die Frage, um die herum wir das Unternehmen aufgebaut haben.

Xinity Runtime verwandelt Ihre eigenen Server in eine compliance-konforme KI-Inference-Plattform, im Kern Open Source und hinter Ihrer Firewall bereitstellbar. Wenn Sie sehen möchten, wie das für Ihre Infrastruktur aussieht: Demo buchen oder mit Open Source starten.

Dieser Beitrag wurde mit KI-Unterstützung entworfen und vor der Veröffentlichung vom Xinity-Team überprüft.