KI
Xinity-Runtime v0.23.0
Xinity Runtime v0.23.0 ist da. Diese Version hat ein Thema, und dieses lautet Berechenbarkeit. Ob ein Modell passt, wie viele Anfragen es bedienen kann, warum eine Bereitstellung blockiert ist, wer was geändert hat: v0.23.0 beantwortet diese Fragen, bevor Sie Hardware dafür bereitstellen.
Hier ist, was sich geändert hat.
Kapazitätsschätzung: Zahlen statt Ausprobieren
Bisher war die Dimensionierung einer Modellbereitstellung auf der eigenen Hardware mit einer gewissen Portion fundiertem Schätzen verbunden. Bereitstellen, unter Last beobachten, anpassen.
v0.23.0 verlagert diese Arbeit nach vorne. Der Infoserver schätzt nun die gleichzeitige Kapazität und den Durchsatz pro Anfrage für jedes Modell auf jedem Knoten, noch bevor Sie es bereitstellen. Dahinter stehen mehrere neue Datenpunkte im Modellkatalog:
Eine GPU-Klassentabelle mit Bandbreiten- und Rechenwerten für jeden Beschleuniger
KV-Cache-Kosten pro Token, erfasst pro Modell
Präzision der Gewichtung pro Katalogeintrag
Aktive Gewichtungswerte für Mixture-of-Experts-Modelle, sodass dünn besetzte Modelle nach dem dimensioniert werden, was tatsächlich läuft, und nicht nach ihrer Gesamtanzahl an Parametern
Der Daemon nutzt dieselben Schätzungen zur Laufzeit: Der Run-Model-Plan meldet nun die geschätzte Gleichzeitigkeit, und die vLLM-Gleichzeitigkeit wird auf das geschätzte Optimum begrenzt, anstatt die Grenzen im Live-Betrieb austesten zu müssen.
Für Teams, die Inferenz mit festen Hardware-Budgets betreiben, ist dies der Unterschied zwischen einer Bereitstellung auf Basis von Daten und einer Bereitstellung auf Basis von Hoffnung.
Argumentationsmodelle, richtig unterstützt
Argumentationsmodelle (Reasoning Models) werden bei Open-Weight-Releases zum Standard, und das Gateway behandelt sie nun als gleichwertige Komponenten. Es leitet den Parameter „reasoning_effort“ an die Engine weiter und gibt die Argumentationsausgabe in den Antworten zurück. Ein Fehlerbehebung in derselben Version stellt sicher, dass jedes Argumentationselement abgeschlossen wird, wenn eine Antwort mehrere enthält.
Wenn Sie Agenten oder Evaluierungs-Pipelines für Ihre Xinity-Bereitstellung erstellen, fließen die Argumentationspfade (Reasoning Traces) nun so durch das Gateway, wie Sie es von jeder gehosteten API erwarten würden. Der Unterschied: Sie verlassen niemals Ihre Infrastruktur.
Ein Modell-Hub, der sich selbst erklärt
Die Modellauswahl wurde komplett überarbeitet, wobei es vor allem darum ging, Rauschen zu reduzieren und das Wesentliche hervorzuheben:
Varianten-Gruppierung. Modellvarianten befinden sich nun hinter einer einzigen Karte mit einer Variantenauswahl, anstatt die Liste zu überladen. Eine Variantengruppe wird nach ihrer am besten bereitstellbaren Variante beurteilt, sodass eine inkompatible Quantisierung nicht mehr die gesamte Familie herunterzieht.
Engine-Filter. Filtern Sie Modelle nach Engine, wobei Modelltypen, die die Engine nicht bedienen kann, als solche gekennzeichnet sind. Das Dashboard zeigt die Engine pro Modell anstelle einer Treiberpräferenz an.
Lizenzbedingungen im Vordergrund. Jedes Modell im aktuellen Katalogformat enthält eine Lizenz, das Dashboard zeigt die Bedingungen an, und Bereitstellungen sind bei eingeschränkten Lizenzen gesperrt. Compliance-Prüfungen finden dort statt, wo die Bereitstellungsentscheidung getroffen wird, und nicht nachträglich in einer Tabellenkalkulation.
Aktualitätssignale. Kürzlich hinzugefügte Modelle werden gekennzeichnet und Veröffentlichungsdaten werden angezeigt. Erstellungs- und Registrierungsdaten sind nun für jeden Katalogeintrag erforderlich.
Nicht gelistete Modelle. Ein Modell kann aus der Liste genommen werden, ohne unbrauchbar zu werden, und bleibt über einen Schalter aus der Auswahl ausgeblendet.
Ein direkter Draht zu uns. Die Auswahl verlinkt nun direkt zum Formular für Modellanfragen. Wenn ein Modell fehlt, das Sie benötigen, teilen Sie uns dies dort mit.
Wenn eine Bereitstellung fehlschlägt, wissen Sie jetzt, warum
Dies ist eine kleine Zeile im Changelog und eine große Verbesserung im täglichen Gebrauch. Wenn ein Modell nicht bereitgestellt werden kann, meldet der Infoserver nun, welche Einschränkung dies blockiert, und das Dashboard zeigt dies an. Es wird nicht mehr jede nicht bereitstellbare Modell auf mangelnde Kapazität geschoben: Wenn der tatsächliche Blockierer eine Engine-Version, eine Lizenzeinschränkung oder eine Formatanforderung ist, sehen Sie genau das.
Die Platzierung geht auch intelligenter mit Engine-Versionen um. Anstelle einer einfachen Mindestversion sind Modelle nun an einen Bereich von Engine-Versionen gebunden, der mit SemVer-Semantik abgeglichen wird. Das Dashboard erklärt, welche Engine-Version ein Modell blockiert, und ein Engine-Versionsbereich kann einen Hinweis darauf enthalten, was dies für dieses Modell bedeutet.
Audit-Ereignisse, bereit für Ihr SIEM
Souveränität bedeutet nicht nur, wo die Inferenz läuft. Es geht auch darum, nachweisen zu können, was auf Ihrer Plattform passiert ist.
v0.23.0 spiegelt Dashboard-Audit-Ereignisse an Loki für die SIEM-Erfassung, wobei der mitgelieferte Monitoring-Stack eine Audit-Weiterleitung an Loki richtet und Audit-Ereignisse standardmäßig grafisch darstellt. Audit-Einträge erfassen nun den Transportkanal und den tatsächlichen Aufrufer hinter jedem Ereignis, und gepufferte Ereignisse werden beim Herunterfahren sauber geleert. Lizenzfunktionen werden in der Ansicht der Instanzlizenz aufgelistet.
Wenn Ihr Sicherheitsteam fragt, wie die Aktivitäten auf der KI-Plattform in das bestehende SIEM einfließen, lautet die Antwort nun: nativ.
Ein stabilerer Modellkatalog im Hintergrund
Weniger sichtbar, aber grundlegend: Der Modellkatalog wurde auf ein aktuelles Format umgestellt, das als Snapshot mit einem Digest bereitgestellt wird, wobei ein Modellformat pro Engine und das v1-Format für Legacy-Setups verfügbar bleiben. Erforderliche Felder wie Lizenz, maxContextLength und Registrierungsdaten machen Katalogeinträge von Grund auf vollständig. Wenn ein Katalog einer Build-Version voraus ist, behält diese Build-Version die Einträge, die sie versteht, anstatt abzustürzen.
Die Version enthält außerdem eine Reihe von Fehlerbehebungen für CLI, Daemon und Dashboard, darunter ein Timeout für den vLLM-Health-Check, korrigierte TFLOPS-Werte für H100 und H200 sowie eine korrigierte Qwen3.6-Dimensionierung.
Holen Sie es sich
Ein Befehl, auf Ihrer eigenen Hardware:
curl -fsSL "https://github.com/xinity-ai/xinity-ai/releases/download/v0.23.0/install.sh" | bash
curl -fsSL "https://github.com/xinity-ai/xinity-ai/releases/download/v0.23.0/install.sh" | bash
curl -fsSL "https://github.com/xinity-ai/xinity-ai/releases/download/v0.23.0/install.sh" | bash
Vollständiges Changelog: github.com/xinity-ai/xinity-ai/releases/tag/v0.23.0
Ihre Modelle, Ihre Hardware, Ihre Daten. Souverän durch Architektur, nicht durch Vertrag.
Entworfen von KI, bearbeitet vom Xinity-Team.