Open-Source
Selber ausführen
Drei Wege in die Produktion
Der Daemon läuft immer auf den GPU-Nodes und wird dort über die CLI installiert, unabhängig vom gewählten Weg.
REST API und MCP
Was im Repository liegt
API-Gateway. Verarbeitet alle Inferenzanfragen.
SvelteKit-Admin-UI. Deployments, Schlüssel, Organisationen.
Modell-Runtime-Agent. Läuft auf der Inferenz-Hardware.
Operator-CLI. Installieren, konfigurieren, verwalten.
Modell-Metadaten-Schema und YAML-Server.
Gemeinsames DB-Schema und Migrationen, Postgres 17.
Lizenzierung: Gateway, Daemon, CLI, Infoserver und common-db stehen unter der Apache License 2.0. Das Dashboard ist source-available unter der Elastic License 2.0. Der gesamte Code ist auditierbar. Die Software wird ohne Gewährleistung bereitgestellt. DSGVO: Die DSGVO-Konformität eines selbst gehosteten Deployments liegt allein in der Verantwortung der betreibenden Organisation. Fragen: contact@xinity.ai