KI
LLM-Inferenz ist ein Speicherproblem:
Heute Abend spricht unser Mitgründer und CTO Jonas Vander bei der Embedded Austria No. 7 in Wien. Sein Vortrag trägt den Titel „LLM Inference Is a Memory Problem“ und behandelt die entscheidende Frage für die Leistung von KI-Modellen, sobald sie auf eigener Hardware laufen.
Die Veranstaltung
Die Embedded Austria bringt die österreichische Embedded-Community zusammen, und diese siebte Ausgabe widmet sich dem Thema KI in der Embedded-Entwicklung. Sie findet am Donnerstag, den 12. November 2026, ab 18:00 Uhr bei SBA Research, Floragasse 7, 1040 Wien statt und schließt mit offenem Networking ab. Der Ticketverkauf ist bereits beendet. Wenn Sie also schon ein Ticket haben, schauen Sie nach seinem Vortrag gerne bei Jonas vorbei, um Hallo zu sagen.
Warum Speicher und nicht Rechenleistung
Wenn Unternehmen Sprachmodelle auf ihre eigenen Server bringen, lautet die erste Frage meist, wie viele GPUs sie benötigen. Die Frage, die darüber entscheidet, wie schnell Antworten geliefert werden und wie viele Personen ein Modell gleichzeitig nutzen können, ist jedoch eine andere: wie viel Speicher jedes Modell, jeder Kontext und jede parallele Anfrage beansprucht – und wie effizient dieser Speicher genutzt wird.
Drei Faktoren konkurrieren darum:
Die Modellgewichte. Ein Modell muss im GPU-Speicher liegen, bevor es überhaupt antworten kann, und größere Modelle benötigen mehr davon.
Der Kontext. Jede Konversation behält ein Arbeitsgedächtnis des bisher Gesagten, und dieses wächst mit jedem Dokument und jedem Dialogschritt.
Parallele Anfragen. Jede Person, die das Modell im selben Moment nutzt, steuert ihren eigenen Kontext bei. Ein Modell, das für einen Benutzer reibungslos läuft, kann bei fünfzig daher deutlich langsamer werden.
Die Textgenerierung wird auch dadurch begrenzt, wie schnell Daten durch den Speicher bewegt werden können – nicht nur davon, wie schnell der Chip rechnen kann. Aus diesem Grund können zwei Server mit vergleichbarer Rechenleistung bei demselben Modell sehr unterschiedliche Ergebnisse liefern.
Wer spricht
Jonas ist seit einem Jahrzehnt im Bereich AI Engineering tätig und ist der Architekt hinter der Xinity Runtime, der Open-Source-Plattform, mit der Unternehmen KI-Modelle auf ihren eigenen Servern betreiben können. Er beschäftigt sich täglich mit dieser Thematik – von der Auswahl der Modelle, die auf die Hardware eines Kunden passen, bis hin zur Sicherstellung stabiler Antwortzeiten, wenn immer mehr Teams darauf zugreifen.
Die Xinity-Plattform ist Open Source auf GitHub verfügbar, falls Sie sich vor oder nach dem Vortrag ansehen möchten, wie sie Modelle auf Ihrer eigenen Infrastruktur verarbeitet.
Planen Sie, KI-Modelle auf Ihrer eigenen Hardware zu betreiben? Buchen Sie ein Erstgespräch und besprechen Sie Ihre Anforderungen mit unserem Team.
KI-Hinweis: Dieser Artikel wurde mit Unterstützung von KI-Tools verfasst sowie vom Xinity-Team geprüft und überarbeitet.