Wer komplexe autonome Systeme entwickelt, merkt schnell: Standard-Werkzeuge reichen oft nur bis zum Prototyp. Als das L.U.N.A.-Ökosystem wuchs und spezialisierte Agenten koordinierte Aufgaben übernehmen sollten, stießen wir mit bestehenden Consumer-Lösungen wie LM Studio und Ollama unweigerlich an eine Wand.

Was als Suche nach einem schlanken lokalen Backend begann, endete in einer maßgeschneiderten Eigenentwicklung: H.U.G.I.N.N. (Hardware-Unified Graph Inference & Neural Network Manager).

Die Sackgasse: Warum Ollama und LM Studio für Agenten-Schwärme scheitern

Zu Beginn liefen die ersten Inferenz-Tests über bewährte Tools. LM Studio überzeugte mit einer übersichtlichen Benutzeroberfläche, erwies sich jedoch als monolithische Insel – starr im Headless-Betrieb und schwer programmatisch anzusteuern.

Der Wechsel zu Ollama brachte über die REST-Schnittstelle zwar schnelle Anfangserfolge, offenbarte aber bald gravierende Flaschenhälse für ein Multi-Agenten-System: * Keine Priorisierung: Wenn mehrere Agenten gleichzeitig Anfragen senden, blockieren synchrone HTTP-Calls den gesamten Ausführungsstrang. * Blackbox-Speicherverwaltung: Wann ein Modell aus dem VRAM entladen oder wie viel Kontext-Puffer reserviert wird, geschieht automatisiert im Hintergrund – oft begleitet von unkontrollierten Memory-Spikes. * Fehlende native Vault-Integration: Das gezielte Durchsuchen, Herunterladen und Verwalten von quantisierten GGUF-Modellen direkt von HuggingFace war extern aufwendig.

Für ein System, das deterministisch arbeiten muss, war das unzureichend.

Der Wendepunkt: Der Thalamus-EventBus und das Ticket-System

Die Antwort auf die Blockaden war eine strikte Entkopplung: Der EventBus.

Unsere Agenten greifen nicht mehr mit blockierenden HTTP-Verbindungen direkt auf ein Modell zu. Stattdessen schicken sie Anfragen als standardisierte Inferenz-Tickets mit definierter Priorität (High/Normal/Batch) an den Bus.

Um diesen Kommunikationsbus mit der Grafikkarte zu verheiraten, wurde H.U.G.I.N.N. als eigenständige Server- und Management-Applikation geschaffen:


[ Agent Simon ] [ Agent Joan ] [ Agent Greg ]
 │ │ │
 └──────────────┬─┴────────────────┘
 ▼
 [ Thalamus EventBus ]
 │ (Ticket Submit)
 ▼
 ┌──────────────────────────────────┐
 │ H.U.G.I.N.N. │
 │ ┌────────────────────────────┐ │
 │ │ Ticket Scheduler & Queue │ │
 │ └─────────────┬──────────────┘ │
 │ ▼ │
 │ ┌────────────────────────────┐ │
 │ │ VGPU / Dynamic VRAM Lease │ │
 │ └─────────────┬──────────────┘ │
 └────────────────┼─────────────────┘
 ▼
 [ Lokale GPU (16 GB VRAM) ]
 [ Llama-CPP / GGUF High-Speed Inferenz ]

Die VGPU-Architektur: Deterministische Ressourcennutzung

Ein Kernbestandteil von H.U.G.I.N.N. ist die VGPU-Abstraktion. Ursprünglich stand die Idee im Raum, mehrere Sprachmodelle dauerhaft parallel im Grafikspeicher vorzuhalten. Doch die Realität lokaler Workstations mit 16 GB VRAM und Modellen unterschiedlicher Parametergrößen ist eindeutig: Paralleles Vorhalten fragmentiert den Speicher und führt unweigerlich zu Out-of-Memory-Abbrüchen.

Stattdessen implementiert H.U.G.I.N.N. ein dynamisches VRAM-Leasing & Hot-Swapping: * Exklusive Execution Locks: Ein Modell erhält während der Generierung die volle Speicherbandbreite ohne Konkurrenzdruck. * State Caching: Häufig genutzte, kompakte und hochgradig quantisierte Sprachmodelle bleiben so lange im VRAM resident, bis ein Modellwechsel zwingend erforderlich ist. * Automatischer Unload-Trigger: Nach getaner Arbeit oder bei längeren Leerlaufphasen kann der Speicher per API deterministisch freigegeben werden – Ressourcen stehen unmittelbar wieder für Bildverarbeitung oder numerische Berechnungen zur Verfügung.

Volle Kontrolle: HuggingFace-Hub und Direkttests

H.U.G.I.N.N. ist nicht nur eine stumme API im Hintergrund, sondern bietet eine vollständige Kontrollzentrale: * HuggingFace-Explorer: Direkte Suche nach GGUF-Repositories, automatisierter Download in den internen Model-Vault und Integritätsprüfung. * Integrierte Test-Prompts: Modelle können direkt im Server mit Parametern (Temperature, Context-Length, Sampler) interaktiv validiert werden, ohne dass das gesamte L.U.N.A.-System aktiv sein muss. * Hardware-Monitoring: GPU-Temperatur, VRAM-Belegung und Inferenzzeiten pro Token werden in Echtzeit überwacht und geloggt.

Mit H.U.G.I.N.N. haben wir die Abhängigkeit von Drittanbieter-Tools beendet. Die Inferenz ist nun exakt das, was sie in einer modernen KI-Architektur sein muss: Ein deterministisches, auditierbares und schnelles Rückgrat.