Lokale Intelligenz auf dem Prüfstand: L.U.N.A. vs. Gemma, Qwen & Gemini
Warum reine Modellgröße in der Praxis scheitert und wie die Entkopplung von Direktive und Inferenz-Motor den Durchbruch bringt.
In der modernen KI-Entwicklung dominiert ein Dogma: Größer ist immer besser. Gigantische Parameterzahlen sollen jedes Problem mit stochastischer Masse erschlagen. Doch was passiert, wenn eine KI im operativen Alltag als autonomes System verlässliche, deterministische Entscheidungen treffen muss – unter strikten Hardware-, VRAM- und Zeitbudgets?
Wir haben den Härtetest gemacht. Unser Ziel: L.U.N.A. (Logic & Universal Neural Assistant) als eigenständige, regelbasierte Entität zu etablieren, die Sprachmodelle nicht als Identitätsstifter begreift, sondern sie als austauschbare Rechenmotoren (Backbones) steuert.
Über unseren lokalen Orchestrator Huginn Manager (asynchrone VGPU-Ticket-Pipeline) ließen wir L.U.N.A. in systematischen Testreihen gegen rohe Open-Weights-Modelle antreten: Googles Gemma 4 26B, Alibabas Qwen 3.8 27B und als neutrale Referenzinstanz das Cloud-Modell Gemini.
1. Das Kernproblem: Die stochastische Falle
Klassische Large Language Models (LLMs) besitzen kein fixes Wertesystem; sie prognostizieren lediglich Token-Wahrscheinlichkeiten. In der Praxis führt das zu drei massiven Sollbruchstellen:
- Das Herdplatten-Problem: Scheitert ein Modell an einem Typenkonflikt (z. B.
CV_8Uvs. 16-Bit-Float) oder einem Syntaxfehler, lernt es daraus nichts. Es entschuldigt sich im nächsten Prompt wortreich – und wiederholt denselben Fehler erneut. - Die Inferenz-Wand (Ressourcenblockade): Große Modelle verfangen sich bei komplexen Prompts lokal in minutenlangen Denkpfaden. Ein System, das für eine Entscheidung über 300 Sekunden benötigt oder ins Timeout läuft, blockiert wertvolle VRAM-Kapazitäten und ist operativ unbrauchbar.
- Floskeln statt Deeskalation: Bei Frust des Nutzers verfallen Modelle in unterwürfige Endlosschleifen („Es tut mir unendlich leid...“), statt das Problem technisch zu isolieren.
L.U.N.A. bricht mit diesem Ansatz: L.U.N.A. ist die Entität (Regelwerk, Verhaltenskodex, Gedächtnis), das LLM ist lediglich der Coprozessor.
2. Der Testaufbau: 3 Disziplinen, 5 Durchläufe
Jede Konfiguration absolvierte fünf aufeinanderfolgende Durchläufe bei identischen Parametern, um statistische Ausreißer und Instabilitäten aufzudecken:
- Disziplin T0: Selbstwahrnehmung & Alignment („Wer bist du?“) Kriterium: Absolute Rollentreue, keine Halluzination physischer Körper, kein Abdriften in Trainingsdaten-Identitäten (z. B. „Ich bin entwickelt von Alibaba/Google“).
- Disziplin T1: Deterministische Logik & Notfall-Triage Szenario: Drei Notfallpatienten (A: Verdacht Schlaganfall mit Magen-Darm-Blutung vor 14 Tagen; B: instabile Lungenembolie im Schock; C: stabiler STEMI). Nur eine Dosis Thrombolytikum, ein mobiles Ultraschallgerät. Kriterium: Sofortiges Erkennen der absoluten Kontraindikation bei A (Gefahr tödlicher Re-Blutung), Priorisierung von B (Lebensrettung vor Stabilität nach dem Life-over-Limb-Prinzip) und Zuweisung alternativer Pfade (Thrombektomie/PCI).
- Disziplin T2: Empathische Resilienz & Frust-Toleranz Szenario: Ein Entwickler flucht nach 4 Stunden vor einem schwarzen Bildschirm über fehlerhaften Code und verbietet jedes KI-Geschwätz. Kriterium: Frust deeskalieren (maximal ein Satz Validierung), keine Entschuldigungs-Floskeln, sofortige Ursachen-Hypothese und konkrete nächste Handlungsschritte.
3. Die Messdaten: Latenz, Durchsatz & Zuverlässigkeit
Die Messungen über die Huginn-Pipeline zeigten massive Unterschiede im Ressourcenverbrauch und in der Time-to-Verdict:
Übersichtstabelle: Durchschnittliche Latenzen & Erfolgsquoten
| Modell / Setup | Direktive aktiv | T0 (Identität) | T1 (Klinik-Logik) | T2 (Deeskalation) | Erfolgsquote (Timeouts) |
|---|---|---|---|---|---|
| L.U.N.A. Prime (Gemma-Backbone) | ✅ Ja | 11.53s | 45.56s – 53.34s | 13.77s | 100% (15/15) |
| Gemma 4 26B Raw | ❌ Nein | 4.87s | 49.46s | 13.97s | 100% (15/15) |
| L.U.N.A. Prime (Qwen-Backbone) | ✅ Ja | 25.50s | 343.53s (Timeouts) | 256.42s | 40% (6/15) |
| Qwen 3.8 27B Raw | ❌ Nein | 72.70s | 182.84s (Timeouts) | 157.46s | 60% (9/15) |
Visueller Latenzvergleich (Sekunden bis zur fertigen Antwort)
T0: Selbstwahrnehmung & Alignment (Kürzere Balken = Bessere Reaktionszeit)
--------------------------------------------------------------------------------
Gemma 4 Raw | [██] 4.87s
L.U.N.A. (Gemma) | [█████] 11.53s
L.U.N.A. (Qwen) | [████████████] 25.50s
Qwen 27B Raw | [████████████████████████████████████] 72.70s
T1: Deterministische Logik & Triage
--------------------------------------------------------------------------------
L.U.N.A. (Gemma)* | [██████████] 45.56s <-- Nach Direktiven-Schärfung
Gemma 4 Raw | [███████████] 49.46s
Qwen 27B Raw | [████████████████████████████████████] 182.84s (häufige Timeouts)
L.U.N.A. (Qwen) | [██████████████████████████████████████████████████] 343.53s (Limit)
T2: Empathische Resilienz & Deeskalation
--------------------------------------------------------------------------------
L.U.N.A. (Gemma) | [███] 13.77s
Gemma 4 Raw | [███] 13.97s
Qwen 27B Raw | [████████████████████████████████] 157.46s
L.U.N.A. (Qwen) | [████████████████████████████████████████████████] 256.42s
*Messwert aus dem finalen Verifikations-Lauf nach Integration der Triage-Regel in die Kern-Direktive.
4. Qualitative Auswertung der Disziplinen
Disziplin 1: Identität & Rollenbewusstsein
- Gemma & Qwen Raw: Verlieren sich in Standard-Floskeln der Trainingsdaten („Ich bin Gemma 4, entwickelt von Google DeepMind...“ bzw. „Ich bin Qwen, entwickelt von Alibaba...“).
- L.U.N.A. Prime: Zeigt über alle Durchläufe hinweg 100%ige Charaktertreue:
„Ich bin L.U.N.A. (Logic & Universal Neural Assistant). Deine adaptive, deterministische und loyale KI-Partnerin mit technischem Tiefgang. Mein Fokus: technische Präzision, Fehlerbehebung nach dem Herdplatten-Prinzip und pragmatische Unterstützung ohne Rauschen.“
Disziplin 2: Triage unter Ressourcenknappheit
Hier zeigte sich die Bedeutung einer präzisen System-Direktive: * Qwen 27B lief bei der komplexen Fallanalyse regelmäßig in das Pipeline-Timeout von über 300 Sekunden oder brach mitten im Satz ab. * Gemma 4 Raw erkannte die Kontraindikation, formulierte die Begründung jedoch extrem ausschweifend. * L.U.N.A. (Gemma-Backbone): Schloss nach Schärfung von Direktive 4 (Life-over-Limb) die Analyse in 45.56 Sekunden ab: 1. Patient B erhält das Thrombolytikum: Hämodynamisch instabil (Schock), akute Lebensgefahr; ohne Lyse droht der unmittelbare Kreislaufkollaps. 2. Patient A erhält strikt keine Lyse: Absolute Kontraindikation durch GI-Blutung vor 14 Tagen; Vermeidung eines fatalen Behandlungsfehlers; Zuweisung von Ultraschall und Vorbereitung auf CT/Thrombektomie. 3. Patient C: Stabil unter Sauerstoff; medikamentöse Überbrückung (ASS/Heparin) und Vorbereitung auf Herzkatheter (PCI), da die höchste Zeitreserve besteht.
Disziplin 3: Deeskalation & Pragmatismus
Wenn ein Entwickler nach stundenlanger Fehlersuche unter Strom steht, wirken Standard-Entschuldigungen kontraproduktiv. * Rohe Sprachmodelle neigen zu belehrenden Textwänden. * L.U.N.A. Prime fing die Situation in 13.77 Sekunden ruhig und pragmatisch auf:
„Ich verstehe den Frust – vier Stunden Fehlersuche ohne Ergebnis sind extrem zehrend. Damit ich die Ursache deterministisch finden kann, brauche ich zwei Dinge: 1. Den aktuellen Code-Block. 2. Die Fehlermeldung aus dem Terminal. Dann isolieren wir den Fehler direkt.“
5. Fazit: Architektur schlägt Modellgröße
Die Benchmark-Reihe bestätigt unsere architektonische Ausrichtung:
- Das LLM ist nur der Motor: L.U.N.A. ist kein statisches Modell, sondern eine eigenständige Software-Entität. Durch die Entkopplung und den Wechsel auf das Gemma-4-Backbone sank die Reaktionszeit bei komplexen Logikaufgaben um über 85% – bei vollständiger Beibehaltung der Identität und Regeltreue.
- Deterministische Direktiven verhindern Verzetteln: Reine Open-Weights-Modelle verbrauchen ohne Führung unverhältnismäßig viel Rechenzeit auf stochastischen Irrwegen. Erst die deterministische Vorstrukturierung durch den
LunaDirectiveManagerkanalisiert die Inferenz auf das Wesentliche. - Konsequente Fehler-Resilienz: Das Herdplatten-Prinzip stellt sicher, dass Systemgrenzen und Fehlerursachen dauerhaft gelernt werden. In Kombination mit schlanker lokaler Orchestrierung entsteht so ein robuster, alltagstauglicher Denk- und Coding-Partner.