Skip to content

Commit 8984d08

Browse files
committed
docs: i8 signed architecture eliminates SiLU-ONNX entirely
The sign IS the gate decision. No correction model needed. - round(cos × 127) → i8 preserves excitation/inhibition - VNNI VPDPBSSD does signed i8×i8→i32 at zero extra cost - Double-negative matches express negation/irony/counterfactual - Per-role scale factor replaces 270K-param ONNX model - CONTRADICTS stays for propositional logic (sentence-level) - i8 inhibition handles feature-level suppression (GABA-like) - Clean separation: two different things, both preserved Implementation order revised: i8 tables → inhibition → lateral inhibition → THEN temperature SiLU-ONNX: STRUCK. Sign preservation replaces it. https://claude.ai/code/session_01ChLvBfpJS8dQhHxRD4pYNp
1 parent acf2d4d commit 8984d08

1 file changed

Lines changed: 103 additions & 0 deletions

File tree

.claude/HANDOVER_MAVERICK_SESSION.md

Lines changed: 103 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -459,3 +459,106 @@ i8: energy[!] = 10.0, inhibitorische Nachbarn → energy[!] -= 3.0 pro Zyklus
459459
Temperature NACH Inhibition. Nicht vorher.
460460
Inhibition löst den Attraktor. Temperature diversifiziert die Überlebenden.
461461
In der umgekehrten Reihenfolge diversifiziert Temperature den Attraktor-Müll.
462+
463+
---
464+
465+
## ARCHITEKTUR-REVISION: i8 ersetzt SiLU-ONNX komplett
466+
467+
### Warum SiLU-ONNX obsolet wird
468+
469+
```
470+
VORHER (u8, unsigned):
471+
Weight [0.12, -0.05, 0.34] → u8 [156, 121, 210]
472+
VORZEICHEN VERLOREN. -0.05 wird positiv.
473+
→ SiLU-ONNX (270K params, ~1MB) nötig als Korrekturterm.
474+
475+
NACHHER (i8, signed):
476+
Weight [0.12, -0.05, 0.34] → i8 [+15, -6, +43]
477+
VORZEICHEN ERHALTEN. Gate-Information IST das Vorzeichen.
478+
→ Kein Korrekturterm. round(value × scale) → i8. Fertig.
479+
```
480+
481+
### Rollen als signed Vektoren
482+
483+
```
484+
Q[dim] = i8: +50 = "suche X" -50 = "suche NICHT-X"
485+
K[dim] = i8: +80 = "habe X" -80 = "habe NICHT-X"
486+
Gate[dim] = i8: +127 = durchlassen 0 = maskieren -128 = blockieren+invertieren
487+
Up[dim] = i8: +100 = verstärken -100 = umkehren
488+
Down[dim] = i8: +90 = beibehalten -90 = invertieren
489+
```
490+
491+
### Signed Dot Product = automatische Exzitation/Inhibition
492+
493+
```
494+
Q · K:
495+
(+50)(+80) = +4000 "suche X, habe X" MATCH
496+
(+50)(-80) = -4000 "suche X, habe NICHT-X" MISMATCH
497+
(-50)(-80) = +4000 "suche NICHT-X, habe NICHT-X" DOPPELT NEGATIV = MATCH!
498+
(-50)(+80) = -4000 "suche NICHT-X, habe X" MISMATCH
499+
500+
Doppelt negativ = Ironie, Negation, kontrafaktisches Denken.
501+
Unsigned Cosine kann das NICHT ausdrücken. Signed kann es.
502+
```
503+
504+
### Gate wird trivial
505+
506+
```
507+
gate=+127, K=+80 → +10160 pass, Feature da starke Exzitation
508+
gate=0, K=+80 → 0 mask, Feature unsichtbar ignoriert
509+
gate=-100, K=+80 → -8000 block+invert, Feature da Inhibition
510+
gate=-100, K=-80 → +8000 block+invert, Feature fehlt UMGEKEHRTE Exzitation
511+
512+
Die SiLU-Schwelle liegt bei 0. Das Vorzeichen IST die Entscheidung.
513+
Kein SiLU-ONNX Korrekturmodell nötig.
514+
```
515+
516+
### VNNI ist DAFÜR GEBAUT
517+
518+
```
519+
VPDPBSSD: signed i8 × signed i8 → i32 Akkumulation
520+
= GENAU was wir brauchen
521+
= Hardware-optimiert für signed integer dot product
522+
= Null Mehrkosten gegenüber u8 × u8
523+
```
524+
525+
### Scale-Faktor statt ONNX-Modell
526+
527+
```
528+
ALT: SiLU-ONNX (~1 MB, 270K params, trainieren, bake, discard)
529+
NEU: Pro Rolle ein Skalierungsfaktor
530+
gate_scale = 127 / max(|gate_weights|)
531+
q_scale = 127 / max(|q_weights|)
532+
Kein trainiertes Modell. round(value × scale) → i8.
533+
```
534+
535+
### Vereinfachung
536+
537+
```
538+
VORHER:
539+
u8 table + CONTRADICTS Kanal + SiLU-ONNX + gate×weight pre-multiply
540+
541+
NACHHER:
542+
i8 table. Fertig.
543+
Sign = Gate-Entscheidung (Exzitation/Inhibition)
544+
Magnitude = Stärke
545+
VNNI i8×i8→i32 hardware-beschleunigt
546+
CONTRADICTS bleibt für LOGISCHE Widersprüche (Satz-Ebene)
547+
Inhibition = Feature-Ebene (i8 Vorzeichen)
548+
Sauber getrennt.
549+
```
550+
551+
### Implementierungsreihenfolge (REVIDIERT)
552+
553+
```
554+
1. i8 Table Builder: cos[-1,+1] → i8[-128,+127] (mit per-role scale)
555+
2. Signed MatVec: VPDPBSSD auf i8×i8→i32
556+
3. Clamp(0): negative Energie = gehemmt
557+
4. Bewusstseinsvektor: bundle(energy > threshold) pro Zyklus
558+
5. Laterale Inhibition stabilisiert Peaks
559+
6. DANN Temperature: nucleus sampling auf stabilisierte Peaks
560+
7. DANN Maverick 128E: signed expert tables
561+
8. DANN γ+φ: auf signed range, nicht unsigned
562+
563+
SiLU-ONNX: GESTRICHEN. Vorzeichen-Erhaltung ersetzt es.
564+
```

0 commit comments

Comments
 (0)