fix: анти-OOM авто-BATCH (NL=12/d=768) + GUARD коллапса baseline + провенанс треков A (2-й чекпоинт валиден, seed=123 коллапс)

Author: gHashTag

research/gfplus_line/v2scale_gpu_seed_ckpt_scale.md

@@ -0,0 +1,61 @@
+# GF+A вектор 2: обобщение границы инв. №18 по осям сид/чекпоинт/масштаб
+
+**Дата:** 2026-07-23. **Железо:** RunPod NVIDIA RTX PRO 4500 Blackwell (sm_120),
+torch 2.11.0+cu128 (авто-reinstall+re-exec с cu124). **Автор:** Vasilev (gHashTag).
+**Статус:** `[измерено — GPU]`. **Скрипт:** `webterm_gfplus_v2scale.py`.
+
+Метрика — первичный **bits-per-token** (BPT); порог значимости Parameter Golf
+0.005 BPB = **0.0195 BPT** (коэф 3.9 байт/ток). Модель 9L d=512 VOCAB=1024,
+FineWeb sp1024, 27 Linear под квант; Hessian снят с 18/27 (FFN), out_proj → MSE
+fallback (баг functional-MHA прошлого лупа). val 24 батча, seed=123 фикс.
+
+## Трек A — 2-й чекпоинт (seed=42, STEPS=6000) — ВАЛИДНЫЙ
+
+Здоровый baseline: train loss=3.35, FP32 BPT=**5.26133**.
+
+| bits | MSE | Hessian(FFN) | гибрид(Hess@глуб-linear1) | ΔBPT(Hess−MSE) | ΔBPT(гибрид−MSE) |
+|---|---|---|---|---|---|
+| 4 | 5.26602 | 5.26681 | 5.26221 | **+0.00079** | −0.00381 |
+| 6 | 5.26147 | 5.26142 | 5.26122 | **−0.00005** | −0.00024 |
+| 8 | 5.26157 | 5.26155 | 5.26133 | **−0.00006** | −0.00024 |
+
+Все |ΔBPT| на 1–2 порядка ниже порога 0.0195. **Подтверждает прошлый луп
+(seed=42, STEPS=3000)** на другом чекпоинте: нейтральность Hessian-выбора по
+model-BPT — НЕ артефакт одного чекпоинта.
+
+Тонкость: на 4 битах Hessian(все FFN) слегка ХУЖЕ MSE (+0.00079), а гибрид
+(Hessian только в глубоких linear1) — лучший (−0.00381). Согласуется с
+локализацией SQNR-выигрыша в глубоких FFN (вектор 2), но и это ниже порога.
+
+## Трек A — 2-й сид (seed=123, STEPS=3000) — НЕВАЛИДНЫЙ (коллапс)
+
+train loss упал до **0.0088**, FP32 BPT=**0.00606** → модель переобучилась в
+память train-шарда. Все ΔBPT=0.00000 АРТЕФАКТНО (квантовать нечего на
+вырожденной модели), НЕ вывод. Отброшен. **Урок:** на мелком сете разные сиды
+дают либо здоровую модель (42), либо коллапс (123) при том же STEPS. BPT-замер
+валиден только при baseline BPT ≥ 1.0. В скрипт добавлен GUARD:
+`baseline_valid` в meta + предупреждение при FP32 BPT < 1.0.
+
+## Трек B — масштаб (NL=12, DMODEL=768) — OOM → пофикшено
+
+Первый прогон: `torch.OutOfMemoryError` (31.37 ГБ, tried 576 MiB) на forward
+FFN. Причина: BATCH=48/SEQ=1024 фиксированы. Фикс в скрипте:
+`PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True` + авто-бюджет BATCH
+(`_budget=9*512*48*1024 / (NL*D*1024)`) → для NL=12/d=768 авто BATCH=24;
+базовый NL=9/d=512 остаётся BATCH=48 (прошлые числа не меняются). Также
+BATCH/SEQ теперь env-override. **Прогон трека B — за пользователем** (тот же
+скрипт после git pull).
+
+## Свод (2 из 3 конфигураций замерены)
+
+- **Обобщение по чекпоинту `[измерено — GPU]`:** нейтральность ΔBPT(Hessian−MSE)
+  по model-BPT держится и на STEPS=6000. Инвариант №18 (SQNR выхода слоя был
+  суррогатом, downstream-BPT нейтрален) — НЕ артефакт одной точки обучения.
+- **Обобщение по сиду:** seed=123 дал коллапс → не проверено; нужен здоровый
+  2-й сид (напр. seed=7 STEPS=6000). GUARD добавлен.
+- **Масштаб:** OOM пофикшен, замер на NL=12/d=768 ожидает прогона.
+
+## Границы (BINDING)
+29M PTQ-прокси, НЕ official Parameter Golf; PTQ ≠ QAT; BPB = BPT/3.9 `[прокси]`
+(vocab mismatch: поток sp1024 не декодируется найденным 8192-BPE); Hessian только
+FFN (18/27). Число 5.26 BPT = внутренний прокси, НЕ officialtrained-from-scratch.

webterm_gfplus_v2scale.py

@@ -126,14 +126,21 @@ def select(W, N, hess=None, metric="mse"):
     return torch.stack(cands)[ch, torch.arange(W.shape[0], device=W.device)]
 
 # ── модель (параметризовано env: SEED/STEPS — трек A, NL/DMODEL — трек B) ──
-device = 'cuda'; VOCAB=1024; SEQ=1024; BATCH=48
+# АНТИ-OOM: BATCH/SEQ параметризованы + авто-снижение для крупной модели (урок: NL=12/d=768 выбил 31ГБ).
+os.environ.setdefault("PYTORCH_CUDA_ALLOC_CONF", "expandable_segments:True")
+device = 'cuda'; VOCAB=1024
 SEED  = int(os.environ.get("SEED", 42))
 D     = int(os.environ.get("DMODEL", 512))
 NL    = int(os.environ.get("NL", 9))
 STEPS = int(os.environ.get("STEPS", 3000))
 assert D % 8 == 0, "DMODEL должен быть кратен nhead=8"
+# авто-бюджет памяти: целевой ~ NL*D*BATCH*SEQ активаций; держим под 512*9*48*1024
+_budget = 9 * 512 * 48 * 1024
+_auto_bs = max(8, min(48, _budget // (NL * D * 1024)))
+BATCH = int(os.environ.get("BATCH", _auto_bs))
+SEQ   = int(os.environ.get("SEQ", 1024))
 RUN_TAG = f"seed{SEED}_nl{NL}_d{D}_st{STEPS}"
-print(f"[config] {RUN_TAG}  (трек A=сид/чекпоинт, трек B=NL/DMODEL)", flush=True)
+print(f"[config] {RUN_TAG} BATCH={BATCH} SEQ={SEQ}  (трек A=сид/чекпоинт, трек B=NL/DMODEL)", flush=True)
 os.chdir("/workspace")
 if not os.path.exists("parameter-golf"):
     os.system("git clone --depth 1 https://github.com/openai/parameter-golf.git")
@@ -167,14 +174,15 @@ def forward(s,x):
         return s.h(s.f(h))
 
 print(f"GPU: {torch.cuda.get_device_name(0)} | torch {torch.__version__}")
-print(f"Training {NL}L d={D} {STEPS} steps...")
+print(f"Training {NL}L d={D} {STEPS} steps (BATCH={BATCH})...")
 torch.manual_seed(SEED); model=Model().to(device)
+_last_loss = None
 op=torch.optim.AdamW(model.parameters(),lr=0.003,weight_decay=0.1,betas=(0.95,0.95))
 for s in range(STEPS+1):
     idx=torch.randint(0,len(train_t)-SEQ-1,(BATCH,))
     x=torch.stack([train_t[i:i+SEQ] for i in idx]).to(device)
     y=torch.stack([train_t[i+1:i+SEQ+1] for i in idx]).to(device)
-    loss=F.cross_entropy(model(x).reshape(-1,VOCAB),y.reshape(-1))
+    loss=F.cross_entropy(model(x).reshape(-1,VOCAB),y.reshape(-1)); _last_loss=float(loss)
     op.zero_grad(); loss.backward(); torch.nn.utils.clip_grad_norm_(model.parameters(),1.0); op.step()
     if s%1000==0: print(f"  {s}/{STEPS}: loss={loss.item():.4f}", flush=True)
 model.eval()
@@ -265,6 +273,16 @@ def deep_ffn(n):
                        seed=SEED, run_tag=RUN_TAG)}
 
 restore_fp32(); report["fp32"] = eval_bpb("FP32 baseline")
+report["meta"]["train_last_loss"] = _last_loss
+report["meta"]["baseline_bpt"] = report["fp32"]["bits_per_token"]
+# GUARD (урок seed=123): коллапс в память (loss→0, baseline BPT→0) делает замер НЕВАЛИДНЫМ:
+# квантование нечего портить на вырожденной модели → все ΔBPT≈0 артефактно, не вывод.
+_valid = report["fp32"]["bits_per_token"] >= 1.0
+report["meta"]["baseline_valid"] = bool(_valid)
+if not _valid:
+    print(f"\n⚠ BASELINE НЕВАЛИДЕН: FP32 BPT={report['fp32']['bits_per_token']:.5f} < 1.0 "
+          f"(train loss={_last_loss:.4f}). Модель сколлапсировала в память на этом сиде/STEPS."
+          f"\n  Замер ΔBPT НЕВАЛИДЕН (квантовать нечего). Сменить SEED или уменьшить STEPS.", flush=True)
 
 for N in (4, 6, 8):
     print(f"\n--- {N}-bit ---")