Pinned Loading

1. consumer-gpu-llm-bench consumer-gpu-llm-bench Public

   LLMの高速化技術であるMTP/D-flashの評価を行う

   Shell

2. ai-systems-notes/local-llm-rag-cag-benchmark ai-systems-notes/local-llm-rag-cag-benchmark Public

   ローカルLLM（RTX 4070 + vLLM / Qwen3.5-4B-FP8）で RAG と CAG を同一条件で比較する、再現可能な日本語ベンチマーク。自作小説50問を正答率・TTFT・トークンコストで実測。

   Python

3. ai-systems-notes/ollama-prefill-kv-restore ai-systems-notes/ollama-prefill-kv-restore Public

   Opt-in KV-cache (prefill) save/restore for Ollama — reproducible TTFT benchmark, up to 417× on a fixed system prompt. 固定 system prompt の再プレフィルを KV 復元で置き換え、TTFT を最大 417× 短縮。llama3.2:3b / RTX 4070、3回…

   Python