Merge pull request #9 from sujitvasanth/fix/iswa-get-can-shift-gemma4

Ooooze · web-flow · commit dcd8d7735750 · 2026-05-12T22:07:30.000+03:00
fix: Gemma 4 time-to-first-token drops from 8-12s to &lt;1s by unblocking cache reuse
diff --git a/src/llama-kv-cache-iswa.cpp b/src/llama-kv-cache-iswa.cpp
@@ -233,8 +233,7 @@ llama_memory_context_ptr llama_kv_cache_iswa::init_mtp(llama_seq_id seq_id, llam
 
 bool llama_kv_cache_iswa::get_can_shift() const {
     return kv_base->get_can_shift() &&
-           kv_swa->get_can_shift() &&
-           kv_base->get_size() == kv_swa->get_size();
+           kv_swa->get_can_shift();
 }
 
 void llama_kv_cache_iswa::state_write(llama_io_write_i & io, llama_seq_id seq_id, llama_state_seq_flags flags) const {

Original file line number	Diff line number	Diff line change
`@@ -233,8 +233,7 @@ llama_memory_context_ptr llama_kv_cache_iswa::init_mtp(llama_seq_id seq_id, llam`
`233`	`233`
`234`	`234`	`bool llama_kv_cache_iswa::get_can_shift() const {`
`235`	`235`	`return kv_base->get_can_shift() &&`
`236`		`- kv_swa->get_can_shift() &&`
`237`		`- kv_base->get_size() == kv_swa->get_size();`
	`236`	`+ kv_swa->get_can_shift();`
`238`	`237`	`}`
`239`	`238`
`240`	`239`	`void llama_kv_cache_iswa::state_write(llama_io_write_i & io, llama_seq_id seq_id, llama_state_seq_flags flags) const {`