不建议禁用，参考以下实现：
def _gen_aoa_config(cls, config: InternLM25Config):
model_prefix = cls.base_model_prefix + "." if cls != cls.base_model_class else ""
aoa_statements = [
f"model.tok_embeddings.weight -> {model_prefix}tok_embeddings.weight",
f"model.norm.weight -> {model_prefix}norm.weight",
f"model.layers.$LAYER_ID.attention_norm.weight -> {model_prefix}layers.$LAYER_ID.attention_norm.weight",
f"model.layers.$LAYER_ID.ffn_norm.weight -> {model_prefix}layers.$LAYER_ID.ffn_norm.weight",
]
aoa_statements.extend([
f"model.layers.$LAYER_ID.attention.{w}.weight^T -> {model_prefix}layers.$LAYER_ID.attention.{w}.weight"
for w in ["wqkv", "wo"]
])
aoa_statements.extend([
f"model.layers.$LAYER_ID.feed_forward.{w}.weight^T -> {model_prefix}layers.$LAYER_ID.feed_forward.{w}.weight"
for w in ["w1", "w2", "w3"]
])
if cls != cls.base_model_class:
if getattr(config, "tie_word_embeddings", False):
aoa_statements.append("model.tok_embeddings.weight -> output.weight")
else:
aoa_statements.append("output.weight^T -> output.weight")
return {"aoa_statements": aoa_statements}

训练在此报错，建议删除这个判断，直接使用 4D mask

是否应该是InternLM25

不应该写qwen3

确认下是否要保留todo的注释

优先级：P1
这里把真实模型放在代理对象里，但 _impl 经过当前 __setattr__ 的下划线分支会走 object.__setattr__，不会注册成 Paddle 的子层；后面直接写 __dict__ 也同样不会注册 model/output/layers 等参数。PretrainedModel.from_pretrained 会先用 model.state_dict() 计算 expected keys，AutoModel 加载公开的 InternLM2.5 配置（model_type: internlm2, architectures: InternLM2ForCausalLM）会走这个代理，结果权重加载、保存和优化器参数枚举都看不到真实参数。

请不要用未注册子层的透明代理；如果保留 wrapper，需要显式注册并委托权重相关接口，或者让 AutoModel 直接返回具体实现类。例如：

impl = ImplModel(config)
self.add_sublayer("impl", impl)
self._impl = impl

# 如果 wrapper 的公开 state_dict key 仍需保持为具体模型的 key，继续显式委托：
def state_dict(self, *args, **kwargs):
    return self._impl.state_dict(*args, **kwargs)

def set_state_dict(self, state_dict, *args, **kwargs):
    return self._impl.set_state_dict(state_dict, *args, **kwargs)

优先级：P1
这个 2.0 分支会导入 ..intern_lm2，但当前仓库只有 intern/ 和 intern_lm2_5/，没有 paddleformers.transformers.intern_lm2 包。只要加载没有 AutoModelForSequenceClassification 标记的普通 model_type: internlm2 配置，就会走到这里并直接 ModuleNotFoundError；这也和注释里“同时支持 2.0 和 2.5”的兼容目标冲突。

请补齐真实的 InternLM2 2.0 实现包，或不要声明/映射 2.0 代理能力。如果当前 PR 只支持 2.5，建议把 Auto 映射限制到能确定为 2.5 的路径，避免普通 internlm2 配置落到不存在的模块。修复形态示例：

if config.is_version_2_5:
    from ..intern_lm2_5 import modeling as _impl_module
else:
    raise NotImplementedError("InternLM2 2.0 is not supported by this PaddleFormers implementation yet.")

优先级：P1
这里导入的是不存在的 ..intern.bert_padding_delte，会一直落到下面的 fallback；但 fallback 的 pad_input(hidden_states, attention_mask) 只有 2 个参数，而 _flash_attention_forward 在第 441 行按 pad_input(attn_output_unpad, indices_q, batch_size, query_length) 调了 4 个参数。只要 attn_implementation="flash_attention_2" 且传入 padding mask，就会在恢复 batch 输出时触发 TypeError，训练/推理的带 mask flash attention 路径不可用。

请引入正确的 unpad/pad 工具，或把 fallback 实现成与调用点一致的签名和语义，并补一个带 padding mask 的 flash attention 测试。示例修复形态：

def pad_input(hidden_states, indices, batch_size, seqlen):
    output = paddle.zeros([batch_size * seqlen, *hidden_states.shape[1:]], dtype=hidden_states.dtype)
    output = paddle.scatter(output, indices, hidden_states)
    return output.reshape([batch_size, seqlen, *hidden_states.shape[1:]])

def unpad_input(hidden_states, attention_mask):
    indices, cu_seqlens, max_seqlen = _get_unpad_data(attention_mask)
    hidden_states = index_first_axis(hidden_states.reshape([-1, *hidden_states.shape[2:]]), indices)
    return hidden_states, indices, cu_seqlens, max_seqlen

优先级：P2
build_inputs_with_special_tokens 默认只加 BOS（add_eos_token=False），但这里无条件把 EOS 也标成 special token；create_token_type_ids_from_sequences 同样多算了一个 EOS 长度。这样 return_special_tokens_mask=True 或返回 token_type_ids 时长度会比实际 input_ids 多 1，批处理/对齐会出错。

请让 mask 和 token_type_ids 复用实际构造出来的序列长度，例如：

优先级：P2
这里也无条件把 EOS 算进长度，但默认 add_eos_token=False 时实际 input_ids 没有 EOS；例如 3 个 token 会返回 4 个 token_type_ids。请按 build_inputs_with_special_tokens 的真实输出长度生成，避免批处理返回字段长度不一致。

优先级：P1
这里补了 state_dict/named_parameters 的委托，但 from_pretrained 默认 load_checkpoint_format="flex_checkpoint" 会直接调用 model.sharded_state_dict()；代理类没有覆盖这个方法时会走 Paddle Layer.sharded_state_dict()，它按注册子层递归生成 _impl.model... / _impl.output... 这类 key。与此同时 _gen_aoa_config() 仍返回真实实现的 model... / output... 目标 key，dist.load_state_dict 找不到这些目标，AutoModel 加载 InternLM2.5 的 flex checkpoint 路径仍会失败。

请把 sharded state dict 也委托给真实实现，并避免 _impl. 前缀进入公开权重 key：

优先级：P1
InternLM2ForCausalLM 代理没有覆盖 prepare_inputs_for_generation，而这个方法已经在 GenerationMixin 上定义，__getattr__ 不会把它转发给 _impl。结果 PretrainedModel.can_generate() 会把代理判断为不可生成，from_pretrained 不会加载 generation_config.json，save_pretrained 也不会保存 generation config；generate() 调用时还会走通用输入准备逻辑，而不是 InternLM2.5 实现里针对 cache_position / DynamicCache 的裁剪逻辑。

请在 CausalLM 代理上显式委托生成入口，恢复和真实实现一致的生成行为：

优先级：P2
__getattr__ 只能代理“当前类找不到”的属性，但 get_input_embeddings / set_input_embeddings / get_output_embeddings / set_output_embeddings 已经在 PretrainedModel 上定义，不会走到这里。现在 InternLM2Model.get_input_embeddings() 会按基类逻辑查 model/embed_tokens，而真实实现用的是 tok_embeddings，会抛 NotImplementedError；InternLM2ForQuestionAnswering 也类似。InternLM2ForCausalLM.get_output_embeddings() 则会因为基类只查 lm_head 而返回 None，与真实 InternLM25ForCausalLM 的 output head 不一致。下游常见的 resize_token_embeddings、NEFTune hook、权重 tying 或测试里的 embedding API 会在 AutoModel 代理路径上表现不一致。

请把这些基类已有的公开 embedding/head API 也显式委托，并补一个 InternLM2* 代理类的轻量测试，例如：

# in InternLM2PretrainedModel
def get_input_embeddings(self):
    return self._impl.get_input_embeddings()

def set_input_embeddings(self, value):
    return self._impl.set_input_embeddings(value)

# in InternLM2ForCausalLM
def get_output_embeddings(self):
    return self._impl.get_output_embeddings()

def set_output_embeddings(self, new_embeddings):
    return self._impl.set_output_embeddings(new_embeddings)