Hugging Peers

HD-Transformer

☆ Save
by jacksong123 text-generation Pytorch
21 downloads 0 likes on ModelScope updated

Model card

HD-Transformer：高阶认知残差Transformer

基于标准Transformer架构，引入离散高阶认知残差机制，通过显式建模输入到输出的多阶认知修正路径，并以高阶推理过程的稳定性与自洽性作为核心优化目标。

核心特性

  • 认知精炼模块（CRM）：在Transformer末层后插入轻量级认知精炼模块
  • LoRA低秩适配：采用秩r=8的LoRA实现极轻量参数注入（仅标准FFN的1%-2%）
  • 有限差分模板：在离散token空间内约束残差形态，完全可微
  • 认知锚点掩码：确定性前处理构造，无需人工标注
  • 认知路由门控：基于分布熵自动调节各阶路径权重
  • 迭代高阶机制：通过递归调用CRM实现4-5阶认知，不新增参数

模型架构

┌─────────────────────────────────────────────────────────────┐
│                    Transformer Decoder                      │
│  Layer 1 → Layer 2 → ... → Layer N (Qwen2-0.5B-Instruct)   │
└───────────────────────────┬─────────────────────────────────┘
                            │  H (末层隐状态)
                            ▼
┌─────────────────────────────────────────────────────────────┐
│              认知精炼模块 (Cognitive Refinement Module)      │
│  ┌─────────┐  ┌─────────┐  ┌─────────┐                     │
│  │ CR-Head │  │ CR-Head │  │ CR-Head │                     │
│  │   R(1)  │  │   R(2)  │  │   R(3)  │                     │
│  └────┬────┘  └────┬────┘  └────┬────┘                     │
│       └──────┬─────┴──────┬─────┘                          │
│              ▼            ▼                                 │
│         认知路由门控 → 加权融合 → H̃ (精炼表示)              │
└─────────────────────────────────────────────────────────────┘

认知层次映射

阶数 认知含义 模型行为目标
0阶 静态事实、知识记忆 基础隐状态直接编码
1阶 输入→输出直接映射、简单推理 一阶残差修正事实偏差
2阶 语义变化规律、上下文因果 二阶残差建模关系转换
3阶 元认知、反事实推理、自我验证 三阶残差实现推理过程的自我监控
4-5阶 抽象思维、系统性创新 通过迭代调用三阶机制实现递归抽象

安装依赖

pip install -r requirements.txt

训练

预训练阶段（形态学习）

python train_hd.py --training_stage pretrain --num_train_epochs 5

微调阶段（过程绑定）

python train_hd.py --training_stage finetune --num_train_epochs 3

强化对齐阶段（共识稳定）

python train_hd.py --training_stage rl_align --num_train_epochs 2

完整训练流程

python train_hd.py --training_stage full --num_train_epochs 5

推理

python inference_hd.py --hd_model ./HD-Lora --use_iterative

损失函数

总损失由三部分组成：

L_total = λ₁·L_output + λ₂·L_consistency + λ₃·L_reward
  • L_output：标准交叉熵损失，确保最终token输出正确性
  • L_consistency：过程一致性损失，约束高阶残差遵循有限差分模板
  • L_reward：自举过程奖励，基于模型自身采样的统计一致性

技术规格

约束项 工程规格
新增参数量占比 ≤5%（约25M参数）
CRM插入位置 仅最后1层
高阶实现方式 LoRA（秩r=8）
最大训练阶数K 3阶
正则化策略 路径Dropout（30%）
一致性计算 有限差分+锚点掩码
奖励信号 自举共识度

核心应用场景

  • 复杂数学证明与科学计算：通过3阶验证残差实现中间步骤的自我校验
  • 逻辑推理与反事实分析：利用R(3)在反事实锚点处的强制激活
  • 跨领域创新内容生成：通过共识度奖励约束不同采样下的方案一致性
  • 元认知任务：生成可验证的推理过程

许可证

Apache License 2.0