TLAB-PanGu1B-FFT

模型概述

TLAB-PanGu1B-FFT 是基于 openPangu-Embedded-1B-V1.1 基座模型构建的全参数监督微调（Full Fine-Tuning, FFT）指令语言模型。
该模型以高质量指令数据为核心，通过系统化的有监督训练流程，显著增强了模型在 知识理解、指令遵循、复杂语义建模与文本生成稳定性等方面的综合能力。

在保持 1B 级参数规模与端侧友好部署特性的前提下，TLAB-PanGu1B-FFT 嵌入式推理、边缘计算与专业领域应用场景进行了针对性优化，适用于资源受限环境下的高可靠语言理解与生成任务。

技术背景

随着大语言模型在多领域场景中的应用不断深入，如何在有限算力与存储资源约束下提升模型的指令理解能力与推理稳定性，成为端侧与嵌入式智能系统中的关键问题。

TLAB-PanGu1B-FFT 的设计目标在于：

• 在轻量级模型规模下，系统性提升模型对自然语言指令的理解与执行能力；
• 通过全参数微调充分释放模型表达能力，避免参数高效微调在复杂语义任务中的性能瓶颈；
• 构建一个兼顾 工程可部署性、学术规范性与实际应用价值 的指令语言模型。

核心能力与模型特性

1. 高质量指令理解与生成能力

模型基于 Alpaca 指令数据集 进行系统化 instruction-tuning，使其能够准确解析多样化自然语言指令，并生成语义一致、逻辑清晰、上下文连贯的文本输出，在知识问答、任务描述理解与文本生成等任务中表现稳定。

2. 全参数监督微调

不同于 LoRA、Adapter 等参数高效微调方法，TLAB-PanGu1B-FFT 采用 全参数更新策略，在训练过程中对模型全部权重进行优化，从而：

• 充分学习指令数据中的语义结构与知识分布；
• 提升模型在复杂指令与长上下文场景下的泛化能力；
• 增强模型整体表示空间的一致性与鲁棒性。

3. 面向端侧与嵌入式部署的能力增强

在仅 1B 参数规模 的约束下，通过指令微调显著提升模型的推理准确性与输出稳定性，使其在 资源受限设备、低功耗计算平台与实时推理场景 中具备良好的实用价值。

4. 全国产硬件到框架训练与推理

我们基于东南大学网络与信息中心的晟腾910B，对PanGu大模型进行了全面的后训练与推理，实现了全流程的国产化适配。

基座模型

• openPangu-Embedded-1B-V1.1
• 项目地址：https://gitee.com/hf-models/openPangu-Embedded-1B

该基座模型针对嵌入式与端侧推理场景进行了结构与工程层面的优化，为后续指令微调提供了稳定、高效的模型基础。

微调方法与训练配置

• 训练范式：有监督学习（Supervised Fine-Tuning, SFT）
• 参数更新策略：全参数微调（Full Fine-Tuning）
• 指令数据来源：Alpaca 数据集、交通微调数据集TRIP-data部分数据
  • https://huggingface.co/datasets/tatsu-lab/alpaca

通过对指令-响应对的系统化建模，模型在自然语言指令解析、语义对齐与生成一致性方面获得显著提升。

应用场景

TLAB-PanGu1B-FFT 可广泛应用于以下场景：

• 端侧与嵌入式智能系统中的自然语言交互模块
• 资源受限环境下的知识问答与文本生成任务
• 专业领域（如交通、工程、数据分析）中的辅助决策与信息生成
• 边缘计算环境中的语言理解与轻量级推理服务

项目团队与贡献（Contributors）

模型研发与维护

• TRIP 项目小组

核心贡献者

• 李宏、罗玉平、张宏刚、张媛、武琦峰、王文华 （东南大学复杂交通网络研究中心）

支持单位

• 东南大学交通学院
• 东南大学统计与数据科学学院
• 东南大学网络与信息中心

免责声明（Disclaimer）

本模型仅用于科研与技术验证目的。使用者需遵守相关法律法规，并对模型输出结果的使用自行承担责任。