模型简介
本模型基于先进的Transformer解码器架构构建,继承自Microsoft Phi-4的强大基础。为进一步提升其在交通管控领域的专业性能,我们使用一个包含12,749条样本的领域数据集对其进行了监督微调。此版本专门针对边缘计算设备的低算力约束进行优化,致力于实现高性能、轻量化的交通场景智能决策。
为验证微调效果,我们将微调前后的模型应用于一个标准的双向二车道交叉口信号控制场景中,分别生成实时信号配时方案。实验结果表明,微调后的模型在多项关键指标上均显著优于原始基础模型。这不仅充分体现了领域自适应微调的有效性,也验证了本模型在边缘端实际交通管控任务中的实用价值与优越性。


基座模型
本模型基于 Microsoft Phi 系列模型(特别是 Phi-4) 构建而成。Phi 系列秉承“小而强”的设计理念,在参数量相对有限的条件下,通过高质量的训练数据与精心的流程设计,实现了出色的推理、代码与语言理解能力,足以媲美规模更大的模型。
微调方法
本模型采用了 有监督微调(Supervised Fine-Tuning, SFT) 方法,结合参数高效指令微调(Instruction Tuning)技术LoRA等。通过在高质量、多样化的指令-答复配对数据上进行训练,使模型能够更好地理解和遵循人类的指令,生成更符合要求、更安全、更有用的回复。
语料介绍
用于微调本模型的数据集可能包含以下一个或多个部分,具体构成由贡献者决定:
- 核心语料来源与构建:微调语料主要来源于对国内具体交通管控案例的系统性收集。这些真实案例覆盖了多种管控类型和场景,包括但不限于:交通事故报告、违章处理案例、区域通行管制通告、交通疏导方案等。我们对此进行了深入的整合、规格化和知识拓充,将非结构化的案例文本转化为结构化的“指令-答复”对。
- 语料规模与构成:最终形成的微调数据集包含约 12749条 高质量、场景丰富的样本。每条数据都旨在针对性地训练模型在交通管控、管理决策支持、公众咨询回复等场景下的专业知识和逻辑判断能力,并学习如何以恰当的方式进行回应或内容生成。
- 语料特点:此语料库源于真实交通管控案例,经过专业加工的小规模高质量指令集,使模型能更准确地把握国内交通管控方面的相关知识,弥补了通用模型在此领域可能存在的认知不足或偏差。
贡献人员名单
- 模型贡献方:TRIP项目小组
- 核心贡献者:李牧泽、肖俊曦、吴卓衡、张玉璟、万瑞松(东南大学复杂交通网络研究中心)
- 支持团队:东南大学交通学院、东南大学统计与数据科学学院
模型下载与使用
通过ModelScope SDK下载
# 安装ModelScope
pip install modelscope
# SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('TLabFineTuning/Phi4')
通过Git下载
# Git模型下载
git clone https://www.modelscope.cn/TLabFineTuning/Phi4.git
模型的使用
# 下载完成后,在下载目录文件夹打开bash,运行
ollama create Phi4_mini_Fine_tuning -f Modelfile
如果您是本模型的贡献者,我们邀请您根据模型贡献文档,及时完善模型卡片内容。