TRIP-27B

0 downloads 0 likes on ModelScope updated

Model card

TRIP-27B 交通评测报告

非思考直答协议下的正式面板对比与工程性分析

  • 评测对象:TRIP-27B
  • 评测题集:TRIP-Evaluate 正式题库 897 题
  • 评测日期:2026年9月19日
  • TRIP-Evaluate Project 2026-09-19

一、评测概述与口径

受评对象为 TRIP-27B 模型。评测在 TRIP-Evaluate 897 题正式题库(文本 596、图像 198、点云 103)上全量进行,采用非思考直答协议:温度 0、8-token 答案预算、enable_thinking=false,由项目正式运行器逐题审计记录,运行前冻结协议、运行中未作调整。该口径度量低延迟生产形态下的能力,与项目思考协议面板不直接比较大小。

二、评测结果

897 题全部作答,0 次 API 错误,答案规约合规率 100%;总体准确率 75.14%(表1)。文本与图像分别达 83.22% 与 73.23%;点云 32.04%。分维度看:出行者端 90.05% 最高,车辆端 67.12% 最低;逻辑推理 87.44% 最强,数值计算 59.62% 最弱;困难题 55.25%,低于简单与中等题。

表1 分模态准确率

模态 题数 正确 准确率
文本 596 496 83.22%
图像 198 145 73.23%
点云 103 33 32.04%
总体 897 674 75.14%

运行情况:单题平均时延 0.54 秒(p95 为 0.99 秒),897 题净评测 9.6 分钟;输入 35.9 万、输出仅 1,794 个 token,全量成本按同类挂牌单价估算约 0.3 元。

三、与正式面板对比

表2 汇总项目正式面板全部模型:前沿模型的总体/图像/点云为 897 题多模态口径;GLM-5.2、DeepSeek V4 Pro、Tencent HY3 仅完成共同 596 题文本面板,缺失项以 --- 标注。前沿模型为思考协议、本地开源为本地量化部署、本模型为 API 直答协议,各协议不直接比较大小,仅作工程定位参照。

表2 正式面板全部模型准确率对比(%)

模型 组别 总体 文本 图像 点云
GPT-5.5 前沿·思考 82.94 93.12 77.27 34.95
Gemini 3.5 Flash 前沿·思考 82.72 90.44 83.84 35.92
Grok-4.5 前沿·思考 81.05 91.78 75.76 29.13
Qwen3.7 Plus 前沿·思考 79.49 89.93 71.21 34.95
TRIP-27B API·直答 75.14 83.22 73.23 32.04
Qwen3.5-27B API·直答 74.80 82.72 72.22 33.98
Qwen3-VL 32B NF4 本地开源 74.36 81.38 71.21 39.81
Qwen3-VL 8B NF4 本地开源 69.45 75.67 64.65 42.72
Qwen3-VL 4B NF4 本地开源 68.12 75.67 64.14 32.04
Gemma 3 27B NF4 本地开源 66.78 73.49 56.06 48.54
InternVL3.5 8B NF4 本地开源 64.66 75.34 60.10 11.65
Gemma 3 4B NF4 本地开源 59.20 66.28 47.47 40.78
GLM-5.2 前沿·文本 --- 91.11 --- ---
DeepSeek V4 Pro 前沿·文本 --- 89.60 --- ---
Tencent HY3 前沿·文本 --- 88.93 --- ---

在不开启思考的前提下,其文本与图像成绩均高于全部 6 个本地开源量化模型,图像还超过开启思考的 Qwen3.7 Plus(73.23% 对 71.21%)。点云题对所有受测模型都普遍困难,面板内各模型点云准确率介于 11.65%--48.54%,均明显低于其文本与图像成绩,本模型 32.04% 处于同一偏低区间。

四、工程性分析

在项目已测的 6 个本地可部署开源模型中,TRIP-27B 的准确率整体较高:总体 75.14%、文本 83.22%、图像 73.23%,均超过本地开源组成绩领先的 Qwen3-VL 32B NF4 与同参数量的 Qwen3.5-27B。对需要在本地或私有环境部署交通领域模型的场景,它在规模可控与能力足够之间取得了较好的平衡。