VBench 评测权重归档
本仓库归档了 VBench 1.0 custom_input 无参考视频质量评测所需的预训练权重,
来源于 MiniMax-H3 (vLLM-Omni) 端到端评测环境(原缓存目录 vbench_cache,由 vbench_mmh3/vbench_dl_robust.sh / vbench_dl_fix.sh 脚本下载,境内网络多经 hf-mirror.com 镜像,下同)。
各目录对应 VBench 的一个或多个评测维度:
| 目录 | 权重 | 用途(VBench 维度) | 来源 |
|---|---|---|---|
clip_model/ |
ViT-B-32.pt / ViT-L-14.pt | CLIP 帧间/图文相似度(background_consistency、aesthetic_quality、imaging_quality 等) | OpenAI CLIP 官方 CDN:https://openaipublic.azureedge.net/clip/models(仓库 https://github.com/openai/CLIP) |
dino_model/ |
dino_vitbase16_pretrain.pth(+ facebookresearch_dino_main 代码) | DINO 特征追踪,subject_consistency | Meta DINO:https://dl.fbaipublicfiles.com/dino/dino_vitbase16_pretrain/dino_vitbase16_pretrain.pth,代码 https://github.com/facebookresearch/dino |
raft_model/ |
raft-things.pth | 光流,dynamic_degree | RAFT (princeton-vl),经官方 models.zip:https://dl.dropboxusercontent.com/s/4j4z58wuv8o0mfz/models.zip,https://github.com/princeton-vl/RAFT |
amt_model/ |
amt-s.pth | 帧插值,temporal_flickering(静态度) | AMT (MCG-NKU):https://github.com/MCG-NKU/AMT(下载自 hf 镜像 lalala125/AMT) |
aesthetic_model/ |
emb_reader/sa_0_4_vit_l_14_linear.pth | LAION 美学线性头,aesthetic_quality | https://github.com/LAION-AI/aesthetic-predictor |
pyiqa_model/ |
musiq_spaq_ckpt-358bb6af.pth | MUSIQ 无参考图像质量,imaging_quality | IQA-PyTorch release:https://github.com/chaofengc/IQA-PyTorch/releases/tag/v0.1-weights |
ViCLIP/ |
ViClip-InternVid-10M-FLT.pth + bpe_simple_vocab_16e6.txt.gz | ViCLIP 视频-文本相似度(overall_consistency 等语义维度) | https://huggingface.co/OpenGVLab/VBench_Used_Models(原始:InternVideo/ViCLIP,https://github.com/OpenGVLab/InternVideo);bpe 词表来自 openai/CLIP |
umt_model/ |
l16_ptk710_ftk710_ftk400_f16_res224.pth | UMT 视频模型(语义维度评测) | https://huggingface.co/OpenGVLab/VBench_Used_Models(原始:https://github.com/OpenGVLab/UniversalVideoModels) |
grit_model/ |
grit_b_densecap_objectdet.pth | GRiT 密集描述/目标检测(object_class、color、spatial_relationship 等技术无关语义维度) | https://huggingface.co/OpenGVLab/VBench_Used_Models(原始 GRiT:https://github.com/aaronchan18/GRiT) |
caption_model/ |
tag2text_swin_14m.pth | Tag2Text 视频打标(语义维度 prompt 匹配) | https://huggingface.co/spaces/xinyu1205/recognize-anything |
bert_model/ |
bert-base-uncased/ | BERT 文本编码(UMT/GRiT 文本侧依赖) | https://huggingface.co/google-bert/bert-base-uncased |
说明
.done为空文件,是下载脚本断点续传的完成标记,无实际内容(未上传)。- 原始缓存中另有
videos_rep/(评测用的生成样例视频与 prompt_file.json),非权重,未归档到本仓库。 - 总大小约 7 GB;
videos_rep与.done已剔除。 - 使用方式:设置环境变量
VBENCH_CACHE_DIR指向本仓库下载后的目录(即各子目录结构与本仓库一致),再运行 VBenchcustom_input评测。