vbench

2 downloads 0 likes on ModelScope updated

Model card

VBench 评测权重归档

本仓库归档了 VBench 1.0 custom_input 无参考视频质量评测所需的预训练权重, 来源于 MiniMax-H3 (vLLM-Omni) 端到端评测环境(原缓存目录 vbench_cache,由 vbench_mmh3/vbench_dl_robust.sh / vbench_dl_fix.sh 脚本下载,境内网络多经 hf-mirror.com 镜像,下同)。

各目录对应 VBench 的一个或多个评测维度:

目录 权重 用途(VBench 维度) 来源
clip_model/ ViT-B-32.pt / ViT-L-14.pt CLIP 帧间/图文相似度(background_consistency、aesthetic_quality、imaging_quality 等) OpenAI CLIP 官方 CDN:https://openaipublic.azureedge.net/clip/models(仓库 https://github.com/openai/CLIP)
dino_model/ dino_vitbase16_pretrain.pth(+ facebookresearch_dino_main 代码) DINO 特征追踪,subject_consistency Meta DINO:https://dl.fbaipublicfiles.com/dino/dino_vitbase16_pretrain/dino_vitbase16_pretrain.pth,代码 https://github.com/facebookresearch/dino
raft_model/ raft-things.pth 光流,dynamic_degree RAFT (princeton-vl),经官方 models.zip:https://dl.dropboxusercontent.com/s/4j4z58wuv8o0mfz/models.zip,https://github.com/princeton-vl/RAFT
amt_model/ amt-s.pth 帧插值,temporal_flickering(静态度) AMT (MCG-NKU):https://github.com/MCG-NKU/AMT(下载自 hf 镜像 lalala125/AMT)
aesthetic_model/ emb_reader/sa_0_4_vit_l_14_linear.pth LAION 美学线性头,aesthetic_quality https://github.com/LAION-AI/aesthetic-predictor
pyiqa_model/ musiq_spaq_ckpt-358bb6af.pth MUSIQ 无参考图像质量,imaging_quality IQA-PyTorch release:https://github.com/chaofengc/IQA-PyTorch/releases/tag/v0.1-weights
ViCLIP/ ViClip-InternVid-10M-FLT.pth + bpe_simple_vocab_16e6.txt.gz ViCLIP 视频-文本相似度(overall_consistency 等语义维度) https://huggingface.co/OpenGVLab/VBench_Used_Models(原始:InternVideo/ViCLIP,https://github.com/OpenGVLab/InternVideo);bpe 词表来自 openai/CLIP
umt_model/ l16_ptk710_ftk710_ftk400_f16_res224.pth UMT 视频模型(语义维度评测) https://huggingface.co/OpenGVLab/VBench_Used_Models(原始:https://github.com/OpenGVLab/UniversalVideoModels)
grit_model/ grit_b_densecap_objectdet.pth GRiT 密集描述/目标检测(object_class、color、spatial_relationship 等技术无关语义维度) https://huggingface.co/OpenGVLab/VBench_Used_Models(原始 GRiT:https://github.com/aaronchan18/GRiT)
caption_model/ tag2text_swin_14m.pth Tag2Text 视频打标(语义维度 prompt 匹配) https://huggingface.co/spaces/xinyu1205/recognize-anything
bert_model/ bert-base-uncased/ BERT 文本编码(UMT/GRiT 文本侧依赖) https://huggingface.co/google-bert/bert-base-uncased

说明

  • .done 为空文件,是下载脚本断点续传的完成标记,无实际内容(未上传)。
  • 原始缓存中另有 videos_rep/(评测用的生成样例视频与 prompt_file.json),非权重,未归档到本仓库。
  • 总大小约 7 GB;videos_rep 与 .done 已剔除。
  • 使用方式:设置环境变量 VBENCH_CACHE_DIR 指向本仓库下载后的目录(即各子目录结构与本仓库一致),再运行 VBench custom_input 评测。