seetapsych-models

105 downloads 0 likes on ModelScope updated

Model card

简体中文 | English

模型文件和权重,可浏览“模型文件”页面获取。

本项目作为 SeetaPsych 的模型下载集合,既包含镜像保存的第三方模型下载链接,也包含 SeetaPsych 项目自身发布的模型。

您可以通过如下 git clone 命令或 ModelScope SDK 下载模型

SDK 下载

# 安装 ModelScope
pip install modelscope
# 下载整个模型仓库
from modelscope import snapshot_download
model_dir = snapshot_download('seetapsych/seetapsych-models')
# 单个文件下载
from modelscope.hub.file_download import model_file_download

file_path = model_file_download(
    model_id='seetapsych/seetapsych-models',
    file_path='insightface/recognition/glint360k_r18.onnx'
)

Git 下载

# 克隆模型仓库
git clone https://www.modelscope.cn/seetapsych/seetapsych-models.git

更推荐通过链接单独下载模型

curl https://www.modelscope.cn/models/seetapsych/seetapsych-models/resolve/master/insightface/recognition/glint360k_r18.onnx

SeetaPsych 模型

本仓库收录 SeetaPsych 各子项目发布的模型,具体用法请参考 SeetaPsych 主库文档。

项目 模型 说明
FaceEx seeta-face-ex-dense-landmarks-280.onnx(SeetaDenseLandmarks 280 点稠密人脸关键点模型) 280 点密集人脸关键点预测,支持可选的二次精修流程。
Emo seeta-emo-ufanet-2604.safetensors(SeetaEmoNet 多任务人脸情感模型,同时预测动作单元、离散表情与效价-唤醒度连续维度) 多任务面部情感估计:16 个动作单元(AU)、7 类离散表情分类、效价-唤醒维度情感回归。
GazeScreen opengaze-affnet-v2.safetensors(AFFNet 屏幕视线估计模型 v2)
opengaze-affnet.safetensors(AFFNet v1)
opengeze-tdgazenet.safetensors(TdGazeNet 屏幕视线估计模型,精度高于 AFFNet)
桌面眼动场景下基于 AFFNet 与 TDGazeNet 的屏幕注视坐标估计。
GazeFollow seeta-gaze-follow-cosi_weights.pth(CoSIGaze 视线跟随与社交注视关系模型)
seeta-gaze-follow-yolo_head.pt(CoSIGaze 前端多人头部检测模型)
多人头检测、逐人场景级注视跟随、双人社交注视关系分类。
Hertz seeta-hertz-tinyhr.onnx(TinyHR 面部视频心率估计模型) 基于 rPPG 的非接触式心率估计(TinyHR 卷积波形预测器与 AdaChrom 色度分析)。

第三方模型

本项目为以下第三方开源项目的模型提供镜像下载,便于统一、稳定地获取。模型版权与许可归原作者所有,使用前请以各项目仓库中的许可证条款为准。

项目 许可证 原项目地址
InsightFace 代码 MIT;预训练模型仅限非商业研究用途 https://github.com/deepinsight/insightface
MediaPipe Apache-2.0 https://github.com/google/mediapipe
3DDFA_V2 MIT https://github.com/cleardusk/3DDFA_V2
RetinaFace (PyTorch) MIT https://github.com/biubug6/Pytorch_Retinaface
DINOv2 Apache-2.0 https://github.com/facebookresearch/dinov2

各模型在 SeetaPsych 中的加载与使用方式,请参见 SeetaPsych 主库文档;模型自身的训练与推理细节,请参见对应的原项目。

InsightFace

人脸检测与人脸识别模型,原项目地址 https://github.com/deepinsight/insightface,目录内文档见 README.md。

目录 模型 说明
insightface/buffalo/ det_500m.onnx、det_2.5g.onnx、det_10g.onnx SCRFD 人脸检测,输出人脸框与 5 点关键点,按计算量分为 500M / 2.5G / 10G 三档
insightface/buffalo/ w600k_r50.onnx、w600k_mbf.onnx ArcFace 人脸特征提取,输出 L2 归一化的 512 维特征(ResNet-50 / MobileFaceNet,WebFace600K 训练)
insightface/recognition/ glint360k_r18.onnx、glint360k_r34.onnx、glint360k_r50.onnx、glint360k_r100.onnx ArcFace 人脸识别(ResNet-18/34/50/100,Glint360K 训练)
insightface/recognition/ webface_r50.onnx、webface_r50_pfc.onnx ArcFace 人脸识别(ResNet-50,WebFace 训练)

MediaPipe

人脸检测与人脸网格模型,原项目地址 https://github.com/google/mediapipe,相关文档见 README.md。

目录 模型 说明
mediapipe/face_detector/ blaze_face_short_range.tflite、blaze_face_full_range.tflite、blaze_face_full_range_sparse.tflite BlazeFace 人脸检测,分近距、全距与全距稀疏三种版本
mediapipe/face_landmarker/ face_landmarker.task Face Landmarker 组合包,内含 BlazeFace 检测、Face Mesh V2 与 Blendshape 模型,输出 468 点归一化三维人脸网格

3DDFA_V2

三维稠密人脸对齐,原项目地址 https://github.com/cleardusk/3DDFA_V2,相关文档见 readme.md,许可证见 LICENSE。

文件 内容
3ddfa_v2/3ddfa-v2.zip tddfa-v2-mb1.onnx(MobileNetV1 主干)、bfm-noneck-v3.pkl(3DMM 基模型)、param-mean-std.pkl(参数归一化)

RetinaFace (PyTorch)

人脸检测模型,输出人脸框与 5 点关键点,原项目地址 https://github.com/biubug6/Pytorch_Retinaface,相关文档见 README.md,许可证见 LICENSE.MIT。官方 MxNet 实现另见 InsightFace。

模型 说明
retinaface/Resnet50_Final.safetensors、retinaface/Resnet50_Final.pth RetinaFace,ResNet-50 主干,精度更高
retinaface/mobilenet0.25_Final.safetensors、retinaface/mobilenet0.25_Final.pth RetinaFace,MobileNet-0.25 主干,速度更快

DINOv2

视觉自监督预训练主干模型,可作为下游任务的通用特征提取器,本仓库镜像的 ViT-B/14 权重用于 CoSIGaze 视线跟随模型。原项目地址 https://github.com/facebookresearch/dinov2,相关文档见 README.md,许可证见 LICENSE。

模型 说明
dinov2/dinov2_vitb14_pretrain.pth DINOv2 ViT-B/14 预训练主干权重

该目录另附 XRay-DINO 与 Cell-DINO 相关许可文件(LICENSE_XRAY_DINO_MODEL、LICENSE_CELL_DINO_CODE、LICENSE_CELL_DINO_MODELS),其对应权重均仅限非商业研究用途,本仓库未镜像其权重。

许可证

本项目基于 BSD 3-Clause License 开源,完整条款详见根目录的 LICENSE 文件。

许可范围包括 SeetaPsych 项目发布的模型,见 seetapsych。第三方镜像模型不在此许可范围内,遵循其各自项目的许可证。