Hugging Peers

Video_Simultaneous_Interpretation

☆ Save
by jzy112 translation Pytorch
7 downloads 0 likes on ModelScope updated

Model card

Video Simultaneous Interpretation - 视频同声传译

一个基于 AI 的视频同声传译与配音工具，支持视频字幕提取、翻译、TTS 配音及音视频合并。本项目提供完全免安装的便携整合包，内置 Python 环境与自动 GPU 适配功能，开箱即用。

🌟 功能与特点

1. 核心功能

  • 字幕提取：基于 faster-whisper (large-v3 模型) 进行高精度语音识别，支持多语言。
  • 智能翻译：基于 llama.cpp 的 OpenAI 兼容 API 进行本地大模型翻译，支持自定义提示词。
  • TTS 配音：基于 IndexTTS2 模型进行高质量语音合成，支持多音色与情感控制。
  • 音视频合并：自动将生成的配音与原始视频合并，生成最终带配音的视频文件。

2. 便携整合包特点

  • 内置 Python 环境：无需预先安装 Python 或 conda，整合包内嵌 Miniconda 安装脚本，首次运行自动下载并配置。
  • 自动 GPU 检测与适配：
    • 自动检测 NVIDIA 显卡支持的 CUDA 版本（支持 CUDA 12.4 / 12.1 / 11.8）。
    • 根据检测结果自动安装对应版本的 PyTorch CUDA 版本，确保最大化利用 GPU 算力。
  • 全面支持主流 NVIDIA 显卡：
    • 支持 RTX 系列（RTX 4090/4080/3090 等）、TITAN 系列、Quadro 系列、Tesla 系列（包括 V100、A100 等）。
  • 多 GPU 识别与选择：
    • 启动应用后，在 Gradio 页面顶部可选择用于生成的 GPU。
    • 支持多选，未选中的 GPU 不会被本任务占用，方便在多卡环境下避免 GPU 资源冲突。

💻 系统要求

  • 操作系统：Windows 10/11 64位
  • 显卡：NVIDIA 显卡及最新驱动程序（支持 CUDA 11.8 及以上）
  • 磁盘空间：约 10-15 GB（包含 Miniconda、PyTorch CUDA、所有依赖包及模型文件）

🚀 首次使用步骤

1. 初始化环境

双击运行 00_初始化环境.bat

  • 此脚本会自动下载 Miniconda 并创建 Python 3.12 环境。
  • 自动检测 NVIDIA 显卡 CUDA 版本并安装对应版本的 PyTorch。
  • 安装所有项目依赖包（包括 faster-whisper、llama.cpp 服务端、IndexTTS2 依赖等）。
  • 注意：这个过程可能需要 10-30 分钟，取决于网络速度。

2. 启动应用

双击运行 start.bat

  • 应用将在浏览器中自动打开 http://localhost:7860（Gradio 界面）。
  • 如果浏览器未自动打开，请手动访问上述地址。

🎮 多 GPU 选择与资源管理

在多 GPU 环境下（如 4x V100），为了避免 GPU 资源冲突，本整合包在 Gradio 页面顶部提供了 GPU 选择器：

  • 显示格式为 GPU 编号: 显卡名称（例如 0: Tesla V100-PCIE-32GB）。
  • 支持多选，默认全选所有可用 GPU。
  • 未选中的 GPU 不会被本任务（Whisper 字幕提取、Llama 翻译、IndexTTS2 配音）占用，方便其他任务或用户同时使用。

📁 目录结构

PACKAGE_Video_Simultaneous_Interpretation_Full/
├── 00_初始化环境.bat          # 环境初始化脚本（首次运行）
├── start.bat                  # 启动应用脚本
├── detect_gpu.py              # GPU 与 CUDA 版本检测脚本
├── detect_gpu_and_install_pytorch.bat  # GPU 检测与 PyTorch 安装脚本
├── README_使用说明.txt        # 使用说明文档
├── app.py                     # Gradio Web UI 主程序
├── config.py                  # 配置文件
├── requirements.txt           # Python 依赖列表
├── modules/                   # 项目模块（transcriber, translator, tts_engine, video_maker）
├── index-tts/                 # IndexTTS2 核心代码
├── checkpoints/               # IndexTTS2 检查点与模型文件
├── models/                    # 其他模型文件（如 Whisper, Llama 模型）
├── outputs/                   # 输出文件目录（生成的视频、字幕等）
├── temp/                      # 临时文件目录
└── python_conda/              # 内置的 Miniconda 环境（初始化后生成）
    └── envs/
        └── vsi_env/           # 项目 Python 虚拟环境

🛠️ 技术栈

  • 语音识别 (ASR): faster-whisper (Whisper large-v3)
  • 本地翻译 LLM: llama.cpp (OpenAI 兼容 API)
  • 语音合成 (TTS): IndexTTS2 (支持 FP16 与 CUDA Kernel 加速)
  • Web UI: Gradio 5.45.0
  • 深度学习框架: PyTorch 2.5.1 + CUDA 12.4/12.1/11.8

❓ 常见问题 (FAQ)

Q: 初始化时提示找不到 nvidia-smi？ A: 请确保已安装最新的 NVIDIA 显卡驱动，并且系统 PATH 中包含 NVIDIA 工具路径。

Q: 整合包体积较大，能否只提取部分文件？ A: 本整合包设计为“即插即用”，包含所有必要的环境与依赖。若需自定义环境，可参考 requirements.txt 在现有 conda 环境中手动安装。

Q: 翻译或配音过程中卡住无响应？ A: 请检查 llama-server 或 TTS 引擎的日志输出。确保 GPU 显存充足，若显存不足可尝试在配置中调整上下文长度或批量大小。

📄 许可证

本项目仅供学习与研究使用。使用的模型（如 Whisper, IndexTTS2, Llama 等）请遵循其各自的开源许可证。