开始使用

• 🌟 默认使用 Claude 3.5 ，翻译质量极佳，翻译的连贯性非常好，没有 ai 味。
• 🚀 若使用deepseek, 1h 视频翻译花费约 ￥1，效果一般。

1. 点击上面 推荐提供商 的链接
2. 注册账户并充值
3. 在 api key 页面新建一个即可
4. 云雾api要注意勾选 无限额度 ，模型处选择 claude-3-5-sonnet-20240620 模型，渠道建议选 纯AZ 1.5倍

• ✅ 支持 OAI-Like 的 API 接口，需要自行在 streamlit 侧边栏更换。
• ⚠️ 但其他模型（尤其是小模型）遵循指令要求能力弱，非常容易在翻译过程报错，强烈不推荐。

声音列表可以在 官网 (opens in a new tab) 找到，例如 alloy, echo, nova 和 fable 等，在 config.py 中修改 OAI_VOICE 即可。

建议在 在线体验 (opens in a new tab) 中试听选择你想要的声音，在右边的代码中可以找到该声音对应的代号，例如 zh-CN-XiaoxiaoMultilingualNeural

前往 官网 (opens in a new tab) 中试听选择你想要的声音，在 URL 中可以找到该声音对应的代号，例如丁真是 54a5170264694bfc8e9ad98df7bd89c3，热门的几种声音已添加在 config.py 中，直接修改 FISH_TTS_CHARACTER 即可。如需使用其他声音，请在 config.py 中修改 FISH_TTS_CHARACTER_ID_DICT 字典。

1. 前往 官方的语雀文档 (opens in a new tab) 查看配置要求并下载整合包。

2. 将 GPT-SoVITS-v2-xxx 与 VideoLingo 放在同一个目录下。注意是两文件夹并列。

3. 选择以下任一方式配置模型：

   a. 自训练模型：

   • 训练好模型后， GPT-SoVITS-v2-xxx\GPT_SoVITS\configs 下的 tts_infer.yaml 已自动填写好你的模型地址，将其复制并重命名为 你喜欢的英文角色名.yaml
   • 在和 yaml 文件同个目录下，放入后续使用的参考音频，命名为 你喜欢的英文角色名_参考音频的文字内容.wav 或 .mp3，例如 Huanyuv2_你好，这是一条测试音频.wav
   • 在 VideoLingo 网页的侧边栏中，将 GPT-SoVITS 角色 配置为 你喜欢的英文角色名。

   b. 使用预训练模型：

   • 从 这里 (opens in a new tab) 下载我的模型，解压后覆盖到 GPT-SoVITS-v2-xxx。
   • 在 GPT-SoVITS 角色 配置为 Huanyuv2。

   c. 使用其他训练好的模型：

   • 将 xxx.ckpt 模型文件放在 GPT_weights_v2 文件夹下，将 xxx.pth 模型文件放在 SoVITS_weights_v2 文件夹下。

   • 参考方法 a，重命名 tts_infer.yaml 文件，并修改文件中的 custom 部分的 t2s_weights_path 和 vits_weights_path 指向你的模型，例如：

     # 示例 方法 b 的配置：
     t2s_weights_path: GPT_weights_v2/Huanyu_v2-e10.ckpt
     version: v2
     vits_weights_path: SoVITS_weights_v2/Huanyu_v2_e10_s150.pth

   • 参考方法 a，在和 yaml 文件同个目录下，放入后续使用的参考音频，命名为 你喜欢的英文角色名_参考音频的文字内容.wav 或 .mp3，例如 Huanyuv2_你好，这是一条测试音频.wav，程序会自动识别并使用。

   • ⚠️ 警告：请使用英文命名 角色名 ，否则会出现错误。 参考音频的文字内容 可以使用中文。目前仍处于测试版，可能产生报错。

   # 期望的目录结构：
   .
   ├── VideoLingo
   │   └── ...
   └── GPT-SoVITS-v2-xxx
       ├── GPT_SoVITS
       │   └── configs
       │       ├── tts_infer.yaml
       │       ├── 你喜欢的英文角色名.yaml
       │       └── 你喜欢的英文角色名_参考音频的文字内容.wav
       ├── GPT_weights_v2
       │   └── [你的GPT模型文件]
       └── SoVITS_weights_v2
           └── [你的SoVITS模型文件]

配置完成后，注意在网页侧边栏选择 参考音频模式，VideoLingo 在配音步骤时会自动在弹出的命令行中打开 GPT-SoVITS 的推理 API 端口，配音完成后可手动关闭。注意，此方法仍然不够稳定，容易出现漏字漏句或其他bug，请谨慎使用。