🌉 VideoLingo: 连接世界的每一帧

中文 | English

b站演示

QQ群：875297969

🌟 能做什么

• 🍖 全自动视频搬运工，生成 Netflix 品质的字幕！

• 🎤 克隆自己的声音进行配音!（🚧 仍在开发中）

• ✨ 在 streamlit 中点击-完成！

看看效果吧！💪

ted_demo_sub.mp4

✨ 特点

• 使用 NLP 和 LLM 进行字幕分割

• 智能术语知识库，实现上下文感知翻译

• 三步翻译过程：直接翻译 - 反思 - 改进

• 精确的单词级字幕对齐

• 仅需 1 元即可创作 5 分钟的 Netflix 级双语字幕

• 开发者友好：逐步结构化文件，便于自定义开发 : 中文技术文档 | 英文技术文档

  你甚至可以单独运行每一个core下的step__.py文件！

🏠 本地部署教程

🚧 当前限制

我们正在不断改进VideoLingo，但目前仍存在一些限制：

• 音频长度：目前仅支持30分钟以内的视频，我们计划很快扩展这一限制。

• 输入语言支持（whisperX对部分语言产出的时间轴和标点不稳定）：

输入语言	支持程度	示例视频
英语	🤩	英转中 demo
俄语	😊	俄转中 demo
法语	🤩	法转日 demo
德语	❓ (尚未测试)
西班牙语	❓ (尚未测试)
日语	😖	❌
中文	😖	❌

• 输出语言支持：VideoLingo 支持翻译成claude会的所有语言

🙏 致谢

感谢以下开源项目的贡献:

• whisper: OpenAI的开源自动语音识别系统
• whisper-timestamped: 为Whisper添加时间戳功能的扩展
• whisperX: 为Whisper添加时间戳功能的扩展
• yt-dlp: 用于下载YouTube视频和其他网站内容的命令行工具
• GPT-SoVITS & GPT-SoVITS-Inference: 基于GPT和SoVITS的语音合成系统及推理库
• FFmpeg: 用于处理多媒体内容的完整多平台解决方案
• Ultimate Vocal Remover GUI v5 (UVR5): 用于分离音乐中的人声和伴奏的工具
• json_repair: 超无敌的 修复解析 gpt 的 json 输出的库，无缝替代 json.loads

🤝 欢迎贡献

我们欢迎所有形式的贡献，如果有任何想法或建议，请随时提出issue或提交pull request。

如需进一步交流或寻求帮助，欢迎加入我们的QQ群

Star 历史