项目简介
LiveTalking 是一个实时交互流式数字人引擎,通过文本或语音驱动虚拟形象说话,
实现音视频同步对话。你只要在网页里打一句话,数字人就会立刻开口,口型与声音实时同步;
说到一半还能被打断、马上重说。结合大模型即可变成会聊天的 AI 数字人,已在业内广泛商用。
典型用途:虚拟主播 / 直播带货、AI 数字人客服、在线教育、大屏讲解、短视频批量制作。
核心流程为:用户输入文字 / 音频 → LLM 生成回复(可选)→ TTS 合成语音 → 数字人实时口型同步 → 音视频推流输出。
📎 相关链接与下载地址(点击展开)
核心亮点
如何使用
💡 已在 Ubuntu 22.04、Python 3.12、PyTorch 2.9.1、CUDA 13.0 测试通过。推荐使用 RTX 3060 及以上显卡运行 wav2lip256。
在 GitHub 搜索 LiveTalking 克隆项目,用 conda 创建环境并安装依赖:
conda create -n livetalking python=3.12
conda activate livetalking
# 按 nvidia-smi 的 CUDA 版本,到 PyTorch 官网选对应命令安装 torch
pip install -r requirements.txt
从「相关链接」里的网盘下载模型文件:
- 把
wav2lip256.pth拷到项目models/目录,重命名为wav2lip.pth - 把
wav2lip256_avatar1.tar.gz解压后整个文件夹拷到data/avatars/目录
运行启动命令(默认 WebRTC 推流,需开放 TCP:8010、UDP:1-65536):
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1
打开服务的 index.html 首页,点「开始连接」播放数字人视频,
在文本框输入文字提交即可让数字人开口。还可访问 avatar.html 上传视频生成专属形象、
admin.html 监控会话与配置。
常见问题
Q: 没有 GPU 能跑吗?
口型推理需要 GPU,wav2lip256 推荐 RTX 3060 及以上,musetalk 推荐 RTX 3080Ti 及以上。后端日志里 inferfps(推理帧率)和 finalfps(推流帧率)都需 ≥25 才算实时。
Q: 怎么接入大模型实现智能对话?
/human 接口支持 echo(直接复读)和 chat(LLM 对话)两种模式;TTS 模块化设计,支持 EdgeTTS、GPT-SoVITS、CosyVoice 等多种方案,按文档配置即可。
Q: 可以推流到 B站 / 抖音直播吗?
可以。除了低延迟的 WebRTC,还支持 RTMP 标准直播协议和虚拟摄像头输出。注意:基于本项目发布到各平台的视频需带上 LiveTalking 水印和标识。
本站收集的资源仅供内部学习、研究软件设计思想与原理使用。学习研究后请自觉删除,请勿添加内容资料中的联系方式,谨防受骗;请勿传播。因未及时删除或用于其他用途所造成的任何后果,均由使用者自行承担。感谢理解与配合!
若您认为「cmzhiku.com」发布的内容侵犯了您的合法权益,请联系站长邮箱:ksxwdyx@qq.com。我们将在核实后及时进行删除处理。
本站资源大多存储于云盘。如发现下载链接失效或资源异常,请及时联系我们,我们会第一时间核实并更新。



















