MiniMaxH3 使用教程

MiniMaxH3 使用教程

项目简介

MiniMax H3 是 MiniMax 开源的视频生成模型,GitHub 仓库 MiniMax-AI/MiniMax-H3,目前一万多 Star。权重放到自己的机器上就能跑,画面和立体声一起生成。协议是 MiniMax H3 Community License,不是常见的宽松开源协议。

它能同时看懂文字、图片、视频和音频。人物长相可以照着参考图来,说话的声线可以照着一段参考音频来。放出的是两个任务权重:FL2VA 负责文生视频和首尾帧,Ref2VA 负责多参考。本地默认短边 768 像素;2K 重绘和上下文理解模块这次还没开源,要更高清得走官方接口。

仓库自带 h3-prompt-writing 这个 skill,Cursor、Codex、Claude Code 都能装。不会写提示词时,说一句要什么镜头,它按官方的文生、首尾帧、多参考三种写法帮你写好。

核心亮点

🎭 长相和声线都能参考
最多 9 张图、3 段视频、3 段音频,总数不超过 12 个。人物按参考图走,台词按参考声线走。
🎬 首尾帧能定镜头
不给图是文生视频,给一张是首帧或尾帧,给两张就补中间。适合广告和转场。
🗣️ 十一种语言对白
中文、英文、日语、韩语、法语、德语、西班牙语、葡萄牙语、俄语、意大利语、阿拉伯语,稳定支持。
💻 权重在本机跑
FL2VA 和 Ref2VA 两个权重都是 BF16。官方示例用四张卡起 SGLang,ComfyUI 也有文生和参考模板。

它能做什么、输出什么

项目 说明
输入 文字;可选首帧、尾帧;或参考图、参考视频、参考音频
适用类型 口播、产品广告、二次元动画、短剧、宣传片
输出 视频加立体声,24 帧,时长 4 到 15 秒。比例含 21:9、16:9、4:3、1:1、3:4、9:16
语言 / 兼容 对白稳定支持 11 种语言。推理框架:SGLang、vLLM、diffusers、ComfyUI
规格 / 容量 短边默认 768。参考上限:图 9、视频 3、音频 3,合计不超过 12;每段参考 2 到 15 秒,总长不超过 15 秒。主体是 33B 稠密 Transformer

环境要求

环境 建议配置
操作系统 Linux 部署服务更常见。ComfyUI 工作流在 Windows 上也能接,以你本机的 GPU 驱动为准
运行环境 Python,外加仓库里的 requirements。下载权重用 Hugging Face 的 hf 命令
硬件 官方 SGLang 示例是 4 张 GPU,ulysses-degree 也是 4。权重是 BF16,显存要按这个体积准备
低配 / 无卡方案 这次开源包没有量化版。没有足够显卡时,用海螺网页或 MiniMax 开放平台直接生成,2K 也走这条
关键依赖 SGLang、vLLM 或 diffusers 三选一。ComfyUI 用官方的 T2V / R2V 模板

如何使用

💡 有显卡就本机跑 768p。想先看效果,用海螺或开放平台。提示词交给仓库里的 skill。

步骤 1
准备环境

在 GitHub 搜索 MiniMax-AI/MiniMax-H3,把仓库克隆下来,按 requirements 安装依赖。

bash
pip install -r requirements.txt
步骤 2
下载权重

在 Hugging Face 搜索 MiniMaxAI/MiniMax-H3。两个任务族都要的话,用下面这条;只要文生和首尾帧,把 Ref2VA 那一项去掉。

bash
hf download MiniMaxAI/MiniMax-H3 --include "model_index.json" "FL2VA/*" "Ref2VA/*" --local-dir MiniMax-H3
步骤 3
用 SGLang 起文生视频

这是官方给的 FL2VA 示例,四张卡。起来之后按仓库里的可复现脚本提交文字或首尾帧。

bash
sglang serve --model-path MiniMaxAI/MiniMax-H3 --num-gpus 4 --ulysses-degree 4 --performance-mode speed --host 0.0.0.0 --port 30010 --model-variant fl2va

两个变体怎么选:

参数 作用
--model-variant fl2va 文生视频,或给首帧、尾帧、两帧都给
--model-variant ref2va 参考图、参考视频、参考音频。另开一个端口,不要和上面抢同一张卡组
--num-gpus 4 官方示例的卡数,和 ulysses-degree 对齐
步骤 4
ComfyUI 里直接出片

官方说明里有 ComfyUI 教程,用 T2V 模板做文生,用 R2V 模板做参考。把模型指到本机权重,提示词贴进输入框,选好宽高,点运行。画面和立体声一起出来。本地这一档是 768p。

步骤 5
结合 Cursor 或 Codex 写提示词

装仓库自带的 h3-prompt-writing。完整带地址的命令在文末折叠链接里,下面这条用仓库名调用。

bash
npx skills add MiniMax-AI/MiniMax-H3 --skill h3-prompt-writing

✅ 装好之后直接说人话:按官方写法,写一条文生视频提示词,夜里街边,同一个人从背面转到正面。

典型应用场景

🗣️ 口播
一个人对着镜头讲,嘴型和声音一起出来。
🍵 产品广告
杯子、车尾这种特写,镜头推近后小字还在。
🎨 二次元动画
室内对话、角色关系,按参考图保持画风。
🎭 短剧
多人同框、哭戏、古装暗场景,对白和表情一次出。
🔁 改已有片段
官方示例能换掉角色台词,原来的背景音乐留着。
🖼️ 首尾帧补镜
给开头和结尾两张图,中间的运动和声音由它补。

性能表现

指标 表现
参数量 33B 稠密单流 Transformer。其中约 13B 在 AdaLN 支路,推理时可以预计算缓存,不必整份载入
本地分辨率 短边默认 768,24 帧。2K 重绘模块尚未开源
时长和声音 4 到 15 秒,32 kHz 立体声,画面和声音同一套模型一起预测
文本编码 用 Qwen3-VL-32B 的完整权重,取第 50 层隐状态送给生成器

🧠 文字、画面、声音编进同一条序列,再一起预测视频和音频的潜变量。所以口型和声线不是后期贴上去的。稀疏注意力官方说会另发,当前开源推理还是全注意力。

常见问题

Q: 和只出画面的视频模型有什么不同?

H3 把画面和立体声一起生成,对白语言稳定支持 11 种。参考模式还能锁住长相和声线。

Q: 本地能出 2K 吗?

不能。开源的是 768p 底座。H3-Regenerate-2K 和上下文理解模块都还没放出来,更高清走官方接口。

Q: FL2VA 和 Ref2VA 怎么选?

只有文案,或要卡首帧尾帧,用 FL2VA。要按图片、视频、音频来保持人物和声音,用 Ref2VA。两个服务分开起。

Q: 显存不够怎么办?

官方示例就是四张卡,这次没有量化权重。卡不够就用海螺网页或开放平台,不要硬塞进一张消费级卡。

Q: 提示词写出来效果差?

先装 h3-prompt-writing。文生、首尾帧用 base 那份参考,多参考用 ref 那份。官方也写了,上下文理解模块对成片质量影响很大,本地如果没接它,细节会比官网展示弱一档。

Q: 怎么和 Cursor、Codex 一起用?

这个 skill 是 Markdown 加参考文件,不调用外部接口。装进 Cursor 或 Codex 之后,说一句要什么镜头,它按官方写法把提示词写好,你再贴进 ComfyUI 或本地服务。

Q: 和海螺是什么关系?

海螺网页和 MiniMax Hub 是在线产品,背后用的是完整系统,含还没开源的 2K 重绘。GitHub 上这份是可本机部署的底座。

Q: 可以商用吗?

看 MiniMax H3 Community License。协议的适用地区不包括美国、欧盟、英国和韩国,这些地方要另外申请授权。申请表在文末折叠链接里。输出内容本身不等于模型衍生作品,但使用、分发、微调都要遵守协议和可接受使用政策。

Q: 参考素材有什么限制?

图不超过 9 张,视频不超过 3 段,音频不超过 3 段,所有文件加起来不超过 12 个。每段参考要在 2 到 15 秒之间,总长不超过 15 秒。

© 版权声明
THE END
喜欢就支持一下吧
点赞12 分享