一、先给结论:把「自动剪辑」拆成三层
视频自动剪辑看起来是一件事,实际上是三件可以解耦的事。按这三层去选开源方案,Node.js 与 Python 的兼容性焦虑基本可以消除。
| 层级 | 职责 | 推荐技术 |
|---|---|---|
| 决策层 | 语音识别出词级时间戳,由智能体判断哪段留、哪段删,产出剪辑决策 | Python:FunASR / faster-whisper |
| 决策数据 | 片段入出点、字幕轨、音频轨、转场与调色参数 | 自定义 JSON 契约,或 EDL / FCPXML |
| 渲染层 | 按决策数据实际剪切、拼接、烧字幕、调色、导出 | Node:editly / fluent-ffmpeg;Python:MoviePy;重活交给原生 FFmpeg |
这里有一个关键判断:不要让大模型直接去看视频帧。 让它只读「词级转录文本」,输出结构化的剪辑决策,再由确定的 FFmpeg 执行。这是当前几个主流开源项目的共同设计哲学,也是接入智能体最省 token、最可复现的路径。
二、现成的 AI 自动剪辑管线
这类项目已经把「转录 → 去口误与静音 → 字幕 → 渲染」串成了完整链路,最适合先挂成智能体工具,跑通闭环后再逐步替换其中某一环。
2.1 video-use(browser-use 团队)
仓库:github.com/browser-use/video-use
- 技术栈:Python + FFmpeg,以 CLI 与 Agent 技能形式提供。
- 能力:自动剪掉填充词(um、uh、false start)与镜头间死区;每个片段自动调色;每个切点加 30ms 音频淡入淡出消除爆音;自动烧录字幕;通过 Remotion、Manim、PIL 生成动画叠加层;渲染完成后在切点自动自检(画面跳变、音频爆音、字幕遮挡),通过后才交付。
- 设计亮点:LLM 全程不分析视频帧,只读两层信息——逐词级转录(含说话人分离与音频事件标记,打包成约 12KB 的文本),以及按需生成的时间线复合图(胶片条 + 说话人轨 + 波形 + 词标签 + 静音间隙候选)。
- 管线:转写 → 打包 → LLM 决策 → 输出 EDL → 渲染 → 自检,自检不通过则修复重渲染,最多三轮。
- 接入注意:默认转写走 ElevenLabs Scribe 云端服务,要完全离线需替换为本地 Whisper 或 FunASR。
2.2 FunClip(阿里通义实验室 / ModelScope)
仓库:github.com/modelscope/FunClip
- 技术栈:Python + FunASR + 本地 Gradio 界面 + 命令行脚本
videoclipper.py。 - 能力:用 FunASR Paraformer 系列做中文语音识别,支持热词定制,人名品牌名不易认错;可按识别出的文字段落、指定说话人或大模型提示词选段裁剪,并自动导出全片与片段的 SRT 字幕。
- 识别路径可选:Paraformer 适合精确时间戳与按字剪辑;Fun-ASR-Nano 覆盖普通话、英语、日语与方言口音;SenseVoice 做多语种并带情感与音频事件标签。
- 许可证:源码 MIT,模型权重单独授权,默认的 Paraformer-Large、SeACo-Paraformer、CAM++ 页面标注 Apache 2.0。
- 短板:官方说明「删除无人说话的片段」仍在开发中,句子中间的语气词与长停顿不会自动去除,这一环需要自己补。
如果你的场景是中文口播、访谈、课程,FunClip 的识别质量和按文本剪辑的交互,比直接用 Whisper 更贴合。
2.3 auto-editor(WyattBlue)
仓库:github.com/WyattBlue/auto-editor PyPI:pypi.org/project/auto-editor
- 技术栈:Python 3.9 以上,纯命令行工具。
- 能力:按音频响度、画面运动或语音转录自动判定并切掉静音与无效画面;阈值可调,多轨道可分别设置,判定方法还能组合。
- 导出能力:可直接导出 Premiere、Resolve、Final Cut Pro、ShotCut、Kdenlive 工程,也支持 CMX 3600 EDL 与逐条片段导出。
- 许可证:Unlicense,即公有领域,商用几乎无顾虑;随附的 FFmpeg 二进制为 LGPL。
它最适合承担「去死区」这一基础环节,判定结果还能导出成结构化工程文件,直接喂给你自己的时间线。
2.4 videopilot
项目:pypi.org/project/videopilot
- 能力:本地词级转录、神经网络配音(Edge TTS,免费且无需密钥)、静音裁剪与场景切分、标题页与画中画、音频闪避、配乐铺底、任意分辨率渲染;可导出 EDL 与 FCPXML 交给剪辑软件。
- 接入亮点:机械性工作全部交给 CLI,创作性工作交给调用方的大模型,双方通过一份 JSON 状态契约通信,另外提供若干 MCP 工具用于增量编排、结构自省与预览渲染。
- 为什么值得看:它的 JSON 契约设计,正好就是「智能体驱动剪辑」应有的架构样板,可以直接借鉴字段结构。
2.5 vidpipe
- 能力:监听文件夹自动处理的流水线——编码校验与元数据、词级转录、清理死气与废镜头、生成字幕、烧录卡拉 OK 字幕、竖版短切片、中长切片、章节检测、摘要、多平台文案。
- 定位:偏「一次录制、多平台分发」的全自动产线,适合批量出多规格版本。
2.6 ffmpeg-skill
- 安装:
npx ffmpeg-skill,装完执行npx ffmpeg-skill doctor检查环境。 - 定位:以 MCP 工具形式暴露 42 个剪辑能力——剪切拼接、去静音与口头禅、按时长画幅重构图、逐词字幕动画、降噪与响度标准化、HDR 转 SDR、LUT 调色、批量渲染与交付检查。
- 特点:全程本地、不上云、不需要 API 密钥,只依赖 Python 标准库;每个工具都带机器可读的调用契约。
- 为什么适合你:如果智能体已支持 MCP,这是接入成本最低的一条路,一行安装就拿到一批确定性的剪辑工具。
三、可编程渲染框架
当现成管线的粒度不够(比如要自定义时间线结构、加品牌模板、批量出片),就需要自己拼渲染层。
3.1 Node.js 侧
editly github.com/mifi/editly
- 声明式非线性编辑:用一份 JSON 或 JS 配置,从片段、图片、音频、标题组合出成片,带平滑转场与音乐叠加。
- 支持任意输入尺寸与任意输出比例(横屏、竖屏、方图)自动缩放与信箱化,自动转帧率,按目标时长自动加减速。
- 可传入自定义 Canvas 绘制代码做动态画面,能渲染着色器、输出 GIF、叠加透明素材。
- 采用流式编辑,比先转场后拼接的旧方案更快且不占大量磁盘。协议为 MIT。
- 适配点:它的入参天然是一份 JSON,正好由智能体生成,属于「决策数据」与「渲染层」之间最省事的接口。
fluent-ffmpeg github.com/fluent-ffmpeg/node-fluent-ffmpeg
- 对 FFmpeg 的流式封装,负责剪切、拼接、滤镜、缩略图、元数据探测,MIT 协议。
- 它是 Node 后端处理视频的胶水层事实标准,适合放在上传、转码、输出这一段。
Remotion github.com/remotion-dev/remotion
- 用 React 与 TypeScript 写视频组件,CSS、Canvas、SVG、WebGL 全部可用,内置精简版 FFmpeg,编辑器的缩放时间线与逐帧刻度都很成熟。
- 协议必须先算账:个人与三人以下团队免费;一旦做成自动化剪辑产品(视频编辑器、文生视频、自动管线、内嵌播放器这类场景),按每次渲染计费并设月度最低消费;四人以上公司需商业授权。授权细则见 官方许可 FAQ。
- 前端可移植性与表现力最好,但如果要对外做成产品,授权成本必须提前纳入模型。
3.2 Python 侧
MoviePy github.com/Zulko/moviepy
- 时间线合成、截段拼接、图层叠加、画面裁剪、变速、文字与字幕叠加都很直观,MIT 协议。
- 实测对比:十分钟以上的 4K 素材,直接用 FFmpeg 命令比 MoviePy 快三到五倍;但涉及复杂时间线组合时,MoviePy 的组合 API 更好写。
- 版本坑:2.0 是破坏性重写,旧模块路径被移除,若干方法与链式调用签名也变了。要么锁 1.0.3,要么一次性全面迁移,不要混用。
ffmpeg-python 或直接调用 FFmpeg github.com/kkroening/ffmpeg-python
- 最底层、跨平台、性能最好,可走硬件加速。
- 参数复杂且容易出错,建议封装成受控的模板函数,只把白名单参数暴露给模型,避免生成危险或无效命令。
四、浏览器端的 HTML 编辑器
你想让前端保持 HTML 构建,这类项目的时间线、预览、字幕面板可以整块剥离移植。它们都是 Web 技术栈,与后端语言无关。
4.1 rescript(与你的诉求重合度最高)
仓库:github.com/wassgha/rescript
- 技术栈:Next.js + React + TypeScript + Tailwind,可打包成 Electron 桌面版;转写用 transformers.js 在浏览器本地跑 Whisper,说话人标注用 ONNX 模型,导出用 ffmpeg.wasm,状态管理用 zustand。
- 工作方式:提取音频、逐词流式转写、给每个词打说话人标签,然后在转录文本里删词,就剪掉对应的片段;删除产生的裁剪区间在预览时实时跳过,时间线上标红;一键去填充词、一键去静音;导出成片时文件不出本机。
- 为什么推荐:它把「按文本剪辑」这件事做到了极致,交互层几乎可以直接照搬,也可支持导入已有的 SRT、VTT、JSON 转录。
- 环境要求:Chromium 系浏览器最佳,需要跨域隔离才能启用多线程;有 WebGPU 时用 GPU 推理。
4.2 react-video-editor
仓库:github.com/etcyl/react-video-editor
- React 18 + Vite + ffmpeg.wasm + IndexedDB 存工程,无后端。
- 能力包括拖拽导入并自动拆成视频与音频轨、切割工具、移动与边缘修剪、多选与涟漪编辑、标题与副标题(多种字体、字号、颜色、对齐、描边)、淡入淡出与交叉转场、源分辨率导出。
- 适配点:时间线的交互代码成熟度较高,移植成本低,适合作为你前端 UI 的骨架参考。
4.3 Aether Edits
仓库:github.com/ts-solidarity/Aether-Edits
- 纯客户端编辑器,时间线状态存本地,源文件存 IndexedDB,导出在 Worker 里跑;支持变换、特效、转场、音频混音。
- 值得抄的工程原则:预览是近似,导出才是真相。实时预览用 Canvas 快速近似,导出走真实的 FFmpeg 滤镜图,两条路径打通,加一个特性就要实现两遍——一次为反馈,一次为保真。
4.4 Reframe
仓库:github.com/reframe-oss/reframe
- Next.js + TypeScript + Tailwind + ffmpeg.wasm,无登录、无上传、无广告。
- 能力:一键为短视频平台改尺寸或自定义尺寸,裁剪、旋转、变速、静音或调音、加背景音乐、文字与图片叠加、亮度对比度饱和度锐化,导出多种格式并带质量滑杆,支持撤销重做与刷新恢复,带导出预设与安全区参考线。
- 定位:改造尺寸与轻剪辑的实用型界面,交互细节可以参考。
五、可选路线:生成剪映可编辑草稿
如果你的产品形态是「智能体先粗剪,用户再在剪映里手工微调」,这条路值得评估。
capcut-cli github.com/renezander030/capcut-cli
- Node 18 以上,只用内置模块、无原生依赖;JSON 进 JSON 出,直接读写本地草稿存储,无服务、无守护进程。
- 可从零构建剪映与 CapCut 草稿,加视频音频文字、字幕、速度、音量、模板,把长视频切短;也提供库用法与队列执行器,可对接自动化平台。
- Python 侧有封装,可一条语句调用。
- 注意:非官方社区项目,与字节及剪映无隶属关系;生成的草稿仍需在本机剪映中打开并渲染。
cutcli docs.cutcli.com
- 命令行生成可被剪映桌面端直接打开的标准草稿文件夹,无需插件;字幕、图片、视频、音频、特效、滤镜、贴纸、关键帧、遮罩全部脚本化;提供 macOS、Linux、Windows 三平台二进制。
jianying-headless github.com/mcncarl/jianying-headless
- 面向剪映专业版 macOS 的本地自动化,用结构化剪辑计划生成可编辑草稿,在独立副本中改多轨工程,再调用本机剪映引擎导出。
- 注意:需匹配具体剪映版本,不保证任意电脑装好即用,属于高耦合方案。
六、三套推荐组合
6.1 轻量版:纯工具挂载
- 决策层用 FunClip 或 faster-whisper,出词级时间戳并按文本选段。
- 渲染层用 auto-editor 去死区,再用 FFmpeg 做剪切拼接与字幕烧录。
- 智能体侧把这些命令行封装成工具函数,Python 子进程调用,Node 只做任务编排与状态推送。
适合先跑通「上传、自动粗剪、输出成片」的最小闭环。
6.2 标准版:JSON 剪辑契约 + 可替换渲染
- 决策层出词级时间戳后,由智能体输出一份结构化 JSON:片段入出点、字幕轨、音频轨、转场、调色参数。
- 渲染层用 editly 吃这份 JSON 做模板化渲染,复杂合成或配音段落走 MoviePy,重活统一交给原生 FFmpeg。
- 前端从 rescript 移植「删词即剪」的交互,从 react-video-editor 移植多轨时间线。
这是可持续演进的产品骨架,建议作为主路线。
6.3 完整版:全自动多版本分发
- 按 vidpipe 的路子铺流水线:转写、清理、字幕、横竖切片、章节、摘要、多平台文案。
- 按 video-use 的路子加质检:渲染后在每个切点自检,不合格自动修复重渲染。
- 需要用户二次编辑时,追加 capcut-cli 生成剪映草稿。
七、落地前必须处理的风险
- FFmpeg 是共同底座:跨平台分发要随产品打包静态 ffmpeg 与 ffprobe 二进制,不能假设用户机器已装。三个平台各打一份,路径用配置注入。
- 浏览器端的硬限制:ffmpeg.wasm 比原生慢两到三倍,默认单线程;要多线程必须下发跨域隔离响应头;内存上限约两到四 GB,输入常驻堆内,多 GB 工程极易内存溢出。结论很明确——浏览器端只做预览与短视频导出,长视频渲染一律回后端。
- 中文语音识别:Whisper 对中文热词与口音的鲁棒性弱于 FunASR 系。口播、访谈优先 Paraformer 或 SenseVoice,英文内容再考虑 Whisper。
- 许可证逐个核对,别只看仓库徽章:FunClip 源码 MIT 而模型权重 Apache 2.0;auto-editor 为公有领域;editly、fluent-ffmpeg、MoviePy 均为 MIT;Remotion 用于自动化产品需付费;浏览器编辑器与剪映草稿类项目多为 MIT,但仍要以仓库内许可文件为准,且剪映系均为非官方项目。
- 剪辑决策要落盘:把每次的 EDL 或 JSON 连同取舍理由存成文件,断点续做、回归对比、用户追溯才有依据。
八、链接速查
成品管线
- video-use:https://github.com/browser-use/video-use
- FunClip:https://github.com/modelscope/FunClip
- auto-editor:https://github.com/WyattBlue/auto-editor
- videopilot:https://pypi.org/project/videopilot/
- vidpipe 说明:https://www.htek.dev/articles/introducing-vidpipe-ai-video-pipeline
渲染框架
- editly:https://github.com/mifi/editly
- fluent-ffmpeg:https://github.com/fluent-ffmpeg/node-fluent-ffmpeg
- Remotion:https://github.com/remotion-dev/remotion
- MoviePy:https://github.com/Zulko/moviepy
- ffmpeg-python:https://github.com/kkroening/ffmpeg-python
前端编辑器
- rescript:https://github.com/wassgha/rescript
- react-video-editor:https://github.com/etcyl/react-video-editor
- Aether Edits:https://github.com/ts-solidarity/Aether-Edits
- Reframe:https://github.com/reframe-oss/reframe
剪映草稿
- capcut-cli:https://github.com/renezander030/capcut-cli
- cutcli:https://docs.cutcli.com/zh/
- jianying-headless:https://github.com/mcncarl/jianying-headless
以上内容基于 2026 年 11 月的公开资料整理。开源项目迭代快,正式接入前请以仓库最新的说明、许可文件与发行版本为准。





















暂无评论内容