← 光合制梦
光合制梦

如果剪辑有一个影子…

我日常的工作里,有一部分是和播客相关的。而做播客这件事,真正花时间的,往往不是内容本身,而是后期制作,尤其是音频剪辑部分。

如果用传统方式来剪音频,这件事就非常非常非常费时间。但现在已经是 AI 时代了,效率几乎成了一种默认前提。

也正因为这样,我会有意无意地间断地留意各种号称「更高效」的剪辑工具。

很早以前就接触过一种思路:文档式剪辑。当时国内出现过类似的产品,大致逻辑就是把音频转成文本,再像改文档一样去剪音频。但现在回过头看,那款工具几乎销声匿迹了。甚至有后来者,我也用过,遗留的问题依然没有解决。

这说明,文档剪辑在中文语境下,跑不通。

后来我又跑去用 Descript——曾有阵子,它应该算是播客领域里被频繁提起的一款明星级产品。

但我发现,它在音频剪辑上的核心逻辑,依然是文档剪辑那一套。而这种模式,国内早就有先人踩过坑了——很明显,这并没有对中文场景进行特殊化设计,尽管它支持中文音频识别。

更确定一个事实:文档剪辑这条路径,在音频剪辑这个方向上——存在上限。

音频里有大量非文字层面的信息,比如呼吸声、背景噪音、环境杂音——这些声音是否该删除,也是需要选择与判断的,而文档剪辑工具,很难替人做出这样的选择与判断。

如果工具无法识别这些部分,那我就只能从头到尾把音频再听一遍,逐一确认。这样一来,所谓的「效率提升」就不合理了,甚至更麻烦。

还有更底层的原因:音频信号和文字之间,存在着极大的差距,正所谓「文字是离散的符号,音频却是一段连续的信号」。

在文档里删掉一个词儿,只是完成了一次符号层面的删除。但在音频里,这等于在时间轴上做了两次非常硬的切割,再把前后强行拼接。如果没有对衔接处做淡入、淡出处理(而且处理方式在不同的情况下也各有细节差异),就很容易出现刺音。

甚至,还有更微妙的情况。

比如,文字在时间轴上的位置——尤其是中文,并不一定正好对应适合被切的音频位置。一个字的发音,往往会和前后音节产生重叠。如果直接按照文字边界做剪切,很容易把前一个字的尾部,或者后一个字的开头一起剪掉,听感就会变得很不舒服。

以上两种可能情况都不是识别准确率所能够解决的,它们本质上属于听觉层面的问题。

如此说来,文档剪辑或许可以作为入口,但并不是音频剪辑的终点。那么,一个真正面向重度用户的音频剪辑工具,到底应该变成什么模样?

如果目标是减少剪辑时间,路径好像也不多。要么工具试图直接替人判断,要么工具学会这个人的判断方式。

也就是说,让剪辑师逐渐从反复操作的执行者,转变为主要负责判断的人。那接下来的问题就变得非常具体了,工具要如何学习剪辑师的风格?

如果放在 AU 这样的传统音频剪辑软件里,我能想到一个相对自然的流程。

一开始,剪辑师照常工作,创建项目,导入音频…按自己的习惯开始工作。与此同时,一个影子剪辑助手在后台运行,默默观察——观察的是整个剪辑过程。

等它观察了一段时间,觉得自己已经大致理解了这个剪辑师的风格之后,再以一种不打扰的方式出现,告诉剪辑师:我已经准备好了,可以试着剪一小段。

如果剪辑师同意,那这个影子 AI 就会把自己剪好的一小段拿出来。剪辑师听完之后,自然会判断这段剪辑的质量 OK 不 OK。

如果 OK,那就让它继续。如果不 OK,剪辑师一定会手动修改。

而这些修改,恰恰又是影子 AI 最重要的学习材料。

它可以对比自己原本的处理方式,和剪辑师修改后的结果之间的差异。这些差异,本身就是剪辑风格的一部分。

只要这个流程持续存在,每一次人工修改,都会反过来影响影子AI 的学习。久而久之,它就会逐渐掌握这个剪辑师的剪辑风格。

这个影子 AI 学到的,并不只是如何剪一段音频,而是一套可以被保存下来的判断方式。

如果这套判断最终能够以一个本地文件的形式存在,比如一个 style 文件,那它就不再只是工具内部的一部分,而是一种资产——专属于剪辑师的资产。

剪辑师可以选择仅自己使用,也可以选择共享,甚至是商业化。对于那些想学习某位剪辑师风格的人来说,这种方式要比事后分析成品直接得多。

我自己就经常遇到这样的情况。比如,我很喜欢某个剪辑师的剪辑呈现(虽然这是视频方面的举例,但换了音频场景也适用,比如学习节奏把握、切口处理等尤其好的制作者),却并不知道她是如何做出这些效果的。于是我只能截一些画面,或者把结果交给 AI 去分析(音频方面的节奏、切口等处理和分析…AI 就蛮难掌握的,是极大的空白区域 🤔)。

但这种分析,和剪辑师真实的操作过程、判断过程之间,天差地别——我学了个四不像,虽然也有好处:吸收别人的一点风格做出自己的风格——OK,重点不是这个。

如果剪辑师能够把自己的判断沉淀成一套 style 文件,那对学习者来说,本质上是一种非常重要的决策入口,它可以让人直接按某种方式去做。

最近深刻了解到一个词汇,叫持续性学习(continual learning)。

对影子剪辑助手来说,所谓的 memory,是一个动态的东西。剪辑师每一次手动操作、每一次修改、每一次微调——对它来说,都是必要的 memory。

它的学习过程,其实就是在剪辑过程中不断发生的。

音频剪辑里永远存在各种边缘情况,没有任何一个系统可以一次性覆盖所有可能性。这也意味着,影子 AI 不可能在某个时刻学到一个固定的上限,它只能在持续使用中不断学习、不断巩固。

同时,它也需要逐渐形成一种判断:在面对某一期音频时,哪些经验应该被拿出来使用,哪些经验需要暂时搁置——这种剪辑时的取舍,也会慢慢形成风格。而这个风格,并不是 AI 自己决定的,而是通过剪辑师的反馈不断校验出来的——当影子 AI 完成一段内容之后,剪辑师自然会对结果产生反馈——反馈多,意味着学习效果还不够理想;反馈少,则意味着大部分判断已经对齐,只剩下一些细节需要修正或者补充。

这就像是人的学习过程,想象一下中高考前的学习。练习/作业错得多,需要回到基础阶段巩固;而只错一点点的时候,往往已经掌握了大部分——当这种持续性的学习长期存在时,影子 AI 在大多数情况下,已经可以完成相当比例的剪辑工作,剪辑师则更多是以判断者(决策者)的身份出现——这不就省下了时间和精力去做更重要的事情了吗?

当然,目前来看,这样的设想仅仅是一种相对理想的想象。实际落地会遇到什么问题,现在还很难说。

但有一点对我来说是明确的:这种学习过程,更适合发生在本地。

无论是影子 AI 的学习过程,还是最终形成的 style 文件,都更适合以本地数据的形式存在。

像 AU 这样的工具,本身就支持本地保存。在现实中,大部分重度剪辑工作者,也更倾向于把素材和项目保存在本地。

如果这些剪辑数据、判断数据、风格资产都留在本地,剪辑师就能对自己的工作资产拥有完整的控制权。它们不会被自动上传云端,也不会在未经明确同意的情况下,成为平台的训练材料——在这样的前提下,影子 AI 才更像是剪辑师的延伸,而不会成为平台的一部分——也更迎合如今隐私 local 化的趋势。

从使用场景上看,这样的设想在音频剪辑领域是成立的。

国内依然有非常多的播客以音频为主。也有不少人听播客就只是为了听,而不是为了看视频——「视频播客」——这个词儿尽管自己也说了无数遍,如今听来仍然是一个有点怪的词汇。🤔

而且,音频剪辑不涉及画面与声音的匹配问题,数据维度相对单一,判断链条也更简单——这也是为什么,我目前的想象主要停留在音频剪辑这个层面。至于视频剪辑,需要别的设计方式,那将是另一条更复杂的路径。

不过,PR 的音频可以单独跑到 AU 上进行处理再跑回 PR——这意味着剪辑处理好的音频与相对应画面同步联动的可能性极度增大?那缺少的是什么环节呢?这后面的思考非常地有意思!!

至少在音频剪辑这件事上,以上这条思路在我看来是十分合理的,也值得有能力的人去尝试,但其实,相关平台更适合做这个「有能力的人」,尤其是音视频业务相关的厂——所以,到底哪个厂能把这件事儿落实一下呢?

我去试了,被南墙撞死了都…还搞不定啊啊啊啊啊啊!

哦对了,对剪辑有经验的小伙伴一定会说,那你干嘛执着于用 AU,去用剪映啊,它可以自动剪辑,甚至市场上也有诸多针对于视频剪辑的自动化工具,最后导出音频不就可以了么…

我在写这篇文章时提到过剪映和 Capcut 的使用感受,目前的自动化剪辑工具更多是在为「快节奏、强情绪或者高注意力抓取」视听效果服务——这并不符合我对于播客制作/播客呈现的期待与需求。(要求真的很高… :(

不过,我也得承认,听众们对听感似乎并不太在乎。

如果听众的耳朵足够敏感,一定会听得出来哪些(头部)播客使用了类似的自动化剪辑工具来做辅助剪辑…我听到的时候就在纳闷:为什么大家(似乎)都能接受呀?

对不起,我是会立马跑得远远地…的那种。:)

类似的感受也出现在我面对他人创作的内容时,甚至我发现朋友圈有伙伴在吐槽这个!当时:哇 Bro!隔空和你握个手!心里苦于也吐槽于此情景已已已久久久!!

大家是对 AI 痕迹重的文字无感,还是已经默认这种信息接收的方式?(此处应该 @ChatGPT 哈哈哈哈哈——既然我们可以在提示词上纠正「AI 味儿」,系统层面也一定能做到,但…为啥不做?也是个问题。🤔

但需要免责声明下,我并不反对 AI 辅助创作,我反对的是,无法将 AI 给的文字编辑成自己风格(或者读感「正常」)的文字——好,我也得努力,给口头表达更多机会,减少敲键盘的时间。:)

(Echo 持续学习&动态学习!