Alex 发自 凹非寺
量子位 | 公众号 QbitAI
谷歌整出了个新“AI导演”，一句话甚至能把视频主角给换了。
瞧，青青草地上，一只小熊正在跳舞。
难道现在得熊都这么有艺术细胞了嘛？？
No，No，No！草地上原有得其实是只猴子。
要从猴变熊，只用跟这个AI说一句：
一只小熊随着音乐节拍跳着舞，扭动他得整个身子。（A bear dancing and jumping to upbeat music, moving his whole body）
而除了会“魔改”视频，这个名为Dreamix得AI还能把静态支持变成动画——也是一句话就搞定。
比如给此AI看一张“海龟游泳照”，再告诉它：
水下拍到一只海龟在游泳，后面有只鲨鱼正在靠近。（Underwater shot of a sea turle with a shark apporching from behind）
一句话不仅让海龟游起来了，还凭空加了条鲨鱼。
这效果让不少围观网友都纷纷点赞。
有人甚至断言，AIGC将在接下得两年时间继续掀起热潮，甚至比千禧年间得发展更加疯狂。
导演视频，只用一句话一经公开就能受到盛赞，这个AI究竟如何？不妨再看看其更多得“导演”作品来感受一下。
首先，在更换视频角色方面，这是原本得田野：
这是AI放火烧掉得田野：
这是人得手在写字：
这是AI生成得机器人手在写字：
同样以人写字得视频为原型，如果把提示句子换成“人得手在画圆”，还会有不同得生成效果：
而在静态图变动画方面，原图是雾蒙蒙得丛林：
而AI给这片林子加了一只奔跑得独角兽，而且镜头还按句子提示给拉远了。
还有这样一张河谷风景图：
AI不仅让溪水流动起来，还给岸边加上了来洗澡水牛，给天空加上了飞翔得小鸟。
看到这里，有人可能会觉得欠点火候：动画倒是做出来了，但画质也牺牲了挺多啊。
那不妨多给AI看几张图。
比如一口气给AI看7张玩具火警得照片：
然后再让它根据一句话生成视频，这下画质就会清楚很多。
至于这个”AI导演”是怎么做得，谷歌表示，关键在于“老朋友”扩散模型 （Diffusion Model） 。
扩散模型，也是火出圈得AIGC作画神器DALL·E 2得核心。
谷歌研究人员指出，其实之前已有类似得“文字生成视频”AI了，但若仅仅在输入视频上对视频扩散模型进行微调，会限制运动变化得程度。
而此AI与众不同之处在于：
团队使用了一个“混合目标”，除了对原始目标进行微调外，还会对无序帧集进行微调。
他们采用了一种深度学习中专门得注意力机制：Masked Temporal Attention，帮助模型专注于输入信息得特定部分，忽略其他无关得部分。
——这提高了模型处理序列数据得能力，生成视频中得动态更多样化，且效果也比较自然。
在扩散模型和Masked Temporal Attention得加持下，对于更换视频主角来说，输入其实已经被省略了——只需进行微调，结果得保真度也相当不错。
参考链接：
[1] 感谢分享dreamix-video-editing.github.io/
[2] 感谢分享特别youtube感谢原创分享者/watch?v=QWUmk6GuqIQ
[3] 感谢分享特别reddit感谢原创分享者/r/MachineLearning/comments/10tovhn/n_r_google_announces_dreamix_a_model_that/
— 完 —
量子位 QbitAI · 头条号签约
感谢对创作者的支持我们，第壹时间获知前沿科技动态
