<div id="readability-page-1"><blockquote> 梦晨 克雷西 发自 凹非寺 量子位 | 公众号 QbitAI </blockquote> Sora 新视频，变成 “抖音独占” 了。 悄无声息，OpenAI 正式杀入 TikTok，加上洗脑配乐直接让人刷到停不下来，疯狂引流吸粉中： 短短 4 天，涨粉 10 万，50 万赞——这还是不打枪不宣传的情况下。 这以后，人类创作者还怎么玩？ <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/b39902a968d5b9850fe0ab1bf31dba9a.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="1706" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/b39902a968d5b9850fe0ab1bf31dba9a.jpeg"/> 在 OpenAI 刚开的 TikTok 认证帐号上，悄然更新了不少全新生成视频。 每一个都很有特点，同样引发各路热议。 来感受一下： <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/1f86f032afe1222dc9fb8be467f4f0ed.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="558" height="962" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/1f86f032afe1222dc9fb8be467f4f0ed.png"/> a16z 合伙人惊呼，如果这是在信息流里刷出来的，绝对分不出真假。 <blockquote> 我看过很多 AI 视频了，但这一条感觉到了转折点。 </blockquote> <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/6eb248803e9ac8f2afb03602ecff673c.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="408" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/6eb248803e9ac8f2afb03602ecff673c.png"/> 来到真实的短视频消费场景中，就更显 Sora 与竞品代差明显：太逼真，以至于要特别声明不是真的。 OpenAI 可太担心 AI 视频被当真引起不好影响了，不遗余力的以各种方式提醒 “这是假的！这是假的！”。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/b39821e4ec1331b9bf2128db01255e97.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="1837" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/b39821e4ec1331b9bf2128db01255e97.png"/> 网友开始发出这样的预警： <blockquote> 从现在开始，你在网上看到的一切都是值得怀疑的，不要相信你的眼睛。 </blockquote> <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/f194cd16549dd4350a11062b14457b3d.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="405" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/f194cd16549dd4350a11062b14457b3d.png"/> 有句老话叫 “互联网时代，没有人知道你是一条狗”。 现在正式升级成 “Sora 时代，没有人知道你是一条不存在的狗”。 直接搞得不少短视频创作者心态爆炸，要退坑了。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/f8d05505e9090bb1d4a3f1df3328638b.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="518" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/f8d05505e9090bb1d4a3f1df3328638b.png"/> 甚至连平台本身都被降维打击。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/80832658767d0f23a023881ee277b8a2.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="406" height="456" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/80832658767d0f23a023881ee277b8a2.png"/> 全球估值第一的独角兽字节跳动，与刚刚跃升第三位的 OpenAI 之间，似乎正酝酿着一场对决。 UGC 王者和 AIGC 新贵之间，终有一战。 实际上，在 Sora 一夜爆火之前，字节内部并不缺乏 AI 视频技术。 甚至其中一款Boximator还被传成是 “中国版 Sora”。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/1ce898f8fa6fd4bde7962076bd22e7f0.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="530" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/1ce898f8fa6fd4bde7962076bd22e7f0.png"/> 在 Sora 发布之前 Boximator 的论文就已经公布，由字节 AI 实验室总监李航领衔。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/ce55e87a34a09129b69dccd201fcd351.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="416" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/ce55e87a34a09129b69dccd201fcd351.png"/> 其实 Boximator 的功能并非根据纯文字生成视频，而是按照文字提示将静态图片动态化。 它以字节去年 11 月推出的PixelDance为基础模型，加入了新的动作设定方式—— 从图像中框选物体，然后设置运动终点或直接绘制轨迹，就能对动态效果进行精细控制。 形式上，Boximator 作为一个插件，与现有的视频扩散模型结合使用，通过冻结基础模型的权重，仅训练控制模块来实现这一功能。 比如，通过框框画画，让小哈基米按照一定的轨迹追着球跑。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/9fd04f8fd02e0c004b07404522a59f26.gif?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="486" height="272" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/9fd04f8fd02e0c004b07404522a59f26.gif"/> 效果上，虽然也有 bug（飘走的雨伞没有伞柄），但与 Pika 1.0（中）和 Gen-2（右）相比，Boximator 的动画明显更加完整，也更接近文字提示。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/11dcae6df59a38b7d07c48e344f966d6.gif?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="482" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/11dcae6df59a38b7d07c48e344f966d6.gif"/> 从材质和物理效果上看，也是 Boximator 更胜一筹。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/e25a74dd0c1a0af4956d46128b23ac81.gif?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="232" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/e25a74dd0c1a0af4956d46128b23ac81.gif"/> 技术层面，从架构上看，Boximator 在视频扩散模型的每个空间注意力块中增加了一个新的自注意力层，用于处理由对象 ID、硬/软标志和边界框坐标编码的控制 token。 为了简化学习 “框 - 对象” 关联的挑战，Boximator 在训练过程中还采用了一种称为自跟踪（self-tracking）的技术。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/5bfb01d644c8cb849d6ed610cc3c72b5.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="700" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/5bfb01d644c8cb849d6ed610cc3c72b5.png"/> 那么 Boximator 到底算不算 “字节版 Sora”？ 字节对此传闻，以辟谣的姿态来回应： <blockquote> Boximator 是视频生成领域控制对象运动的技术方法研究项目，目前还无法作为完善的产品落地，距离国外领先的视频生成模型在画面质量、保真率、视频时长等方面还有很大差距。 </blockquote> Boximator 建立在之前 PixelDance（基础研究）、MagicAnimate（专注于人体动作）等更多字节团队研究基础之上的最新成果。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/eed789398509034f76f779cf938a7fb6.gif?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="554" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/eed789398509034f76f779cf938a7fb6.gif"/> 总的来说，这些技术并非针对 Sora 特意开发，但在 AIGC 大战如火如荼的背景之下，仍不失为一种“战备”。 再加上年前原抖音 CEO 张楠卸任，专注于剪映，奔赴 AIGC 风口。 可以说虽然 Sora 的发布很突然，但字节并不是毫无准备，或者说早就在业务推进中感知到了技术趋势。 而相比 OpenAI 与字节这样早晚要有的对决，视频行业上下游其他选手，更像是遭遇了一场飞来横祸。 Sora 的第一刀，其实砍向了 Adobe。 5 天过去了，股价跌跌不休，市值蒸发过百亿美元。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/ca67646524820a8ee8e6a5507c54e260.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="845" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/ca67646524820a8ee8e6a5507c54e260.png"/> 危机时刻，Adobe 刚刚紧急宣布，组建了一个 50 人的 AI 研究团队。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/f5dfce361ebeff0655a58cdd5a8c4c14.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="673" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/f5dfce361ebeff0655a58cdd5a8c4c14.png"/> 但是这投入的力度，没让大家看出诚意。 29945 员工中的 50 人，只占 0.16%。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/81fa7e194305f374f8bd756d28dc82a7.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="369" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/81fa7e194305f374f8bd756d28dc82a7.png"/> Adobe 代表的是沿用近 30 年的视频生产、编辑工具，服务于内容创作者。 不转型就会变成下一个柯达、诺基亚，但转型也被认为面临很大挑战。 比如有人指出，Adobe 坐拥大量数据，但要用过去创作者的成果去训练 AI，就会与这些用户关系紧张。 也正是因此，Adobe 的 AI 生图工具 Firefly 并没有在自家创意作品社区 Behance 的数据上训练，有些束手束脚。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/1c7f7905eb3a735682ed6415e2f0aa82.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="317" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/1c7f7905eb3a735682ed6415e2f0aa82.png"/> 又比如从过去 Adobe 在 AI 生图的表现来看，效果比 Midjourney 尚且很大差距，如今在 AI 视频上又该如何面对 OpenAI 的技术代差。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/3157fae06e767fe63e78bfd2ca75b4ad.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="211" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/3157fae06e767fe63e78bfd2ca75b4ad.png"/> Adobe 之外，受冲击第二大的就是素材供应商了，代表公司 Shutterstock 的日子也不好过。 连马斯克都认同 “这个行业可能消亡” 的观点。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/0c61ec52eaf2695f7bbd8d517bbd0a58.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="1617" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/0c61ec52eaf2695f7bbd8d517bbd0a58.png"/> 不过 Shutterstock 也给自己找好了退路，早早与 OpenAI 签订了合作协议，从素材供应商开始转型训练数据供应商。 这几天不断刷屏的 Sora 视频中，就有不少 Shutterstock 图片的影子。 <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/ad682a316d06f572e8234d5ebea58543.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1030" height="498" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/ad682a316d06f572e8234d5ebea58543.png"/> <img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/f0f68957cba3dbf58d16050dda790845.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1014" height="720" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/f0f68957cba3dbf58d16050dda790845.png"/> 还有人开玩笑说，Sora 名字四个字母不会就是代表 “Shutterstock 原创，AI 搅拌” 吧。 <img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/28c4c469b4bb4567a84abd2b70c069d0~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmbGszcz05NTMxOTJmNCZ4LWV4cGlyZXM9MTcwOTA5ODY4MSZ4LXNpZ25hdHVyZT0vT3NpMGxSZnQvd0RNcStlRytSNm1JQ203d2c9?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="954" height="228" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/28c4c469b4bb4567a84abd2b70c069d0~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmbGszcz05NTMxOTJmNCZ4LWV4cGlyZXM9MTcwOTA5ODY4MSZ4LXNpZ25hdHVyZT0vT3NpMGxSZnQvd0RNcStlRytSNm1JQ203d2c9"/> 参考链接： [1] https://www.tiktok.com/@openai [2] https://boximator.github.io/ [3] https://twitter.com/bilawalsidhu/status/1760076742679552273</div>

OpenAI

BYTED

Sora 新视频在 TikTok 上受到热烈欢迎，短短 4 天涨粉 10 万，50 万赞。OpenAI 的 AI 视频技术引起了很多关注和讨论。Sora 的逼真程度让人难以分辨真假，网友开始怀疑在网上看到的一切。这对短视频创作者产生了冲击，甚至影响到了平台本身。字节跳动和 OpenAI 似乎在 AI 领域将展开一场竞争。在 Sora 火爆之前，字节内部也有类似的技术。Sora 的发布引起了广泛讨论。

Sora 新视频只发 TikTok：OpenAI 4 天涨粉 10 万