<div id="readability-page-1"><blockquote>丰色 发自 凹非寺 量子位 | 公众号 QbitAI</blockquote> 只需 2 张图片，无需测量任何额外数据—— 当当，一个完整的 3D 小熊就有了： <figure> <div> <div><img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/e6ffcc8ca05f6110ba271f0342b73879.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="720" height="284" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/e6ffcc8ca05f6110ba271f0342b73879.jpeg"/> </div> </div> </figure> 这个名为DUSt3R的新工具，火得一塌糊涂，才上线没多久就登上GitHub 热榜第二。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic1.zhimg.com/v2-f47e870ed5209d10e1458f4113c0cc7c_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="437" original-src="https://imageproxy.pbkrs.com/https://pic1.zhimg.com/v2-f47e870ed5209d10e1458f4113c0cc7c_b.jpg"/> </figure> 有网友实测，拍两张照片，真的就重建出了他家的厨房，整个过程耗时不到 2 秒钟！ （除了 3D 图，深度图、置信度图和点云图它都能一并给出） <figure> <div> <div><img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/e6ffcc8ca05f6110ba271f0342b73879.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="720" height="284" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/e6ffcc8ca05f6110ba271f0342b73879.jpeg"/> </div> </div> </figure> 惊得这位朋友直呼： <blockquote>大伙先忘掉 sora吧，这才是我们真正看得见摸得着的东西。</blockquote> <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-6d854d047b47dd651b5215d199ed1e07_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="1102" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-6d854d047b47dd651b5215d199ed1e07_b.jpg"/> </figure> 实验显示，DUSt3R 在单目/多视图深度估计以及相对位姿估计三个任务上，均取得 SOTA。 作者团队（来自芬兰阿尔托大学 +NAVER LABS 人工智能研究所欧洲分所）的 “宣语” 也是气势满满： <blockquote>我们就是要让天下没有难搞的 3D 视觉任务。</blockquote> 所以，它是如何做到？ <h2>“all-in-one”</h2> 对于多视图立体重建（MVS）任务来说，第一步就是估计相机参数，包括内外参。 这个操作很枯燥也很麻烦，但对于后续在三维空间中进行三角测量的像素不可或缺，而这又是几乎所有性能比较好的 MVS 算法都离不开的一环。 在本文研究中，作者团队引入的 DUSt3R 则完全采用了截然不同的方法。 它不需要任何相机校准或视点姿势的先验信息，就可完成任意图像的密集或无约束 3D 重建。 在此，团队将成对重建问题表述为点图回归，统一单目和双目重建情况。 在提供超过两张输入图像的情况下，通过一种简单而有效的全局对准策略，将所有成对的点图表示为一个共同的参考框架。 如下图所示，给定一组具有未知相机姿态和内在特征的照片，DUSt3R 输出对应的一组点图，从中我们就可以直接恢复各种通常难以同时估计的几何量，如相机参数、像素对应关系、深度图，以及完全一致的 3D 重建效果。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-10b7249a2cedbdf62335e222bdd4b7e1_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="235" original-src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-10b7249a2cedbdf62335e222bdd4b7e1_b.jpg"/> </figure> （作者提示，DUSt3R 也适用于单张输入图像） 具体网络架构方面，DUSt3R 基于的是标准 Transformer 编码器和解码器，受到了 CroCo（通过跨视图完成 3D 视觉任务的自我监督预训练的一个研究）的启发，并采用简单的回归损失训练完成。 如下图所示，场景的两个视图（I1，I2）首先用共享的 ViT 编码器以连体（Siamese）方式进行编码。 所得到的 token 表示（F1 和 F2）随后被传递到两个 Transformer 解码器，后者通过交叉注意力不断地交换信息。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-12e5e04f7da35b23dc3eaa0c6e17c4c3_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="268" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-12e5e04f7da35b23dc3eaa0c6e17c4c3_b.jpg"/> </figure> 最后，两个回归头输出两个对应的点图和相关的置信图。 重点是，这两个点图都要在第一张图像的同一坐标系中进行表示。 <h2>多项任务获 SOTA</h2> 实验首先在 7Scenes（7 个室内场景）和 Cambridge Landmarks（8 个室外场景）数据集上评估 DUSt3R 在绝对姿态估计任务上性能，指标是平移误差和旋转误差（值越小越好）。 作者表示，与现有其他特征匹配和端到端方法相比，DUSt3R 表现算可圈可点了。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-53f4e1b3c68c571f1561487fd7d71663_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="378" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-53f4e1b3c68c571f1561487fd7d71663_b.jpg"/> </figure> 因为它一从未接受过任何视觉定位训练，二是在训练过程中，也没有遇到过查询图像和数据库图像。 其次，是在 10 个随机帧上进行的多视图姿态回归任务。结果 DUSt3R 在两个数据集上都取得了最佳效果。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-5dcfd5078e58d1bf7f1a5b1e337f6c22_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="806" height="364" original-src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-5dcfd5078e58d1bf7f1a5b1e337f6c22_b.jpg"/> </figure> 而单目深度估计任务上，DUSt3R 也能很好地 hold 室内和室外场景，性能优于自监督基线，并与最先进的监督基线不相上下。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-78823ef69bffc3482ff8171691e79892_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1062" height="404" original-src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-78823ef69bffc3482ff8171691e79892_b.jpg"/> </figure> 在多视图深度估计上，DUSt3R 的表现也可谓亮眼。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-f67b5b3ae334f13e0150c24797c757ef_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1020" height="608" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-f67b5b3ae334f13e0150c24797c757ef_b.jpg"/> </figure> 以下是两组官方给出的 3D 重建效果，再给大伙感受一下，都是仅输入两张图像： （一） <figure> <img src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-022e805661f2ab3fb3ce907502d9b51d_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="508" height="710" original-src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-022e805661f2ab3fb3ce907502d9b51d_b.jpg"/> </figure> （二） <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-4df56f7c786335a86684ef28e5fe93c7_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="688" height="932" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-4df56f7c786335a86684ef28e5fe93c7_b.jpg"/> </figure> <h2>网友实测：两张图无重叠也行</h2> 有网友给了 DUSt3R 两张没有任何重叠内容的图像，结果它也在几秒内输出了准确的 3D 视图： <figure> <div> <div><img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/9f9f4d4f51d1aa9f1dcdef53f1acc7bb.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="720" height="790" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/9f9f4d4f51d1aa9f1dcdef53f1acc7bb.jpeg"/> </div> </div> </figure> （图片是他的办公室，所以肯定没在训练中见过） <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-5b876a8dafd9e4c927e00c2b37ed6d4b_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="806" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-5b876a8dafd9e4c927e00c2b37ed6d4b_b.jpg"/> </figure> 对此，有网友表示，这意味着该方法不是在那进行 “客观测量”，而是表现得更像一个 AI。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-6c6a5ae70006e7033fc82ba30cac0156_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="321" original-src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-6c6a5ae70006e7033fc82ba30cac0156_b.jpg"/> </figure> 除此之外，还有人好奇当输入图像是两个不同的相机拍的时，方法是否仍然有效？ 有网友还真试了，答案是yes! <figure> <img src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-fe1f9f52bd49fd442063191c5f5a1d71_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="315" original-src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-fe1f9f52bd49fd442063191c5f5a1d71_b.jpg"/> </figure> 传送门： [1] 论文https://arxiv.org/abs/2312.14132 [2] 代码https://github.com/naver/dust3r 参考链接： [1]https://dust3r.europe.naverlabs.com/ [2]https://twitter.com/janusch_patas/status/1764025964915302400</div>

这款名为 DUSt3R 的 AI 工具在 GitHub 上火爆，只需要两张图片就能重建出 3D 模型，耗时不到 2 秒钟。它在单目/多视图深度估计以及相对位姿估计任务上取得了最先进的成果。DUSt3R 不需要相机校准或视点姿势的先验信息，能够完成任意图像的密集或无约束 3D 重建。通过点图回归和全局对准策略，它可以恢复相机参数、像素对应关系、深度图等几何量。

2 张图 2 秒钟 3D 重建！这款 AI 工具火爆 GitHub，网友：忘掉 Sora