105、Zero-1-to-3: Zero-shot One Image to 3D Object

这篇具有很好参考价值的文章主要介绍了105、Zero-1-to-3: Zero-shot One Image to 3D Object。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

简介

官网
105、Zero-1-to-3: Zero-shot One Image to 3D Object,# 3D重建,3d
 使用合成数据集来学习相对摄像机视点的控制,这允许在指定的摄像机变换下生成相同对象的新图像,用于从单个图像进行三维重建的任务。

实现流程

 输入图像 x ∈ R H × W × 3 x \in \R^{H \times W \times 3} xRH×W×3,所需视点的相对摄像机旋转和平移 R ∈ R 3 × 3 , T ∈ R 3 R\in \R^{3 \times 3},T \in \R^3 RR3×3TR3,合成视点图像的函数公式表示为:
105、Zero-1-to-3: Zero-shot One Image to 3D Object,# 3D重建,3d

难点:

  • 尽管在不同视点的大量对象上训练了大规模生成模型,但其表示并未明确编码视点之间的对应关系。
  • 如下图所示,Stable Diffusion倾向于生成具有规范姿势的面向前方的椅子的图像
    105、Zero-1-to-3: Zero-shot One Image to 3D Object,# 3D重建,3d

Learning to Control Camera Viewpoint

 给定初始图像,目标图像及其相机位姿数据集 { ( x , x ( R , T ) , R , T ) } \{(x,x_{(R,T)},R,T)\} {(x,x(R,T),R,T)},如下图微调预训练的扩散模型,以便在不破坏其余表示的情况下学习对相机参数的控制。
105、Zero-1-to-3: Zero-shot One Image to 3D Object,# 3D重建,3d
 扩散目标公式表示为:
105、Zero-1-to-3: Zero-shot One Image to 3D Object,# 3D重建,3d

View-Conditioned Diffusion

 输入图像的CLIP嵌入与(R, T)连接,形成一个“pose CLIP”嵌入 c(x, R, T)。使用交叉注意来调节去噪的U-Net,它提供了输入图像的高级语义信息。输入图像与被去噪的图像进行通道连接,帮助模型保持被合成对象的身份和细节

3D Reconstruction

 采用框架Score Jacobian Chaining (SJC)来优化具有文本到图像扩散模型先验的3D表示,SJC中使用的一项关键技术是将无分类器的引导值设置为显著高于通常值。这种方法减少了每个样本的多样性,但提高了重建的保真度。
105、Zero-1-to-3: Zero-shot One Image to 3D Object,# 3D重建,3d

 如上图所示,输入图片 x,CLIP嵌入 c ( x , R , T ) c(x,R,T) c(x,R,T) 和时间 t,以便向无噪声输入 X π X_{\pi} Xπ 近似得分。
105、Zero-1-to-3: Zero-shot One Image to 3D Object,# 3D重建,3d

▽ L S J C \triangledown L_{SJC} LSJC 是【Score jacobian chaining: Lifting pretrained 2D diffusion models for 3D generation】引入的PAAS分数。

 使用MSE损失来优化输入视图,对每个采样视点应用深度平滑损失,对near-view consistency loss进行正则化,以规范nearby views 之间的变化。

实验

 使用Objaverse 数据集(100K+艺术家创建的800K+ 3D模型),对于数据集中的每个对象,随机采样12个指向对象中心的相机外部矩阵,并使用光线追踪引擎渲染12个视图,训练时,每个对象的两个视图形成一个图像对 ( x , x R , T ) (x, x_{R,T}) (x,xR,T)。对应的相对视点变换(R, T)定义了两个透视图之间的映射,可以很容易地从两个外部矩阵中导出。
105、Zero-1-to-3: Zero-shot One Image to 3D Object,# 3D重建,3d
105、Zero-1-to-3: Zero-shot One Image to 3D Object,# 3D重建,3d
105、Zero-1-to-3: Zero-shot One Image to 3D Object,# 3D重建,3d文章来源地址https://www.toymoban.com/news/detail-789330.html

到了这里,关于105、Zero-1-to-3: Zero-shot One Image to 3D Object的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Text2Video-Zero:Text-to-Image扩散模型是Zero-Shot视频生成器

    Paper: https://arxiv.org/abs/2303.13439 Project: https://github.com/Picsart-AI-Research/Text2Video-Zero 原文链接:Text2Video-Zero:Text-to-Image扩散模型是Zero-Shot视频生成器(by 小样本视觉与智能前沿) 目录 最近的text-to-video生成方法依赖于计算量大的训练,并且需要大规模的视频数据集。 在本文中,我

    2024年02月11日
    浏览(43)
  • 【计算机视觉】Zero-shot, One-shot和Few-shot的理解

    机器学习任务按照对 样本量 的需求可以分为:传统监督式学习、Few-shot Learning、One-shot Learning、Zero-shot Learning。 传统learning,炼丹模式。传统深度学习的学习速度慢,往往需要学习海量数据和反复训练后才能使网络模型具备不错的泛化能力,传统learning可以总结为:海量数据

    2024年02月04日
    浏览(53)
  • Zero-shot RIS SOTA:Text Augmented Spatial-aware Zero-shot Referring Image Segmentation 论文阅读笔记

    写在前面   好久没看到有做 Zero-shot RIS 的文章了,看到 arxiv 上面更新了这篇,特意拿出来学习一下。 论文地址:Zero-shot RIS SOTA:Text Augmented Spatial-aware Zero-shot Referring Image Segmentation 代码地址:原文未提供 预计投稿于:AAAI 等顶会 Ps:2023 年每周一篇博文阅读笔记,主页 更

    2024年02月19日
    浏览(49)
  • few-shot / one shot / zero shot object counting论文汇总

    code: https://paperswithcode.com/paper/class-agnostic-counting 摘要:几乎所有现有的计数方法都是为一个特定的对象类而设计的。然而,我们的工作旨在创建一个能够计数任何类对象的计数模型。为了实现这一目标,我们将计数表述为一个匹配问题,使我们能够利用对象计数问题中自然存

    2024年02月09日
    浏览(47)
  • 零样本参考图像分割 Zero-shot Referring Image Segmentation with Global-Local Context Features 论文笔记

    写在前面   新的一周开始了,冲冲冲~ 最近 Segment Anything 爆火,感觉一些方向可能就此终结了,比如少样本、零样本以及视频领域,但是新的方向也应该会源源不断涌出,切勿悲观~ 论文地址:Zero-shot Referring Image Segmentation with Global-Local Context Features 代码地址:https://github

    2024年02月09日
    浏览(45)
  • 【多视重建】从Zero-123到One-2-3-45:单张图到3D

    Zero-1-to-3: Zero-shot One Image to 3D Object 论文 :https://arxiv.org/pdf/2303.11328.pdf 提示:这里可以添加本文要记录的大概内容: Zero-1-3:只给定一张RGB图像(为了在这种欠约束的设置下进行新的视图合成), 利用大规模扩散模型,学习关于自然图像的几何先验 。我们的条件扩散模型 使

    2024年02月07日
    浏览(43)
  • AIGC零基础30天学习——CLIP与zero-shot

           在前面对CLIP的学习中,对 zero-shot prediction 环节一直有一些疑惑,zero-shot是什么,它该如何进行操作?     zero-shot是指零样本学习,和zero-shot相关联的概念包括many-shot、few-shot和one-shot,这些其实都是从训练集样本类型、测试集样本类型和对应的样本数量角度进行划分

    2024年02月09日
    浏览(42)
  • 代码解读:Zero-shot 视频生成任务 Text2Video-Zero

    Diffusion Models视频生成-博客汇总 前言: 上一篇博客《【ICCV 2023 Oral】解读Text2Video-Zero:解锁 Zero-shot 视频生成任务》解读了这篇论文《Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators》。这篇论文的创新点比较多,含金量很高,而且开源了代码。所以这篇博客结合

    2024年02月03日
    浏览(56)
  • huggingface pipeline零训练样本分类Zero-Shot Classification的实现

    1 : 默认的model 。 输出是 education 第一位的。 2 : 使用 morit/chinese_xlm_xnli : 3:使用 facebook/bart-large-mnli 4:

    2024年02月20日
    浏览(45)
  • 论文笔记--Prompt Consistency for Zero-Shot Task Generalization

    标题:Prompt Consistency for Zero-Shot Task Generalization 作者:Chunting Zhou, Junxian He, Xuezhe Ma, Taylor Berg-Kirkpatrick, Graham Neubig 日期:2022 期刊:Arxiv preprint   文章基于prompt的一致性学习给出了一种zero-shot task generalization(零样本泛化学习)的无监督方法。数值实验表明,文章提出的指令

    2024年02月10日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包