首页 > 科技 > 业界动态 > 正文

谷歌推出新文本生成图像AI模型DreamFusion:可以将文本转换成3D 模型

站长之家 站长之家 2022-11-02 16:50:05

11月2日 消息:最近,谷歌推出的一个新文本生成图像AI模型DreamFusion ,可以直接将文本转换成3D 模型。(工具网址:dreamfusion3d.github.io)

这个AI图像模型是使用的方法是将文本到2D图像扩散的模型与神经辐射场(NeRF)相结合,生成质量适合于 AR 项目或作为雕刻的基础网格的带纹理3D模型。

根据官方介绍,最近在文本到图像合成方面的突破是由在数十亿对图像-文本训练的扩散模型推动的。不过,将这种方法应用于3D合成需要标记3D资产的大规模数据集和高效的3D数据去噪方法,这两种方法目前都不存在。在这项工作中,谷歌研究团队通过使用预训练的2D文本到图像扩散模型来执行文本到3D合成,从而绕过这些限制。

谷歌推出新文本生成图像AI模型DreamFusion:可以将文本转换成3D 模型

通过消除对此类大规模3D数据集的需求,DreamFusion模型不需要一组真实的3D模型来用作培训数据,也不需要修改图像扩散模型,这为开发适用于大众并且实用的AI的文本到3D工具铺平了道路。

比较可惜的是,目前DreamFusion项目的GitHub页面只支持从原有预设文本提示中进行选择,然后显示生成的3D模型,不支持随意输入文本生成模型。

比如给出文本提示,DreamFusion 生成具有高保真外观、带纹理的3D 模型。例如输入文本“一个非常精细的松鼠金属雕塑,穿着金色衣服,正在吹萨克斯”,生成的模型效果如下:

谷歌推出新文本生成图像AI模型DreamFusion:可以将文本转换成3D 模型

下面一起来看看DreamFusion生成的3D模型效果:

谷歌推出新文本生成图像AI模型DreamFusion:可以将文本转换成3D 模型

谷歌推出新文本生成图像AI模型DreamFusion:可以将文本转换成3D 模型

注:本文图片均来自dreamfusion3d官网截图。