是 elon musk 创立的人工智能初创公司，支持流行的 文本到图像生成器，周二宣布发布其最新的图片制作机器 point-e，它可以直接从文本提示生成 3d 点云。现有系统（如 google 的 dreamfusion）通常需要数小时和 gpu 来生成图像，而 只需要一个 gpu 和一两分钟。
3d 建模用于各种行业和应用程序。现代电影大片、视频游戏、vr 和 ar 的 cgi 效果、nasa 的月球陨石坑测绘任务、google 的遗址保护项目以及 meta 的 metaverse 愿景都取决于 3d 建模功能。然而，创建逼真的 3d 图像仍然是一个耗费资源和时间的过程，尽管 nvidia 致力于自动化对象生成和 epic game 的 realitycapture 移动应用程序，它允许任何拥有 ios 手机的人将现实世界的对象扫描为 3d 图像。
文本到图像系统，如 openai 的 dall-e 2 和 craiyon、deepai、prisma lab 的 lensa 或 huggingface 的 stable diffusion，近年来迅速流行、臭名昭著和声名狼藉。text-to-3d 是该研究的一个分支。与类似系统不同，point-e“利用大量（文本、图像）对语料库，使其能够遵循多样化和复杂的提示，而我们的图像到 3d 模型是在较小的（图像、3d）数据集上训练的对，”由 alex nichol 领导的 openai 研究团队在 point·e 中写道：从复杂提示生成 3d 点云的系统, 上周发布。“为了根据文本提示生成 3d 对象，我们首先使用文本到图像模型对图像进行采样，然后根据采样图像对 3d 对象进行采样。这两个步骤都可以在几秒钟内完成，并且不需要昂贵的优化程序。”
如果您要输入文本提示，比如“一只猫在吃墨西哥卷饼”，point-e 将首先生成该吃墨西哥卷饼的猫的合成视图 3d 渲染。然后，它将通过一系列扩散模型运行生成的图像，以创建初始图像的 3d、rgb 点云——首先生成粗略的 1,024 点云模型，然后生成更精细的 4,096 点云模型。“在实践中，我们假设图像包含来自文本的相关信息，并且没有明确地限制文本上的点云，”研究团队指出。
这些扩散模型分别在“数百万”个 3d 模型上进行训练，所有模型都转换为标准化格式。“虽然我们的方法在这种评估中的表现比最先进的技术差，”该团队承认，“它在一小部分时间内产生了样本。” 如果您想亲自尝试一下，openai 已在 github 上发布了该项目的开源代码。
