金
发布于 2025-12-12 / 12 阅读
0
0

苹果SHARP模型:一张照片秒变3D场景

苹果SHARP模型:一张照片秒变3D场景

如果有一天,你拍了一张照片,不仅能看,还能“走进去”从不同角度欣赏,是不是感觉像拥有了魔法?别怀疑,苹果公司最新开源的AI模型——SHARP,就让这个魔法成为了现实。

今天,我就带大家从零开始,亲手实践这个号称“一秒内将2D照片转3D”的黑科技。

这是我的高斯画廊,请参考:

http://frp.yolin.xyz:7004

一、SHARP是何方神圣?

SHARP(全称:Sharp Monocular View Synthesis in Less Than a Second)是苹果公司在2025年底开源的一款革命性模型。它的核心能力极其“简单粗暴”:你给它一张普通的2D照片,它能在不到1秒的时间里,还给你一个由120万个3D高斯点构成的立体场景。

你可以用鼠标拖拽这个场景,从各个角度观察它。相比之前那些需要多张照片、计算好几十分钟的老方法,SHARP直接把3D重建的速度拉进了“秒时代”,比现有技术快了整整1000倍。

二、准备工作:搭建你的“魔法工坊”

想玩这个模型,不需要苹果电脑,有一块**NVIDIA显卡(CUDA支持)**的电脑就行。整个搭建过程非常简单,我们只需要三步:

第一步:拉取代码
打开终端,把项目克隆到本地,并进入目录:

bash

git clone https://github.com/apple/ml-sharp
cd ml-sharp

第二步:搭建环境(推荐)
官方推荐使用 Python 3.13,我们创建一个干净的环境:

bash

conda create -n sharp python=3.13 -y
conda activate sharp

第三步:安装依赖
直接通过 pip 一键安装所需库:

bash

pip install -r requirements.txt

最后输入 sharp --help,如果能看到帮助信息,说明安装大功告成!

三、ComfyUI-Sharp实现

一、ComfyUI-Sharp是什么?

ComfyUI-Sharp是由开发者PozzettiAndrea封装的一套ComfyUI自定义节点,专门用于将SHARP模型集成到ComfyUI环境中。它包含三个核心节点:

  1. Load SHARP Model:加载并缓存SHARP模型
  2. SHARP Predict (Image to PLY):将2D图像转换为3D高斯泼溅点云
  3. Load Image with EXIF:加载图像并自动提取EXIF中的焦距信息

有了这套节点,你不需要敲一行命令,只需要像搭积木一样连接节点,就能在ComfyUI里实现“一张照片秒变3D”。

二、安装教程

方法一:通过ComfyUI Manager安装(推荐)

  1. 点击ComfyUI界面中的“Manager”按钮
  2. 选择“Custom Nodes Manager”
  3. 在搜索框中输入 ComfyUI-Sharp
  4. 点击安装,然后重启ComfyUI

方法二:手动安装

bash

cd ComfyUI/custom_nodes
git clone https://github.com/PozzettiAndrea/ComfyUI-Sharp

三、节点详解与参数说明

1. Load SHARP Model节点

这个节点负责加载SHARP模型,有两个核心参数:

参数 说明 默认值
device 运行设备,可选auto/cuda/mps/cpu auto
checkpoint_path 自定义模型路径(留空则自动下载)

小贴士:第一次使用时模型会自动从Hugging Face下载,会花一点时间。如果网络不好,也可以手动下载后通过 checkpoint_path指定路径。

2. SHARP Predict节点

这是核心生成节点,负责将图像转为3D高斯点云:

参数 说明 默认值
model 来自Load SHARP Model的模型输出 必填
image 输入图像(Tensor格式) 必填
focal_length_mm 相机焦距(毫米),影响深度感知 0.0
output_prefix 输出文件前缀 "sharp"

输出:生成的3D高斯点云数据,可直接用于后续的可视化或导出

3. Load Image with EXIF节点

这个节点会在加载图像时自动读取EXIF信息中的焦距参数,并传递给Predict节点,让3D重建更准确。


评论