|
今日，苹果公司正式发布题为《sharp monocular view synthesis in less than a second》的学术论文，全面阐述其全新研发的sharp模型的构建思路、训练策略与核心机制。 该模型引入前沿的3D高斯泼溅（3D Gaussian Splatting）技术，摒弃传统依赖体素网格或连续神经辐射场的方式，转而利用空间中密集分布的3D高斯椭球体进行场景建模，从而在保持极高视觉保真度的同时大幅加速渲染流程。
相较于以往方法动辄耗费数分钟乃至数小时完成单帧合成，SHARP将端到端生成耗时压缩至1秒以内，性能跃升达千倍量级，真正实现毫秒级单目图像到3D视图的实时转换。 其训练体系深度融合大规模合成数据集与真实拍摄样本，赋予模型对深度结构与几何关系的强泛化能力。面对任意一张新输入图像，模型仅需一次前向推理，即可同步输出数百万个3D高斯点的空间坐标、尺度、旋转及外观属性，即时构建出完整可渲染的三维场景表示。
在标准评测集上的对比实验表明，SHARP展现出卓越的感知质量：LPIPS误差下降至0.34（相较现有最优方法降低25%），DISTS得分优化至0.43（绝对值减少0.21），印证其在人眼视觉相似性与细节纹理还原方面的双重领先。  造次 Liblib打造的AI原创IP视频创作社区 下载
然而，该方案仍存在固有约束：为兼顾效率与画质，重建结果主要覆盖原始图像视角邻域内的可观测区域，无法对画面中被完全遮挡、缺失或未采集的几何部分进行合理外推，因此当前支持的视角自由度仍局限于初始拍摄位置的小范围偏移。
目前，苹果已将SHARP的全部训练代码、预训练权重及配套工具链开源至GitHub，面向全球研究者与开发者免费开放使用与二次开发。 |
