这一切起源于 WWDC 2019 ,当时苹果发布了 ARKit 3 ,支持人像分割( person segmentation ),相比于过去 AR 内容都只能浮在画面上,支持人像分割之后,AR 体验变得真实很多,这引起了我非常大的兴趣。
ARKit 3 的发布,也引起了很多开发者的关注,不过大多是 Unity 开发。一开始我也准备使用 Unity 来进行开发,不过很快就放弃了。除了实现最核心的效果功能,还有 UI ,内购,录制等等,对于我来说难度太大。但是退回原生,也没有使事情简单很多,我完全没有做过图形渲染相关的开发,开发基本上靠着不停地查资料。经过一段时间的努力,最终还是完成了这个 app 。
CUBE 是一款结合了 ARKit 和 Metal 能力的 app ,可以让你创造出具有实时效果的有趣视频和照片。
当你使用 CUBE 时,你可以
- 实时切换各种效果
- 将效果应用于人像、背景,或者整个画面
- 通过调整多种参数自定义效果
- 捕捉全高清和高比特率视频
在完成了几个平面效果之后,我又尝试把 LiDAR 获取的深度信息也加入进来,完成了 LiDAR 扫描效果。
采样实时图像与 LiDAR 扫描仪生成的深度图,生成 3D 粒子(点云)。
将生成的 3D 粒子与现实世界的场景混合在一起,让你感觉身处超现实世界。
在 CUBE 这个 app 里,我尝试完成了我看到过觉得非常有趣的效果,希望你也能从其中获得乐趣。





可以从这个链接直达 App Store:
https://apps.apple.com/app/cube-%E8%A7%86%E9%A2%91%E7%89%B9%E6%95%88/id1597612606
或者在 App Store 里搜索 CUBE - 视频特效。
App Store 内购限时半价中。( 3 元)
当然如果可以帮我打个五星的话,那会是非常大的帮助。
人像分割( person segmentation )仅支持在 iPhone XR/XS ( A12 ) 及以上机型运行。
LiDAR 扫描仅支持在配备有 LiDAR 扫描仪的机型上运行。