请选择 进入手机版 | 继续访问电脑版
查看: 1144|回复: 11

经典3D点云重建模型-PointNet

[复制链接]

105

主题

194

帖子

741

积分

版主

Rank: 7Rank: 7Rank: 7

积分
741
若羽AI 发表于 2019-8-12 18:39:54 | 显示全部楼层 |阅读模式
论文:https://arxiv.org/pdf/1612.00593.pdf
CVPR2017大会演讲:http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf
演讲视频:https://www.youtube.com/watch?v=Cge-hot0Oc0
Tensorflow实现:https://github.com/charlesq34/pointnet
Pytorch实现:https://github.com/fxia22/pointnet.pytorch
回复

使用道具 举报

105

主题

194

帖子

741

积分

版主

Rank: 7Rank: 7Rank: 7

积分
741
若羽AI 发表于 2019-8-12 18:55:27 | 显示全部楼层
点云是一种重要的几何数据结构。由于其不规则的格式,大多数研究人员将这些数据转换为常规的三维体素网格或图像集合。然而,这使得数据不必要地庞大,并引起问题。本文设计了一种新型的直接消耗点云的神经网络,很好地尊重了输入点的排列不变性。我们的网络称为切入点网,它为从对象分类、部分分割到场景语义解析的应用程序提供了统一的体系结构。虽然简单,但切入点是高效和有效的。在经验上,它显示出强大的表现标准,甚至比先进水平。理论上,我们为了解网络已经学到了什么以及为什么网络在输入扰动和退化方面具有鲁棒性提供了分析。
回复 支持 反对

使用道具 举报

105

主题

194

帖子

741

积分

版主

Rank: 7Rank: 7Rank: 7

积分
741
若羽AI 发表于 2019-8-12 18:58:15 | 显示全部楼层
为了处理无序输入集,我们的方法的关键是使用单个对称函数的最大池化。网络有效地学习了对应的优化函数/标准,这些函数可以用来表示点云中有趣的或信息丰富的点,并对其进行编码。网络最终通过全连接层将这些学习到的最优值聚合到上面提到的整个形状的全局描述符中(形状分类),或者用于预测每一个点标签(形状分割)。我们的输入格式很容易应用刚性或仿射变换,因为每个点是独立的。因此,我们可以添加一个依赖于数据的空间转换网络,试图在切入点处理数据之前对数据进行规范化,从而进一步提高结果。
回复 支持 反对

使用道具 举报

105

主题

194

帖子

741

积分

版主

Rank: 7Rank: 7Rank: 7

积分
741
若羽AI 发表于 2019-8-12 19:00:03 | 显示全部楼层
常用的四种3D建模表示方法:PointCloud,Mesh, Volumetrix(Voxel体素),Projected View RGBD or Multiview RGB
回复 支持 反对

使用道具 举报

105

主题

194

帖子

741

积分

版主

Rank: 7Rank: 7Rank: 7

积分
741
若羽AI 发表于 2019-8-12 19:01:24 | 显示全部楼层
用Depth Camera和LiDAR采集图像,生成点云,按照卢策吾教授说法,这个idea“大道至简”。
回复 支持 反对

使用道具 举报

105

主题

194

帖子

741

积分

版主

Rank: 7Rank: 7Rank: 7

积分
741
若羽AI 发表于 2019-8-12 19:05:33 | 显示全部楼层
之前大部分PointCloud是手工处理的,喂给神经网络前会做特殊处理(比如体素化或仿射化)Voxelization->3D CNN
Projection/Rendering->2D CNN
Feature extraction->Fully Connected

PointNet实现端到端的学习(发挥你大DL的长处),学习分散的、未经排序的点云数据
回复 支持 反对

使用道具 举报

105

主题

194

帖子

741

积分

版主

Rank: 7Rank: 7Rank: 7

积分
741
若羽AI 发表于 2019-8-12 19:07:21 | 显示全部楼层
PointNet是一种多模态多任务框架,可以用它来干图像识别、语义分割、场景分割。
回复 支持 反对

使用道具 举报

105

主题

194

帖子

741

积分

版主

Rank: 7Rank: 7Rank: 7

积分
741
若羽AI 发表于 2019-8-12 19:13:02 | 显示全部楼层
无序数据处理:N个无序点 points,通过D维向量表征,模型理论上要适应N! permutations。然而,论文提出了一种对称函数(Permutation Invariance):
f (x1, x2 ,…, xn ) ≡ f (xπ1, xπ 2,…, xπ n) xi ∈!D ,
f (x1, x2 ,…, xn ) =γ ! g(h(x1),…,h(xn )) is symmetric if g is symmetric
原生的PointNet就是这样一种g函数。
论文通过实分析的方法证明了:任意Hausdorff连续对称函数可以用PointNet逼近。
进一步,使用multi-layer perceptron (MLP) 和 max pooling 来建模g函数。

回复 支持 反对

使用道具 举报

105

主题

194

帖子

741

积分

版主

Rank: 7Rank: 7Rank: 7

积分
741
若羽AI 发表于 2019-8-12 19:16:32 | 显示全部楼层
适应不同的几何变换,这是如何做到的呢。论文中提出了TransformNet(T-Net)架构。




回复 支持 反对

使用道具 举报

105

主题

194

帖子

741

积分

版主

Rank: 7Rank: 7Rank: 7

积分
741
若羽AI 发表于 2019-8-12 19:17:54 | 显示全部楼层
本帖最后由 若羽AI 于 2019-8-12 19:19 编辑

分类器结构:n*3输入->Input Transformer Network->MLP->Feature Transformer Netwrork(Local Embedding)->MLP->Max Pooling(Global Feature Extraction)->MLP for output scores
回复 支持 反对

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表主题
    741
    积分
    194
    帖子
    105
    主题
快速回复 返回顶部 返回列表