图神经网络：(处理点云)PointNet++的实现-Toy模板网

这篇具有很好参考价值的文章主要介绍了图神经网络：(处理点云)PointNet++的实现。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

文章说明：
1)参考资料：PYG的文档。文档超链。
2)博主水平不高，如有错误，还望批评指正。
3)我在百度网盘上传这篇文章jupyter notebook以及有关文献。提取码8848。

简单前置工作学习

一个简单分类任务。具体如下：
导库以及下载数据

from torch_geometric.datasets import GeometricShapes

dataset=GeometricShapes(root='C:/Users/19216/Desktop/project/project1/3D_Cloud/PointNet++/GeometricShapes')

PS1:这段代码会在C盘生成一个DATA的文件并将数据集放在DATA之中，有强迫症注意一下。
PS2:就是几何图形网格。细节可以点击这里。
导库以及定义函数

import matplotlib.pyplot as plt

def visualize_mesh(pos,face):
    fig=plt.figure()
    ax=fig.add_subplot(111,projection='3d')
    ax.axes.xaxis.set_ticklabels([])
    ax.axes.yaxis.set_ticklabels([])
    ax.axes.zaxis.set_ticklabels([])
    ax.plot_trisurf(pos[:,0],pos[:,1],pos[:,2],triangles=face.t(),antialiased=False)
    plt.show()

打印信息可视数据

print(dataset)
data=dataset[0]
print(data)
visualize_mesh(data.pos,data.face)
data=dataset[4]
print(data)
visualize_mesh(data.pos,data.face)

jupyter notebook内输出如下
图神经网络：(处理点云)PointNet++的实现
导库以及定义函数

from torch_geometric.transforms import SamplePoints
import torch

def visualize_points(pos,edge_index=None,index=None):
    fig=plt.figure(figsize=(4, 4))
    if edge_index is not None:
        for (src,dst) in edge_index.t().tolist():
            src=pos[src].tolist()
            dst=pos[dst].tolist()
            plt.plot([src[0],dst[0]],[src[1],dst[1]],linewidth=1,color='black')
    if index is None:
        plt.scatter(pos[:,0],pos[:,1],s=50,zorder=1000)
    else:
       mask=torch.zeros(pos.size(0),dtype=torch.bool)
       mask[index]=True
       plt.scatter(pos[~mask,0],pos[~mask,1],s=50,color='lightgray',zorder=1000)
       plt.scatter(pos[mask,0],pos[mask,1],s=50,zorder=1000)
    plt.axis('off')
    plt.show()

均匀采样

dataset.transform=SamplePoints(num=256)

PS：为什么要均与采样？？因为文章的标题为处理点云，但是实际这里的数据为网格。
打印信息数据可视

data=dataset[0]
print(data)
visualize_points(data.pos)
data=dataset[4]
print(data)
visualize_points(data.pos)

jupyter notebook内输出如下
图神经网络：(处理点云)PointNet++的实现

文献阅读

参考文献： PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

文章概述： “Deep learning on point sets for 3d classification and segmentation”是参考文献之前前沿工作，核心思想对每个点空间编码然后聚合所有单点要素到全局的空间。显然这样无法捕捉局部特征。受到卷积神经网络启发，这里参考文献便就来了。具体步骤：首先，全局空间划分多个局部空间；然后，提取局部空间特征。如何解决这个首先：很多方法，原文是Farthest Point Sampling，FPS。如何解决这个然后：上面那篇文献的PointNet。

分层的点云学习器： Sampling layer： Farthest Point Sampling，FPS。如果网上没有FPS的有关信息，直接去看原文就好。挺简单的。它是递推式的采样。PS：注意一下KNN与Ball Query的区别。Grouping layer： 输入： $\times (d+C)$ 以及 $N'\times d$ ；输出： $\times K \times (d + C)$ 。符号说明： $N$ 是点的数量， $d$ 是质心坐标， $C$ 是点的特征维数， $N^{'}$ 是质心数量， $K$ 是邻域内点数量。Point Net layer： 输入： $\times K \times (d + C)$ 输出： $\times (d + C')$ 。这个图挺好的。
图神经网络：(处理点云)PointNet++的实现
导库

from torch_cluster import knn_graph

打印信息可视数据

data=dataset[0]
data.edge_index=knn_graph(data.pos,k=6)
print(data.edge_index.shape)
visualize_points(data.pos,edge_index=data.edge_index)
data=dataset[4]
data.edge_index=knn_graph(data.pos,k=6)
print(data.edge_index.shape)
visualize_points(data.pos,edge_index=data.edge_index)

jupyter notebook内输出如下
图神经网络：(处理点云)PointNet++的实现

PointNet++的实现

PointNet使用如下的数学公式： $h_i^{(l)}=\max\limits_{j\in \mathcal{N}_i}MLP(h_i^{(l-1)},p_j^{(l-1)}-p_i^{(l-1)})$ 。
搭建模型

from torch_geometric.nn import MessagePassing
from torch.nn import Sequential,Linear,ReLU

class PointNetLayer(MessagePassing):

    def __init__(self,in_channels,out_channels):
        super().__init__(aggr='max')
        self.mlp=Sequential(Linear(in_channels+3,out_channels),ReLU(),Linear(out_channels,out_channels))
        
    def forward(self,h,pos,edge_index):
        return self.propagate(edge_index,h=h,pos=pos)
    
    def message(self,h_j,pos_j,pos_i):
        input=pos_j-pos_i
        if h_j is not None:
            input=torch.cat([h_j,input],dim=-1)
        return self.mlp(input)

from torch_geometric.nn import global_max_pool

class PointNet(torch.nn.Module):

    def __init__(self):
        super().__init__()
        self.conv1=PointNetLayer(3,32)
        self.conv2=PointNetLayer(32,32)
        self.classifier=Linear(32,dataset.num_classes)
        
    def forward(self,pos,batch):
        edge_index=knn_graph(pos,k=16,batch=batch,loop=True)
        h=self.conv1(h=pos,pos=pos,edge_index=edge_index)
        h=h.relu()
        h=self.conv2(h=h,pos=pos,edge_index=edge_index)
        h=h.relu()
        h=global_max_pool(h,batch)
        return self.classifier(h)

model=PointNet()
print(model)
#输出如下
#PointNet(
#  (conv1): PointNetLayer()
#  (conv2): PointNetLayer()
#  (classifier): Linear(in_features=32, out_features=40, bias=True)
#)

下载数据训测拆分

from torch_geometric.loader import DataLoader

train_dataset=GeometricShapes(root='C:/Users/19216/Desktop/project/project1/3D_Cloud/PointNet++/GeometricShapes',train=True,transform=SamplePoints(128))
test_dataset=GeometricShapes(root='C:/Users/19216/Desktop/project/project1/3D_Cloud/PointNet++/GeometricShapes',train=False,transform=SamplePoints(128))
train_loader=DataLoader(train_dataset,batch_size=10)
test_loader=DataLoader(test_dataset,batch_size=10)

进行实验

optimizer=torch.optim.Adam(model.parameters(),lr=0.01);criterion=torch.nn.CrossEntropyLoss()

def train(model,optimizer,loader):
    model.train()
    total_loss=0
    for data in loader:
        optimizer.zero_grad()
        logits=model(data.pos,data.batch)
        loss=criterion(logits,data.y)
        loss.backward()
        optimizer.step()
        total_loss+=loss.item()*data.num_graphs
    return total_loss/len(loader.dataset)

def test(model,loader):
    model.eval()
    total_correct=0
    for data in loader:
        logits=model(data.pos,data.batch)
        pred=logits.argmax(dim=-1)
        total_correct+=int((pred==data.y).sum())
    return total_correct/len(loader.dataset)

for epoch in range(1,51):
    loss=train(model,optimizer,train_loader)
    test_acc=test(model,test_loader)
    print(f'Epoch: {epoch:02d}, Loss: {loss:.4f}, Test Accuracy: {test_acc:.4f}')
#输出如下(这里只有最后一次)：
#Epoch: 50, Loss: 0.7294, Test Accuracy: 0.8250

模型问题

出现问题： 可以按照如下方式进行实验，发现模型无法应对刚性变换。

from torch_geometric.transforms import Compose,RandomRotate
random_rotate=Compose([
    RandomRotate(degrees=180,axis=0),
    RandomRotate(degrees=180,axis=1),
    RandomRotate(degrees=180,axis=2),
])
dataset=GeometricShapes(root='C:/Users/19216/Desktop/project/project1/3D_Cloud/PointNet++/GeometricShapes',transform=random_rotate)
data=dataset[0]
print(data)
visualize_mesh(data.pos,data.face)
data=dataset[4]
print(data)
visualize_mesh(data.pos,data.face)

jupyter notebook内输出如下
图神经网络：(处理点云)PointNet++的实现

transform=Compose([
    random_rotate,
    SamplePoints(num=128),
])
test_dataset=GeometricShapes(root='C:/Users/19216/Desktop/project/project1/3D_Cloud/PointNet++/GeometricShapes',train=False,transform=transform)
test_loader=DataLoader(test_dataset,batch_size=10)
test_acc=test(model,test_loader)
print(f'Test Accuracy: {test_acc:.4f}')
#输出如下：
#Test Accuracy: 0.2000

print(len(test_dataset))
#输出如下：
#40

可以看到，模型效果，很不好了。下篇文章进行解决。下文超链。文章来源地址https://www.toymoban.com/news/detail-451259.html

到了这里，关于图神经网络：(处理点云)PointNet++的实现的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

图神经网络：(处理点云)PointNet++的实现

简单前置工作学习

文献阅读

PointNet++的实现

模型问题

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

支付宝扫一扫领取红包，优惠每天领

二维码1

二维码2