【论文笔记】3DOPFormer: 3D Occupancy Perception from Multi-Camera Images with Directional and Distance Enh

【论文笔记】3DOPFormer: 3D Occupancy Perception from Multi-Camera Images with Directional and Distance Enhancement
原文链接：https://ieeexplore.ieee.org/abstract/document/10363646

I. 引言

本文的3DOPFormer使用空间交叉注意力机制和反卷积恢复3D占用，然后基于激光雷达射线方向特征提出优化3D占用感知模型的新方法。使用神经渲染方法合成激光雷达射线方向的距离，通过最小化合成距离与原始点云距离之间的损失，使模型生成精确的占用预测。通过插值可以得到任意3D点的特征，从而预测任意分辨率下的3D场景占用。

III. 方法

A. 准备知识

本节介绍了NeRF的体积渲染公式，见神经辐射场的简单介绍。

在粗糙采样的基础上，还可进行细化采样，即根据粗糙采样的权重分布采样新的点，再将粗糙采样点与细化采样点一起用于计算渲染结果。损失函数为粗糙采样渲染结果光度损失与细化采样渲染结果光度损失的均值。

对于激光雷达距离合成，将上述渲染公式中的RGB值替换为距离即可。由于点的距离是采样得到，需要预测的仅有$\sigma$，因此可改为直接预测不透明度$\alpha$：
$$\begin{gathered} \hat{d}=\sum _{i=1}^N{T}_i{\alpha }_i{t}_i \\ {T}_i=\sum _{j=1}^{i-1}(1-{\alpha }_j) \\ {\alpha }_i=F(x_i) \end{gathered}$$
其中$F$为3D占用感知模型（见后文）。

B. 概述

如上图所示，首先用主干网络提取图像特征，并使用空间注意力提升到3D空间得到$V_i\in {\mathbb{R}}^{H\times W\times Z\times C}$，并使用3D反卷积得到更高分辨率的3D体素特征。最后，使用MLP预测3D占用结果。

C. 3D占用感知查询

定义可学习参数$Q\in {\mathbb{R}}^{H\times W\times Z\times C}$（与初始3D体素$V_i$大小相同）。位于网格$p=(x,y,z)$处的查询为$Q_p\in {\mathbb{R}}^C$。

D. 空间占用交叉注意力

本文使用可变形注意力以减小计算，其中3D体素查询与2D图像特征中的相应区域的特征交互。

首先将查询$Q_p$投影到图像上，采样附近的图像特征，然后按下式得到$V_i$：
$$\begin{gathered} SOCA(Q_p,F)=\frac{1}{|{\mathcal{V}}_{hit}|}\sum _{i\in {\mathcal{V}}_{hit}}DA(Q_p,\mathcal{P}(p,i),F^i) \\ DA(q,p,x)=\sum _{i^{\prime }=1}^{N_{head}}{W}_{i^{\prime }}\sum _{j^{\prime }=1}^{N_{key}}{A}_{i^{\prime }{j}^{\prime }}{W}_{i^{\prime }}^{\prime }x(p+\Delta p_{i^{\prime }{j}^{\prime }}) \end{gathered}$$

其中${\mathcal{V}}_{hit}$为查询所属视图数量，$\mathcal{P}(p,i)$为将点$p$投影到视图$i$上的函数，$F^i$为视图$i$的特征。$N_{head},N_{key}$分别为注意力头数和采样点数，$W_{i^{\prime }}\in {\mathbb{R}}^{C\times (C/N_{head})},W_{i^{\prime }}^{\prime }\in {\mathbb{R}}^{(C/N_{head})\times C}$为权重，$A_{i^{\prime }{j}^{\prime }}\in [0,1]$为预测注意力权重，满足${\sum }_{j^{\prime }=1}^{N_{key}}{A}_{i^{\prime }{j}^{\prime }}=1$。$\Delta p_{i^{\prime }{j}^{\prime }}\in {\mathbb{R}}^2$为预测偏移量。

下面是投影函数$\mathcal{P}(p,i)$的介绍。首先根据体素索引$(x,y,z)$计算查询的真实世界坐标$(x_w,y_w,z_w)$：
$$\begin{gathered} x_w=\frac{x+0.5}{W}(X_{\max }-X_{\min })+X_{\min } \\ {y}_w=\frac{x+0.5}{H}(Y_{\max }-Y_{\min })+Y_{\min } \\ {z}_w=\frac{x+0.5}{Z}(Z_{\max }-Z_{\min })+Z_{\min } \end{gathered}$$

然后使用投影矩阵投影到图像上：
P ( p , i ) = ( x i , y i ) z i [ x i y i 1 1 / z i ] = [ K O O 1 ] [ R T O 1 ] [ x w y w z w 1 ] \mathcal{P}(p,i)=(x_i,y_i)\\ z_i\begin{bmatrix}x_i\\y_i\\1\\1/z_i\end{bmatrix}=\begin{bmatrix}K&O\\O&1\end{bmatrix}\begin{bmatrix}R&T\\O&1\end{bmatrix}\begin{bmatrix}x_w\\y_w\\z_w\\1\end{bmatrix} P(p,i)=(xi​,yi​)zi​ ​xi​yi​11/zi​​ ​=[KO​O1​][RO​T1​] ​xw​yw​zw​1​ ​

其中$K,R,T$分别为相机内参、外参旋转矩阵与外参平移矩阵，$z_i$为深度。

E. 模型优化

除交叉熵损失和lovasz-softmax损失外，还提出基于点云方向特征的方向体素损失和基于神经渲染的距离损失。

1) 方向体素损失

如下左图所示，激光雷达射线会从原点出发，穿过未占用体素（empty颜色）到达占用体素处。记经过的体素编号为1到$m$，则方向体素损失为：
$$\begin{gathered} {\mathcal{L}}_{dirvoxel}=\frac{1}{n}\sum L{1}_{smooth}(m\log p_c+\sum _{i=1}^{m-1}(m-i)\log (1-p_i),0) \\ L{1}_{smooth}(x,y)=\{\begin{array}{cc}0.5(x-y{)}^2& 若|x-y|<1\\ |x-y|-0.5& 否则\end{array} \end{gathered}$$

其中$n$为激光雷达射线数，$p_i$为中间点的预测占用概率，$p_c$为预测所属真实类别的概率。$\log$前的$(m-i)$为权重，射线从原点到激光雷达点的权重逐渐减小。方向体素损失可以促进模型收敛并提高性能。

2) 距离损失

如上右图所示，粗糙阶段将激光雷达射线段均匀分为$N$段进行采样，细化阶段根据粗糙阶段采样点的权重分布，再采样$N$个点。采样点的特征从体素特征中插值，并输入MLP预测不透明度，进行渲染。距离损失为：
$${\mathcal{L}}_{distance}=\frac{1}{2|\mathcal{R}|}\sum (L{1}_{smooth}(\log {\hat{d}}_c,\log d)+L{1}_{smooth}(\log {\hat{d}}_f,\log d))$$

其中$\mathcal{R}$为射线集合。

IV. 实验

C. 评估指标

使用IoU（不考虑类别）和mIoU评估性能。此外还仅针对激光雷达射线穿过的体素进行评估。

D. 主要结果

1) nuScenes数据集上的3D语义占用预测

实验表明，本文的方法与基准方案相比有更高的性能，且在激光雷达射线穿过的体素上的性能优势更明显。

可视化表明，本文的方法能更精确地表达物体的结构，且能成功预测一些远处的物体或小物体。

E. 消融研究

实验表明，本文的方向体素损失和距离损失均能提高模型性能，且前者作用更大。文章来源地址https://www.toymoban.com/news/detail-822414.html

到了这里，关于【论文笔记】3DOPFormer: 3D Occupancy Perception from Multi-Camera Images with Directional and Distance Enh的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！