基于置信度融合的多视角深度神经网络结构及估计方法解析

hwyzw

    本发明的专利技术涉及基于基于自信的融合的神经网络结构和估算方法的多个广播深度。为了应对多个观察深度估计任务中置信度的问题和较低的信心，基于置信度的融合基于基于置信度的融合。多 - 观点深度估计方法和网络。包括4个尺度的特征提取网络和四个级别的深度采样模块。充分利用训练优势在多回合训练过程中，提出相邻领域的平均合并策略，并结合CL组合损耗函数，从而显着提高了目标视角深度估计的完整性和准确性。

    所有详细的技术信息下载

    [技术实施步骤摘要]

    该专利技术属于机器学习。计算机视觉领域中的三维重建技术涉及基于基于自信的多种镜面深度的神经网络结构和估算方法。

    技术简介

    1。近年来，随着机器学习和人工智能的快速发展，与计算机视觉相关的相关技术取得了重大结果。  3D重建技术是最具代表性的技术。据估计，基于视觉三维重建技术，多角度的深度估计是最关键的技术点。由于方便的数据获取和低成本的优势，多广场深度估计技术被广泛用于智能驾驶，虚拟现实，古老的建筑恢复和其他场景，成为人工智能感知和分析现实世界的关键方法之一。

    2。从所采用的方法中，可以将多个观点深度估计技术分为几何模型和学习模型。基于几何模型，参考角度的深度图是通过随机初始化，光学一致性计算和迭代通信优化获得的。它的解释性更高，但是很难处理重复的纹理，反射区域和低纹理区域。学习模型基于数据集的构建，设计和训练神经网络模型，然后基于从培训获得的培训的参考角度图的深度图是基于培训。由于深度神经网络可以适应更多的图像领域和更复杂的纹理关系，因此基于学习的学习模型可以显着提高深度估计图的准确性和完整性。

    3。尽管学习模型具有重要的优势，但从深入估计的角度来看，仍然存在一些困难的挑战。首先，实际的多视图深度估计数据集通常是从单个时间间隔收集的单个摄像头。由于对象移动以及灯光和阴影变换等问题，数据集本身会有更多的噪声。该模型是培训的培训。在后来，它在各种近似解决方案之间振荡。其次，基于分类损失作为主流的多尺度多范围的多镜深度估计模型，作为主流的性能提高了性能。在视角上，深度置信度的现象均匀地划分为角度的透视。原始估计的准确的深光面积对规律性缺乏信心。

    技术实施

    1。要解决的技术问题

    2。为了避免现有技术的缺点，该专利技术提出了一种基于多个保密性深度的神经网络结构和估算方法，以解决学习多尺度和多尺度和多种性深度深度估计方法的存在基于学习。诸如置信度振荡和缺乏信心之类的问题已显着提高了多方面深度估计的完整性和准确性。

    3。技术解决方案

    4。基于自信集成的多个观点深度估计方法，其特征在于以下步骤：

    5。步骤1：在同一场景中使n位同一场景的n观看角度，并从n视角{i1，i2，...，in}中获取RGB图像。参数和整个场景的稀疏点云，稀疏点云包含k三维点；

    6。选择一个RGB图像作为参考图。计算参考图和其他透视图像之间的总体信任值GJ。与的可信值相比，将参考图比较了GJ，K Plus线束：

    7。

    8。GJ是JJ图像和参考图之间的总体信任值。

    9。根据从大到小的GJ值选择M图像作为源图；

    10。步骤2：参考图和M源图用于提取具有4个尺度特征的4个尺度特征，以获得参考图的深度特征集和M源图F = {fr，f1，... FM};

    11。每个深度功能集都包含4个尺度的深度特征：

    12。

    13。不同规模的深度特征的大小：

    14。

    15。其中，s表示量表数，CS表示当前量表的通道数。

   

    16。步骤3：根据比例1，根据参考框架的内部和外部参数的相对位置以及所选参考框架生成的稀疏云，计算场景的深度范围D0 = [DMIN，DMAX]。云中所有点的相对参考图和最远的距离；

    17。然后，将D0分为16个相同的间隔，每个间隔的中点用作比例2至比例4的初始采样的深度值，并且先前刻度产生的深度值在中间进行采样。每个量表的值，每个量表的深度范围都得到满足：

    18。

    19。类似于比例尺1的生成方法，DS分为16个相同的间隔，每个间隔的中点用作当前量表的深度值

    20。步骤4：对于每个刻度s，在步骤2中获得的M s -中获得的s尺度的每个深度特征都会通过单个响应矩阵H的转换进行转换，并投影到由16个深度采样中。步骤3。，投影后获得深度功能

    21。

    22。h = [-1K-1KITI-KIRIR-1T] 3×4

    23。其中K，R和T分别表示参考图的内部参考矩阵和旋转矩阵； Ki，ri和Ti分别表示第一个源图的内部参考矩阵和旋转矩阵；

    24。步骤5：通过步骤4的投影转换，M 图的深度特征投影在16个采样深度中，投影后的深度L表示深度采样的序列数。在相同的像素位置，投影后M 图的M 图，参考图的深度特征和深度特征是在没有非方差异融合的情况下执行的。

    25。

    26。其中，

    27.步骤6：将成本主体输入深度偏置的正规化网络，输出概率主体，然后沿深度维度，概率主体的邻域平均池，即对于每个像素位置，每个像素的每个深度，每个像素的深度像素位置。概率值，两个方向上两个方向的两个深度值中5个深度值的平均值用作当前像素当前深度的当前概率。深度值是当前像素的深度，最大概率是当前估计值的可信度。

    28。步骤7：从比例1到4，循环执行步骤3到步骤6，刻度4输出的深度图是参考图像的初步深度估计图，与像素大小一致；

    29。步骤8：节省第15轮第11回合的深度输出。对于每个像素的深度值，从11回合开始，更新概率值小于小像素值的深度当前旋转深度估计。值，更新过程如下：

    30。

    31。

    32。其中E代表当前的训练回合，P和D代表深度值和可行性；更新所有回合后的深度值是参考图的最终深度值。

    33。可靠的值GJ，K：

    34。

    35。其中，θk表示第一个云与参考图与稀疏点云中的图像j之间的角度。 θ0分别分别指定实验超级参数。

    36.实验性超级参数θ0分别在实验中设置为5、1和100。

    37。当前量表CS的通道数设置为实验中的量表1到比例4的64、32、16和8。

    38。基于基于置信的融合的多角度深度估计方法的神经网络结构，其特征在于4级特征提取网络和四个级别的深度采样模块； 4-网络输出端的特征提取分别连接初始连接的初始连接，分别是深度采样模块的输入端子和三个级别的深度重新采样模块；深度采样模块和三个级别的深度重新采样模块的特征是特征融合和成本的物体产生模块连接。作为模块的输出；每个级别的邻域平均池化模块的输出连接了下一个级别输入端的特征融合和成本体内生成模块；初始深度采样模块的输入终端和三个级别的深度重新采样模块，采样模块的第三级深度的输出端获得了多视图深度估计数据；其中f1 = {f1r，f11，...，f1m}输入到初始深度到初始深度采样模块，f2 = {f2r，f21，···，f2m}输入到第一个 - 级别的深度re--初始深度采样模块的采样模块数据融合，f3 = {f3r，f31，...，f

    【技术保护点】

   

    1。基于自信集成的多镜头深度估计方法，其特征在于以下步骤：

    2。基于权利要求1，基于基于置信的融合的多观点深度估计方法，其特征是：可靠的值GJ，K：：

    3。基于权利要求2，基于基于置信的融合的多观点深度估计方法的特征是：实验超级参数θ0，实验分别设置为5、1和100。

    4。基于权利要求1，基于基于置信的融合的多观点深度估计方法，其特征是：当前比例CS CS的通道数设置为64、32、16和8。实验中的量表4。本质

    5。用于权利要求1-2或4的神经网络结构，基于基于置信的收敛的多个观察深度估计方法的特征是4尺度特征提取网络和四个级别的深度采样模块； 4 -scale特征特征特征提取网络的输出端连接到初始深度采样模块的输入端子和三个级别的深度重新采样模块；深度采样模块和三个级别的深度重新采样模块的特征是特征融合和成本机体生成模块连接的特征。将邻域平均池模块作为模块的输出连接；邻域平均池模块的每个级别的输出端连接到下一个级别输入端和成本体内生成模块的特征融合；四个刻度特征，分别输入到初始深度采样模块的输入端子和采样模块的三个级别深度。 ·f1m}输入到初始深度采样模块，f2 = {f2r，f21，...，...，f2m}输入到初始深度采样模块上初始深度采样模块的数据融合，f3 = {f3r，f31，f31，f31， ································模块，f4 = {f4r，f41，... f4m}输入到采样模块的第三级深度到第一个级别的第一个级别。次级深度采样模块输出的数据融合。

    6。根据权利要求5的神经网络结构的特征是：4尺度特征提取网络是一个或平行的4-尺度特征提取网络作为参考图和M源图系列提取或平行提取提取提取提取提取提取提取提取功能提取网络。

    7。根据权利要求5的神经网络结构的特征是：4尺度特征提取网络使用F4N特征提取网络。

    8。根据权利要求5的神经网络结构的特征是：价格的标准化网络是使用深偏执的3D卷积神经网络。

    9。根据权利要求5所述的神经网络结构的特征是：初始深度采样模块，第二级深度重新采样模块，第三级深度采样模块和第四级深度re -模块获得了获得深度值用作四个尺度的特征映射空间。

    10。根据权利要求5的神经网络结构的特征是参考图的深度图产生。每个像素之前和之后的深度维度的每个像素的概率是平均值。

    [技术功能摘要]

    1。基于自信集成的多镜头深度估计方法，其特征在于以下步骤：

    2。基于权利要求1，基于基于置信的融合的多观点深度估计方法，其特征是：可靠的值GJ，K：：

    3。基于权利要求2，基于基于置信的融合的多观点深度估计方法的特征是：实验超级参数θ0，实验分别设置为5、1和100。

    4。基于权利要求1，基于基于置信的融合的多观点深度估计方法，其特征是：当前比例CS CS的通道数设置为64、32、16和8。实验中的量表4。本质

    5。用于权利要求1-2或4的神经网络结构，基于基于置信的收敛的多个观察深度估计方法的特征是4尺度特征提取网络和四个级别的深度采样模块； 4 -scale特征特征特征提取网络的输出端连接到初始深度采样模块的输入端子和三个级别的深度重新采样模块；深度采样模块和三个级别的深度重新采样模块的特征是特征融合和成本机体生成模块连接的特征。将邻域平均池模块作为模块的输出连接；邻域平均池模块每个级别的输出端连接到下一个级别输入端和成本体内生成模块的特征融合；四个刻度特征，分别输入到初始深度采样模块的输入端子和采样模块的三个级别深度。 ·f1m}输入到初始深度采样模块，f ...

    【获得专利的技术特性】

    技术研发工作人员：王齐，马新，李，

    申请（专利权）：西北技术大学，

    类型：发明

    国家省和城市：

    所有详细的技术信息下载我是该专利的所有者