一种新的mask引导深度精化问题

时间：2022-11-09 12:37:11

虽然在使用建议的数据生成方案获得数据对后，使用精确mask进行深度细化看起来很简单，但直接从拼接的RGB-D和mask输入预测细化的深度图会导致次优结果，如图2所示。为了明确受益于精确mask，我们提出了一种分层细化方法，分别细化由和指定的区域，并通过将连个独立的结果合并起来。这样，模型可以集中于校正每个区域中的深度值，并且在合并阶段后可以完全保留mask边界。

这一阶段使用3个损失：、和。因此，网络在统一框架下生成完整的深度图的同时，学会消除干扰。虽然我们只在训练期间使用合成深度图作为输入，但合成中的随机性（用随机的mask去合成随机的深度图）和随机扰动导致了一个鲁棒模型，该模型可以很好地推广到实际深度估计和各种mask。

虽然深度图在许多实际应用中得到了广泛的应用，但从单个RGB图像中获取清晰而准确的深度是一项极具挑战性的任务。在本文中，我们提出了一种新的mask引导深度精化问题，并提出了一种分层精化方法，该方法可以以自监督的方式进行训练。我们的方法可以在定量和定性上显著增强初始深度图。通过与mask引导深度细化基线和现有自动细化方法的比较，我们广泛验证了我们的方法。此外，我们还验证了我们的方法在具有各种mask的真实图像上运行良好，并改进了下游应用的结果。我们相信，我们的方法可以潜在地扩展到其他类型的密集预测，如法线和光流。更多结果见附录。

您好，我粗读了您的《focalclick》论文和这篇回答，有一个点还是没有弄明白，希望您能够回答：文中提到实际进行标注的过程中往往会有事先存在的mask，您们的模型可以在已有掩膜上进行修改。那么，既然您的这篇论文本身就是一个交互式图像分割的“工具”，为什么还要考虑已有掩膜并进行修改的情况呢？您的论文的模型是否可以从0开始进行交互式分割（之前无掩膜）？

常规做法是在微调之后取mask预测的词然后去之前设定好的标签映射字典找到对应预测结果，微调的反向传播会更新模型权重提高mask位置预测词的精准性。这个方法的好处就是在零样本下也可以使用，坏处就是需要找标签映射词稍微麻烦点。

由于我们的方法依赖于高质量的mask进行细化，因此其细化性能受mask质量的限制。尽管有许多自动mask工具可用，但捕获极细粒度的细节可能需要手动操作。此外，当我们的方法沿mask边界细化时，对象内部最初错误的深度值可能会保持不变。

之前的方法太重了：轻量化的标注工具不希望用又慢又大的模型，如果标注人员达到一定规模。不可能给每个标注员配GPU。之前的方法没有兼容性：由于每次需要将所有的点击作为输入，对mask的每个像素进行新的预测，之前的方法根本不能和其他工具配合。举个例子，对人像进行精细分割标注时，头发的细节需要用matting工具或者手工标注。当切换到别的工具标好了头发后，就无法切回交互式分割工具了。因为一旦用交互式分割工具打一个点，之前标好的头发区域也会被完全重新预测，相当于白标。同理，之前的方法也不能在已有的略带瑕疵的掩膜上进行修改。

标签：mask