目前霸榜第一，99.56%，一秒31.34张图片。

1概括

通过比较输入样本与内存池中的内存样本的异同，对异常区域进行有效猜测；在推理阶段，MemSeg直接以端到端的方式确定输入图像的异常区域。通过实验验证，MemSeg在MVTec AD数据集上实现了最先进的(SOTA)性能，图像级和像素级的AUC得分分别为99.56%和98.84%。此外，MemSeg得益于端到端、直截了当（straightforward）网络结构，在推理速度上也有明显优势，更好地满足工业场景的实时性要求。

2

 背景

同时，从共性的角度，MemSeg引入了一个内存池来记录正常样本的一般模式。在模型的训练和推理阶段，比较输入样本和记忆池中记忆样本的异同，为异常区域的定位提供更有效的信息。此外，为了更有效地协调来自内存池的信息和输入图像，MemSeg引入了多尺度特征融合模块和新颖的空间注意力模块，大大提高了模型的性能。

3

 新框架分析

1. 二维柏林噪声P二值化后生成Mp，正常图I二值化后生成MI，二者结合生成M，这种处理是为了让生成的异常图与真实异常图相似。

2. 利用公式做正常图和M的融合使接近真实异常图：

1. 将M反转（黑变白，白变黑），与I做元素积，与I'做元素和，生成IA。

通过上述异常模拟策略，从纹理和结构两个角度获取模拟异常样本，并且大部分异常区域都生成在目标前景上，最大限度地提高了模拟异常样本与真实异常样本的相似度。

Memory Module

选N个正常图经ResNet作为存储的信息，冻结ResNet的block1/2/3的参数保证高维特征与记忆信息统一，其余部分仍可训练。训练及推理阶段，通过下公式比较距离：

N个存储信息中，每个包括块1/2/3生成的三张特征图，将输入的三张特征图与N中所有的三个特征图比较找出距离最小的N中的三张特征图。将输入的三张特征图与和其距离最小的三张特征图连接形成CI。后经多尺度特征融合块，经U-Net跳跃连接进入****。

Spatial Attention Maps

涉及到空间注意力块，由下公式为三个特征图增加权重，降低特征冗余：

Multi-Scale Feature Fusion Module

考虑到它是通道维度上两种信息的串联，并且来自编码器的不同位置，具有不同的语义信息和视觉信息，因此使用通道注意力CA-Block和多尺度策略进行特征融合。

Training Constraints（训练损失）

L1损失和focal损失。L1比L2保留更多边缘信息，focal缓解样本不平衡问题，使模型专注于分割本身而不是样本的情况。

4

 实验及可视化

可视化：

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们