Introduction

ReAct: Out-of-distribution Detection With Rectified Activations

link: https://arxiv.org/pdf/2111.12797.pdf

github: https://github.com/deeplearning-wisc/react

conference: 2021 nips

keyword: Out-of-distribution (OOD) detection, activation truncation，

Contribution

• OOD和IID数据在ResNet-50倒数第二层的激活参数具有不同的分布：不同的均值和方差
• 根据这个观察提出在模型的倒数激活参数里activation truncation，小于某个范围的是IID数据，大于的则是OOD数据。

Method

Activation reduction

c是基于p-th ，如果p=90%，表示该数大于90%的IIDactivation的参数

Output reduction