FLatten Transformer: Vision Transformer using Focused Linear Attention

Key info
use linear attention to reducce time comsumption in cv
Tags
transformer
cv
论文阅读
  1. 导致线性注意力性能下降的因素分析
    1. 集中注意力能力
    2. 特征多样性
  1. 对缺陷的克服:
    1. mapping function
    2. rank resoration module