比标准Attention快197倍！Meta推出多头注意力机制“九头蛇”

虽然《变形金刚》已经开始在很多视觉任务中大显身手，但是还有一个问题。

也就是说，在处理大图像时很难计算。

例如，当面对一个1080p的图时，其60%以上的计算都花在创建和应用注意力矩阵上。

主要是因为自我关注头数是令牌的平方，令牌数与图的大小成二次关系。

那我能做什么。

好消息是—

现在Meta想出了一个多焦点的操作方法，可以比标准注意力整整快197倍！

而且在提高计算速度的同时，不会牺牲精度，有时甚至可以提高1—2分的精度。

这是怎么回事。

这种方法叫九头蛇注意力，主要是针对视觉转换者。

九头蛇注意力的想法源于线性注意力中一个有点矛盾的点:

使用标准的多头自关注，在模型中增加更多的头可以保持计算量不变。

但是在线性注意中改变操作顺序后，增加更多的头部实际上会降低层的计算成本。

具体来说:

当标准的自我注意头是令牌数的平方时)，通过使用可分解核，我们重新排列操作顺序，使得注意头的数量成为特征d的平方。

然后用九头蛇绝招最大化注意力头数H，使H=D，最后可以化为时空上的O简化运算。

其中九头蛇绝招的基础如下图所示:

前者在Hgt96.后者在Hlt3，内存不足。

当他们在模型中加入更多的头部时，Softmax注意力模型的准确性似乎崩溃了，而多头线性注意力仍然可以保持一致，于是就有了上面的操作。

速度快了197倍，精度还可以更高。

我们来看看九头蛇关注交出的成绩单。

如你所见，九头蛇的注意力比标准注意力快197倍。

伴随着图像大小的增加，显著增加了模型的翻牌数，创建和应用注意矩阵的计算量仅为0.02%。

或者用Hydra Attention替换某个特定的注意力层，也可以在ImageNet上提高模型1%的准确率或者保持与基线相同。

当然，最多可以更换8层。

该成果已入选ECCV 2022研讨会。

其中，有3名中国人，分别是:

傅成阳毕业于清华大学，在北卡罗来纳大学教堂山分校获得硕士和博士学位，现在是元计算机视觉的研究科学家。

戴，毕业于北京大学学士学位和普林斯顿大学博士学位，曾就职于Meta公司。

张培昭，本硕，毕业于中山大学，美国得克萨斯州Aamp博士，m大学，在Meta工作了五年。

论文地址:

涉及