图像处理的transformer系列,图像处理介绍

为什么说Transformer的注意力机制是相对廉价的?注意力机制相对更对于RN...

被动注意——基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关；可以将max-pooling和门控（gating）机制来近似地看作是自下而上的基于显著性的注意力机制。

接着attention机制被广泛应用在基于RNN/CNN等神经网络模型的各种NLP任务中。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attention）机制来学习文本表示。

因为注意力模型不像RNN那样无视了各输入之间的距离，因此是无法捕捉到序列顺序信息的，例如将K、V按行进行打乱，Attention之后的结果是一样的。

注意力稳定性不够的话就会出现注意游离，老师上课讲的内容没有完整连贯地听进去，继而感到更加无聊。所以就会出现一些小动作、发呆的外在表现。

因此，基于注意力的模型会使用位置编码和基于距离的注意力偏置权重。 本文提出一种高效方法，将相对位置表示纳入到变换器的自注意力机制中。我们实验证明，在两个机器翻译任务中，即使用相对位置完全替换绝对位置编码，翻译质量都会显著提高。

Attention机制 **Attention： **Attention机制的中文名叫“注意力机制”，顾名思义，它的主要作用是让神经网络把“注意力”放在一部分输入上，即：区分输入的不同部分对输出的影响。

高性能计算的transformer和CNN的区别是什么?

1、总的来说，CNN家族的算法更适合处理有局限性的数据，而Transformer家族的算法更适合处理更加复杂的数据。

2、Transformer优点：（1）突破了RNN模型不能并行计算的限制。（2）相比CNN，计算两个位置之间的关联所需要的操作次数不会随着距离的增长而增加。

3、Transformer 理论上比CNN能得到更好的模型表现，但是因为计算全局注意力导致巨大的计算损失，特别是在浅层网络中，特征图越大，计算复杂度越高，因此一些方法提出将Transformer插入到CNN主干网络中，或者使用一个Transformer模块替代某一个卷积模块。

4、sub-layer-3：Encoder-Decoder attention计算。

5、个人来看， 从深度 CNN 网络中借鉴而来的 FFN（全连接层） 可能更加重要。 事实上 18 年 ACL [2] 有人做过实验，把 Transformer 里的 Self-Attention 换成 RNN 和 CNN，发现其实性能几乎没降多少。

6、并且，在大规模数据集上预训练好的模型，迁移到中等数据集或小数据集任务时，也能取得比 CNN 更优的性能。

图像处理之_傅立叶变换

1、傅里叶逆变换，是傅里叶变换的逆操作，将频谱图像转换为原始图像的过程。通过傅里叶变换将转换为频谱图，并对高频（边界）和低频（细节）部分进行处理，接着需要通过傅里叶逆变换恢复为原始效果图。

2、傅里叶变换是将时域信号分解为不同频率的正弦信号或余弦函数叠加之和。连续情况下要求原始信号在一个周期内满足绝对可积条件。离散情况下，傅里叶变换一定存在。

3、首先来看一张很厉害的一维傅里叶变换动图。它把时域和频域解释的很清楚！简单点说就是：所有的波都可以用 很多个正弦波叠加表示 。然而这些波又可以通过 频率 、 幅值 和 相位 来表示。

4、跟一维信号处理一样，傅里叶变化，把图像从“空域”变为“频率”。对于一幅图像，高频部分代表了图像的细节、纹理信息；低频部分代表了图像的轮廓信息。

5、傅立叶变换傅里叶变换是将时域信号分解为不同频率的正弦信号或余弦函数叠加之和。连续情况下要求原始信号在一个周期内满足绝对可积条件。离散情况下，傅里叶变换一定存在。

标签：图像处理transformer系列介绍