transformer损失函数,hinge 损失函数

层次化透明度传播

1、为了实现在一个高分辨率层级上对输入图像的透明度的传播，我们提出了一个全新的、层次化的透明度传播结构，其中神经网络可以看做是多层的、有不同图的图卷积网络[22]，透明度可以在每两个像素之间传播。

2、超链接：超链接使用户在文本中自由跳转位置，把不同的文本形成有机整体。多媒体化：网络中文本与多媒体相结合，使文本更加立体化。动态化：网络中文本可以动态生成。

3、网络新闻是以层次化、网络化的方式联系在一起的。网站发布网络新闻时，常常不是一次性的和盘托出，而是在不同的层次中逐渐展示出完整的内容。

4、在阅读时读者是通过点击超链接获得下一个层次的信息。

5、金鱼缸是玻璃做的，透明度很高，不论从哪个角度观察，里面的情况都一清二楚。“金鱼缸效应”也可以说是“透明效应”。它是一种比喻，也就是极高透明度的民主管理模式。

6、根据现代传播观念和传播学的内容，一般说来，这种传播活动可分为三个层次，即知晓层次、态度层次和行为层次。

你有哪些炼丹神器深度学习(rnn、cnn)调参的经验?

优化方法：SGD+Momentum 效果往往可以胜过adam等，虽然adam收敛更快，据说初始几轮momentum设置的小一点会更好，这点待验证。

深度学习（Deep Learning）是机器学习的一个子类，一般特指学习高层数的网络结构。这个结构中通常会结合线性和非线性的关系。Deep Learning 也会分各种不同的模型，比如 CNN， RNN， DBN...他们的解法也会不同。

我们不仅要fasttext来兜底，我们还需要TextCNN（卷积来学习局部的n-gram特征）、RNN（文本就是序列）、迁移学习（虽然任务不一样，但是有共性，所以可以迁移。一般一个神经网络越浅层的网络越通用。

你所说的这些是深度学习中不同的网络定义，CNN（卷积神经网络），DBNs（深度信念网络），DNM没听说过...有DNN（深度神经网络），RNN（递归神经网络），这些都是不同的网络，对于相同的数据会达到不同的结果。

实战经验积累以后，可以考虑继续进行学习。这时候有两个选择，深度学习或者继续机器学习。深度学习是目前最火热的机器学习方向，其中一些方法已经跟传统的机器学习不太一样，因此可以单独学习。

在深度学习方面，我们希望面试者具备神经网络的基础知识（BP），以及常见的目标函数，激活函数和优化算法。

为什么说Transformer的注意力机制是相对廉价的?注意力机制相对更对于RN...

1、被动注意——基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关；可以将max-pooling和门控（gating）机制来近似地看作是自下而上的基于显著性的注意力机制。

2、接着attention机制被广泛应用在基于RNN/CNN等神经网络模型的各种NLP任务中。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attention）机制来学习文本表示。

3、因为注意力模型不像RNN那样无视了各输入之间的距离，因此是无法捕捉到序列顺序信息的，例如将K、V按行进行打乱，Attention之后的结果是一样的。

4、注意力稳定性不够的话就会出现注意游离，老师上课讲的内容没有完整连贯地听进去，继而感到更加无聊。所以就会出现一些小动作、发呆的外在表现。

语言模型介绍

1、语言大模型主要有：BERT（Bidirectional Encoder Representations from Transformers）、GPT（Generative Pre-trained Transformer）系列、T5（Text-to-Text Transfer Transformer）等。

2、unigram（一元模型）最简单的模型，假定所有词互相独立，相当于0st order假设，不考虑单词之间的顺序。

3、语言模型是一种机器学习技术，用于研究自然语言数据的概率分布，并利用这些分布来完成语言相关的任务，如文本分类、自然语言理解、机器翻译等。

4、语言模型技术广泛应用于语音识别、OCR、机器翻译、输入法等产品上。语言模型建模过程中，包括词典、语料、模型选择，对产品的性能有至关重要的影响。Ngram模型是最常用的建模技术，采用了马尔科夫假设，目前广泛地应用于工业界。

5、大语言模型是基于海量文本数据训练的深度学习模型。大语言模型（LLM）不仅能够生成自然语言文本，还能够深入理解文本含义，处理各种自然语言任务，如文本摘要、问答、翻译等。

6、事实上，我们可以认为 Topic 是一种「 语言模型 」， 可以认为是在 Topic 下生成该 word 的概率，即该 word 在这个「语言模型」中被生成的概率，故 word 可以不在 Topic 中出现，但也有概率生成。

标签：函数损失transformerhinge