额，我谈一下我的理解哈，不一定对，相似度计算就是做乘法，所谓注意力机制是通过做乘法来实现的，具体那个变换形式得到qkv的过程就很灵活了。然后这个句子的话，语言模型是用来实现给不同token编码的，理论上来说是关系越接近他们的embedding计算相似度越高或者所谓注意力会越集中，通过大量文本的训练，会发现在这个某些固定长度的句子下，前边的主语会和随之而来的这种代词产生比较多的注意力，至于那个训练方式最基本的就是bert里的那两种，训练后再去预测的话，你提出的it这个词就会被拿过去计算相似度，结果会在tiger上更高，大概这么个意思吧