深度学习-nlp-NLP之trainsformer位置编码与余弦距离--77

目录1. 位置编码与词嵌入2.余弦距离 1. 位置编码与词嵌入 import torch import torch.nn as nn import math # 定义词向量嵌入的大小 d_model = 512 # 定义位置编码的维度 max_seq_len = 5000 # 定义词向量嵌入层 em