transformer

Transformer: 一、 总体架构 Transformer是“编码器—解码器”架构，由编码器(encoder)和解码器(decoder)组成，其都是多头自注意力模块的叠加。其…

摘要： 本文将针对大模型学习中可能遇见的问题进行分析梳理，以帮助开发者在利用大模型在自动驾驶场景处理中学习更好的策略，利用有关大模型性能评价的问题，制定一个科学的标准去判断大模型的…

本文参考文献：基于Transformer的目标检测算法综述 网络首发时间：2023-01-19 15:01:34 网络首发地址：https://kns.cnki.net/kcms/…

写在前面 最近又重温了一下沐神的论文精读系列，发现实在是干货满满，可以说是全程无废话了，每句话都具有价值，但是经常看了一边过后会忘记一些内容，再去回过头来翻看视频就需要花费一些时间…

目录 一、 Python中内置函数__call__详解 二. ToTensor 三、归一化Normalize 1. Normalize作用  2. 所需参数 3. 计算方法 3.1…

目录 一、DataLoader介绍 1. DataLoader作用 2. 常用参数介绍  二、DataLoader的使用 1. 导入并实例化DataLoader 2. 具体使用 2…

目录 1.transformer架构 1.1输入部分实现 1.2编码器部分实现 1.2.1掩码张量 1.2.2注意力机制 1.2.3多头注意力机制 1.2.4前馈全连接层 1.2….

讲个有趣的小故事 我高二那年从乙班考入了甲班，对于那时的我 偏科英语最高只有108+班级平均英语成绩125+暴躁难为人女英语老师，使我上英语课时战战兢兢。英语老师很时尚，喜欢搞花里…

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（…

输入句子序列：我爱吃酸菜鱼 上图为输入矩阵，每个token的维度为768维，则矩阵维度为Lx768。 第一步：通过乘以线性变化矩阵（维度为768×768），得到矩阵Q，K…

1 一些准备的说明 为了便于读者理解，笔者将采取一个盾构机掘进参数预测的实际项目进行Transformer模型的说明。此外，该贴更多用于本人的学习记录，适合于对Transforme…

一、介绍 1.1 背景 2017年，Google的一篇 Attention Is All You Need 为我们带来了Transformer，其在NLP领域的重大成功展示了它对时…

transformers目前大火，但是对于长序列来说，计算很慢，而且很耗费显存。对于transformer中的self attention计算来说，在时间复杂度上，对于每个位置，模…

近年来随着扩散模型（diffusion models）的进步和发展，给定文本提示进行高质量视频生成技术有着显著的提升。这些技术方案大多针对已有的二维图像扩散模型进行拓展，将图像二维…