transformer标签_松山湖开发者村综合服务平台

transformer

TPAMI 2026 | 基于检测Transformer的高效半监督目标检测研究

本文提出Semi-DETR++，首个针对DETR架构的半监督目标检测框架。针对DETR一对一匹配对伪标签噪声敏感的问题，创新性地设计了阶段性混合匹配策略(SHM)，在训练初期采用抗噪的软一对多匹配，后期过渡到标准一对一匹配。针对基于查询的解码器难以建立稳定对应关系的问题，提出重解码查询一致性(RQC)方法，利用解码器自身的隐式指导实现高效一致性训练。

rzxrzx_
2026-03-22 11:52:54

 671

 10

#transformer #目标检测 #深度学习
大模型用了十年的「笨办法」，被 Kimi 悄悄换掉了

Kimi 团队发布 Attention Residuals 论文，用 softmax 注意力替代传统均等残差连接，在深度方向实现选择性信息聚合，在 48B MoE 模型上实现 1.25x 计算效率提升，推理延迟增加不到 2%。

石臻臻的杂货铺
2026-03-17 08:44:54

 5744

 8

#语言模型 #迪米特法则 #transformer +1
【Transformer】神经网络，CNN，RNN

本文摘要：文章系统介绍了神经网络与深度学习的核心概念。第一部分从函数角度解析神经网络本质，阐述参数计算、梯度下降原理，并重点讨论正则化方法（如Dropout和权重衰减）在Transformer中的应用。第二部分揭示CNN中卷积核的本质特性，包括局部连接、权重共享机制，详细分析多通道卷积、感受野等关键参数。第三部分阐述词嵌入与RNN的工作原理，说明RNN通过隐藏状态处理序列数据的机制及潜空间的语义压

 予羽yubai
2026-03-15 16:01:14

 930

 10

#transformer #深度学习 #人工智能
从零手写Transformer：基于每一步shape变化拆解与PyTorch实现

本文详细解析了Transformer模型的PyTorch实现，重点剖析了核心组件的工作原理。首先介绍了缩放点积注意力机制，通过Query-Key-Value类比解释了相似度计算、缩放和Softmax归一化过程。接着阐述了多头注意力如何通过分头处理、并行计算来捕获不同子空间特征。然后说明了前馈网络对每个位置进行独立非线性变换的作用，以及层归一化稳定训练的重要性。全文通过张量形状变化和代码实现，直观展

 Network_Engineer
2026-02-03 23:31:50

 1645

 18

#transformer #pytorch #深度学习 +1
手写Multi-Head Attention多头注意力机制，Pytorch实现与原理详解

初始化函数的核心是为后续注意力计算准备超参数和可学习层，每段代码对应多头注意力的前置设计，无直接公式但为公式落地做铺垫。当需要投影时，就是公式中的输出投影矩阵WOW^OWO，将拼接后的h×dkh×dk维度映射回原输入维度dimdimdim；：为投影后的特征添加正则化，防止过拟合，是工程实践的必要补充；无需投影时，用（恒等映射）替代，保证代码逻辑统一，输入输出维度一致。本文通过代码逐段拆解+核心公

 Dr_Daniel666
2026-01-27 23:08:35

 1097

 10

#深度学习 #pytorch #人工智能 +2
从RNN到Transformer：LSTM模型的发展脉络与衍生演进

本文系统梳理了长短期记忆网络(LSTM)的发展脉络。作为RNN的改进模型，LSTM通过门控机制解决了梯度消失问题，成为处理长序列数据的里程碑。文章分析了LSTM的核心创新、优势及其变体(如GRU、Bi-LSTM)，并对比了CNN/TCN和Transformer等新兴时序模型的特性。尽管Transformer在并行计算和长距离依赖方面表现优异，LSTM在小数据、低算力场景仍具优势。未来LSTM将向轻

 黑客思维者
2026-01-22 19:54:17

 1113

 49

#rnn #transformer #lstm
Transformer 大语言模型（LLM）基石 - Transformer架构详解 - 位置编码（Positional Encoding）详解与算法实现

Transformer 大语言模型（LLM）基石 - Transformer架构详解 - 位置编码（Positional Encoding）详解与算法实现

 java1234_小锋
2025-12-09 09:31:27

 1033

 12

#transformer #语言模型 #深度学习
Transformer彻底剖析(1):GPT中的Transformer架构

Transformer彻底剖析(1):GPT中的Transformer架构

 cumtchw
2025-12-06 14:22:53

 1183

 10

#transformer #深度学习
Week 24: 深度学习补遗：Vision Transformer (ViT) 复现

本周对经典的ViT论文进行了复现，对于其Patch Embedding的相关理念进行了较为深入的理解。通过利用上周编写的Transformer模块进行快速复现，提高复现效率并且深入理解了ViT对Transformer的应用以及异同。本周对ViT论文进行了快速复现，灵活运用了上周编写的Transformer代码，对Positional Encoding部分和EncoderLayer部分进行了复用，大

 MCHacker
2025-11-09 19:06:14

 986

 26

#深度学习 #transformer #人工智能
Transformer架构发展历史

并行化：不同于RNN的顺序计算，可以充分利用GPU长距离依赖：通过注意力机制直接建立任意位置间的连接可解释性：注意力权重可视化，了解模型关注点可扩展性：性能随模型大小和数据量持续提升通用性：从NLP到CV，从表格数据到多模态。

weixin_45690427
2025-10-25 22:31:59

 1439

 12

#transformer #架构 #深度学习
从 Transformer 理论到文本分类：BERT 微调实战总结

本文系统性梳理了 BERT 模型的结构与预训练过程，从理论到实战，完整复现了 **BERT 模型的微调流程**，并结合优化实验，探索了模型在小样本任务中的表现与调参策略。

Ellenjing
2025-10-25 22:47:32

 1047

 22

#transformer #分类 #bert
Transformer架构：深度学习序列建模的革命性突破

Transformer架构以自注意力机制为核心，通过并行化计算、强长距离依赖捕捉、模块化设计等创新，彻底改变了序列建模的技术路径，成为深度学习领域的基础性架构。从NLP到计算机视觉，从单一模态到多模态融合，Transformer架构的应用场景不断拓展，推动了人工智能技术的快速迭代与发展。尽管当前Transformer架构仍面临着长序列计算复杂度高、小样本学习能力不足等挑战，但基于其核心思想的改进与

 墨利昂
2025-10-20 19:26:49

 1917

 25

#深度学习 #transformer #架构
Decoder-Only架构下Decoder的学习

Decoder-Only架构下Decoder的学习

 缘友一世
2025-10-19 22:49:59

 1255

 19

#人工智能 #自然语言处理 #transformer
AI大事记12:Transformer 架构——重塑 NLP 的革命性技术（下）

摘要：Transformer架构已成为现代大语言模型（如GPT、PaLM等）的核心基础，其并行计算、长距离依赖建模和灵活扩展性支撑了模型规模的持续扩大。关键技术突破包括混合专家模型（MoE）、稀疏注意力机制和位置编码改进，显著提升了效率和性能。同时，Transformer正拓展至多模态领域，成功应用于视觉、语音等任务。尽管面临部署挑战，但通过模型压缩、硬件加速和算法优化等方案持续推动应用落地。Tr

2401_86980916
2025-10-19 20:49:05

 2105

 42

#人工智能 #transformer #架构
Sora文生视频技术拆解：Diffusion Transformer架构与时空建模原理

摘要： OpenAI的Sora模型通过将Diffusion模型与Transformer架构结合，实现了视频生成领域的重大突破。其核心创新包括：1）采用Diffusion Transformer（DiT）架构替代传统U-Net，提升长序列处理能力；2）时空Patch嵌入机制将视频数据统一编码为序列；3）改进的注意力机制同时建模时空相关性。Sora将视频生成转化为序列建模问题，通过多尺度训练策略和条件

 Rqaqedamancy
2025-10-15 23:59:17

 2.8w

 89

#音视频 #transformer #架构 +1
【自然语言处理】BERT模型

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，通过掩码语言模型（MLM）和下一句预测（NSP）任务实现深度双向语义理解。其核心创新在于双向上下文建模，突破了传统单向语言模型的局限。本文详细介绍了BERT的算法原理、实现步骤及训练流程，包括文本预处理、模型架构、训练策略和

 2401_84149564
2025-10-07 23:58:58

 2977

 43

#自然语言处理 #transformer #bert +4
2025 年大语言模型架构演进：DeepSeek V3、OLMo 2、Gemma 3 与 Mistral 3.1 核心技术剖析

实际上，在今年 1 月发布时（早于 Llama 4、Gemma 3 和 Qwen 3），OLMo 2 系列模型正处于计算效率与性能的帕累托前沿【译者注：“帕累托前沿”（Pareto Frontier）是一个起源于经济学和优化理论的重要概念，它描述的是一种最优状态，在这种状态下，任何一方的利益或某个目标的提升都无法不以牺牲其他方利益或其他目标的下降为代价。今天我们为大家带来的这篇文章，作者的核心观点

 Baihai IDP
2025-09-12 09:08:15

 3742

 14

#语言模型 #人工智能 #AI +1
【自然语言处理】从0开始，构建用于语言翻译的 Transformer 模型（一）

训练好的分词器以 JSON 文件形式保存以便重用。训练时添加了三个特殊符号：[start]、[end] 和 [pad]，分别用于标记句子开始、结束以及对序列进行填充。通过 enable_padding() 配置，使用分词器处理字符串时会自动添加填充符号。在后续部分，我们将看到它们的使用方法。

秋说
2025-09-10 20:15:26

 2925

 15

#自然语言处理 #transformer #人工智能
NLP：Transformer模型构建

前言：前面讲解了Transformer的各个部分，本文讲解Transformer模型整体构建。

苏苏susuus
2025-08-16 23:04:22

 409

 9

#自然语言处理 #transformer #人工智能
ICCV2025 | 对抗样本&智能安全方向论文汇总 | 持续更新中~

总结 ICCV2025 对抗样本&智能安全方向相关论文及代码库链接，附有文章摘要。

四口鲸鱼爱吃盐
2025-08-02 10:23:55

 5404

 31

#安全 #transformer #人工智能 +2
MATLAB实现基于VMD-Transformer变分模态分解（VMD）结合Transformer编码器进行多变量时间序列光伏功率预测的详细项目实例

【新能源预测】MATLAB实现基于VMD-Transformer变分模态分解（VMD）结合Transformer编码器进行多变量时间序列光伏功率预测的详细项目实例（含完整的程序，GUI设计和代码详解）资源-CSDN下载https://download.csdn.net/download/xiaoxingkongyuxi/91435949【新能源预测】MATLAB实现基于VMD-Transforme

xiaoxingkongyuxi
2025-08-01 08:30:00

 1375

 10

#matlab #transformer #开发语言 +4
下一场范式革命：Transformer架构≠最终解法

如今，Transformer 仍是舞台中央的王者，但 “唯一解” 的神话正在悄然瓦解。一场关乎 AI 未来成本、速度与落地广度的架构之战，已在无声中打响。谁能在性能与效率的天平上找到终极平衡，或许就将定义下一个十年的技术航向。

若年封尘
2025-07-19 16:10:25

 2080

 19

#transformer #架构 #深度学习
基于 Transformer RoBERTa的情感分类任务实践总结之二——R-Drop

性能提升：相比基础RoBERTa，改进后模型在测试集上的F1分数提升约1.2%，AUC提升约0.8%，过拟合现象明显缓解。核心价值：R-Drop通过强制模型输出一致性，有效增强了预测稳定性；标签平滑则降低了模型对硬标签的依赖，两者结合显著提升了泛化能力。适用场景：文本分类、情感分析等任务，尤其适合标注数据有限或需提升模型鲁棒性的场景。

张大鹏的博客
2025-06-07 15:46:10

 1439

 24

#transformer #分类
【目标检测】【Transformer】Swin Transformer

Swin Transformer是一种新型的视觉Transformer架构，旨在解决将Transformer从语言领域迁移到视觉领域时面临的挑战，如视觉实体尺度的变化性和图像像素的高分辨率特性。该架构采用基于移位窗口的分层设计，通过将自注意力计算限制在非重叠局部窗口内来提高效率，同时保留跨窗口连接能力。这种设计使得Swin Transformer在图像分类和密集预测任务中表现出色，超越了此前的最佳

 量子-Alex
2025-05-17 11:54:00

 1687

 22

#目标检测 #transformer #人工智能
【从神经网络到Transformer及NLP大模型的初步理解】

本文旨在对神经网络基础概念进行介绍，然后对NLP领域的发展脉络继续粗述，包括对当前大模型基础的Transfomer结构的由来、发展及原理进行简单说明，让大家对神经网络（深度学习）和当前的大模型以及涉及的预训练、微调等概念有个基本认识，其中涉及的数据学推理等并不作为本文说明的重点，大家有兴趣可以自行研究。（PS：其中涉及一些的对NLP模型的理解，大家见仁见智）

coder_zrx
2025-05-06 17:43:26

 1656

 10

#人工智能 #神经网络 #cnn +4
Transformer：引领深度学习新时代的架构

Transformer 架构作为深度学习领域的一项重要创新，已经在多个领域取得了巨大的成功。它的出现改变了人们对序列处理任务的认识，为解决各种复杂的问题提供了新的思路和方法。随着技术的不断发展，Transformer 架构有望在更多领域发挥重要作用，推动深度学习技术不断向前发展。无论是研究者还是开发者，都应该密切关注 Transformer 的发展趋势，不断探索其在不同领域的应用潜力。

Liaojweiii
2025-04-23 23:34:22

 2098

 20

#transformer #深度学习 #人工智能
Transformer模型解析与实例：搭建一个自己的预测语言模型

Transformer 是一种革命性的深度学习架构，最初由 Vaswani 等人在 2017 年的论文《Attention Is All You Need》中提出。它通过引入自注意力机制（Self-Attention），解决了传统 RNN 和 LSTM 在处理长序列时的效率和性能问题。Transformer 的核心思想是让模型能够同时关注序列中所有位置的信息，而不是像 RNN 那样逐个处理序列元素

 m0_69722969
2025-04-10 10:11:25

 2790

 61

#transformer #深度学习 #人工智能 +2
BERT与Transformer到底选哪个-下部

用更多生的例子一文说清BERT与Transform以及现在的Gpt、Claude、Deepseek这些模型到底是什么区别以及它们的应用场景。

TGITCIC
2025-03-31 20:04:46

 1749

 25

#bert #transformer #人工智能
机器翻译技术深度解析：从统计模型到Transformer革命

机器翻译技术的演进史，本质是人类对语言认知的数字化探索。从基于短语的统计模型到基于自注意力的Transformer，每一次突破都推动着机器对语言理解的深入。然而，当前系统仍无法真正理解"语言之魂"——那些蕴含在文化背景、社会习俗中的微妙语义。未来的突破或将来自神经符号系统的结合，让机器既能把握统计规律，又能理解符号逻辑，最终实现真正的跨语言智能。参考文献声明：本文实验数据来自公开论文，代码示例仅用

 Studio-秋声
2025-03-10 11:28:24

 3161

 28

#机器翻译 #自然语言处理 #深度学习 +1
【教程】基于DeepSeek-R1的个人AI知识库，全本地部署，可断网使用

从ChatGPT上线开始，我就有了一个想法，打造一个个人知识库，它可以充当我的第二大脑，记住我的尽量多的信息（包括隐私信息）。无论是我每天的琐碎事务，还是重要的决策和回忆，它都能存储并快速检索。当我问它“我去年5月做了什么？”时，它不仅能够从知识库中找到当时的记录，还能结合上下文和细节，帮助我回忆起那些可能遗忘的瞬间。但要实现这个想法，用在线服务肯定是不行的，我需要它完全本机运行。现在，有了可完全

 再不会python就不礼貌了
2025-02-24 11:38:43

 2739

 66

#人工智能 #深度学习 #机器学习 +1
YOLOv12技术解析：注意力机制在实时目标检测中的突破

YOLOv12 来了，全文总结速览

 迪菲赫尔曼
2025-02-19 15:02:37

 5209

 34

#人工智能 #深度学习 #transformer
谷歌传奇师徒对话：改变世界的 Jeff Dean 与创造 Transformer 的 Noam Shazeer

Jeff Dean 第一定律：没有人、计算机或者神能指出 Jeff 的错误，只有他告诉你错在哪里；Jeff Dean 第二定律：Jeff 比你更了解你（“你”包括人类、计算机和神）。

AI科技大本营
2025-02-14 19:22:01

 4062

 40

#transformer #深度学习 #人工智能
新智元 | 小红书为何让歪果仁上头？推荐算法超牛，2篇核心论文揭秘

如今越来越多的歪果朋友入驻小红书，而这泼天流量也带来了「欲戴王冠，必承其重」的形势。而让大家纷纷赞扬的小红书内容推荐算法则是它能够接的下来这波流量的核心原因之一。本文通过对两篇小红书官方团队发布的推荐算法论文解读，带你揭开小红书内容推荐机制的神秘面纱。

双木的木
2025-01-25 01:30:00

 3062

 43

#推荐算法 #算法 #机器学习 +4
突破Transformer架构，MiniMax 01首次开源，海外开发者再一次被中国模型震惊了

2025开年，MiniMax 又上新了。继公布全模态模型家族后，时隔5个月，MiniMax再亮相两大模型，且模型权重完全开源。而且与GPT-4o和Claude-3.5-Sonnet性能平起平坐，尤其在上下文窗口方面表现出色，处理能力甚至达到其他顶尖模型的 20 - 32倍。更重要的是，这两款全新模型扩展了新型Lightning Attention架构，突破了传统Transformer架构，同时也是

 CSDN资讯
2025-01-16 15:20:26

 1.2w

 26

#transformer #深度学习 #人工智能
一文读懂Transformer

Transformer 的不仅推动了 NLP 的快速发展，也成为了许多先进模型的基础。以GPT、BERT、T5 等为代表的大语言模型，均基于 Transformer 架构。此外，Transformer 还被成功应用于计算机视觉领域、推荐系统等领域，为深度学习带来了前所未有的效率与表现。随着研究的深入，Transformer 架构正在不断优化和拓展，不仅提升了模型的性能，也让人工智能技术更贴近实际应

 盼小辉丶
2025-01-23 14:53:57

 4.5w

 178

#transformer #深度学习 #人工智能
【超详细】【原理篇&实战篇】一文读懂Transformer

Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。

ㄣ知冷煖★
2021-11-02 16:48:11

 68w

 2638

#transformer #深度学习 #自然语言处理
MLA——一文通透DeepSeek V2中的多头潜在注意力MLA：改进MHA，从而压缩KV缓存，提高推理速度(含让任何LLM都能用上MLA的方法)

成就本文有以下三个因素校长最近开始搞deepseek了吗？刚看了论文，没搞懂MLA那块的cache是怎么算的，我总觉得他的效果应该类似MQA才对，但是反馈是挺好的目前团队项目上的事情太多，然后近期在写那个KAN确实还没来得及看这个deepseek，我近期看下而搞之前——近几天，会先写一下它的论文解读，故本文就来了且一如既往做到，对于几乎每一个主题，都做到本博客万千读者或七月学员所说的：“还是看校长

 v_JULY_v
2024-08-26 21:18:39

 4.6w

 128

#transformer
Transformer（课程笔记）

2.第二个Attention Layer：Query向量来自于上一个Attention的输出，而Key和Value来自于Encoder最后一层的输出（我的理解是：这里的最后一层输出能够表示输入所有的信息的原因是用了多头注意力机制然后进行了整合，而RNN中单使用最后一层输出是不可行的，会出现信息瓶颈的问题的，不知道是不是这样理解）。如果不使用Scaled，QK的方差会随着dk的增加而变大，从而进行s

好难难ss
2024-08-20 16:43:44

 1216

 14

#transformer #深度学习
Datawhale AI夏令营- 讯飞机器翻译挑战赛baseline解析

本文介绍了训练机器翻译挑战赛的赛题,以及基于datawhale的baseline写了一篇解析。通过seq2seq完成了一个机器翻译模型的搭建

 苏向标
2024-07-13 14:59:41

 3094

 34

#人工智能 #机器翻译 #自然语言处理 +2