Transformer 架构的伟大之处，不仅在于提出了注意力机制，更在于提供了一套 “模块化” 的设计框架 —— 通过组合编码器（Encoder）和解码器（Decoder），可以衍生出多种结构变体。从 BERT 的 “纯编码器” 到 GPT 的 “纯解码器”，从 T5 的 “编码器 - 解码器” 到 ...

Transformer 对计算和存储的高要求阻碍了其在 GPU 上的大规模部署。在本文中，来自快手异构计算团队的研究者分享了如何在 GPU 上实现基于 Transformer 架构的 AI 模型的极限加速，介绍了算子融合重构、混合精度量化、先进内存管理、Input Padding 移除以及 GEMM 配置等 ...

多模态情感分析中，融合图像与文本的全球-局部交互可提升情感表征。本文提出基于Transformer编码器和对比学习的全局-局部特征融合网络（G-LFFN），通过跨模态同步融合编码器（CSFTE）和简化版本（SCSFTE）捕捉多特征交互，结合软自注意力增强模态间关联，并 ...

机床振动引起的表面质量分类中，Transformer编码器与Mamba SSM的性能比较。通过模拟和实验数据，发现Mamba SSM在保持高分类准确性的同时，计算效率提升4.7倍，实时性达0.38ms，满足数控机床亚毫秒响应需求，并验证了频谱特征的有效性。 该研究通过对比Transformer ...