ViT

ViT 是什么

ViT 的全称是 Vision Transformer（视觉 Transformer），是 2020 年由 Google 团队提出的图像理解架构。它借鉴了自然语言处理中的 Transformer，把图片切成固定大小的"图块"（Patch），每个图块当作一个"词"输入模型，通过自注意力机制理解整张图。

传统 CNN 用卷积核滑动扫描图像，ViT 则让每个图块之间直接建立全局关系——类似"一眼看到整张图的所有局部及其联系"。

工作原理

• 切块：把 224x224 的图片切成 16x16 的图块，共 196 个
• 展平编码：每个图块线性映射成向量，并加入位置信息
• 自注意力：所有图块两两交互，学习全局依赖
• 分类输出：用特殊的分类标记汇聚全局信息

为什么重要

• 全局视野：CNN 靠堆叠层数扩大感受野，ViT 一步到位建模全局
• 多模态基础：CLIP、Stable Diffusion 等模型的视觉编码器普遍采用 ViT
• 迁移能力强：预训练后微调到下游任务效果好

局限

ViT 需要大规模数据预训练才能充分发挥能力（小数据集上不如 CNN），计算量也随图块数量增长。后续的 Swin Transformer 等变体针对这一点做了优化。

一句话总结

ViT 把"图像理解"翻译成 Transformer 熟悉的"序列理解"，是当前文生图、多模态模型不可或缺的视觉骨干。