除了Transformer架构，还有哪些常用的大模型架构

常见大模型架构多样。RNN 处理序列，却因梯度问题难应对长序列；其变体 LSTM 借门控机制改善，GRU 则简化结构提效率。CNN 从计算机视觉起步，借卷积等提取特征，后拓展应用。GAN 用于生成，借生成与判别对抗训练。VAE 融合自编码器与变分推断生成多样样本 。

• 循环神经网络（RNN）及其变体
  • RNN：是一种用于处理序列数据的神经网络，它通过隐藏状态来记住之前的信息，并在每个时间步更新隐藏状态，以处理当前输入。然而，传统 RNN 存在梯度消失和爆炸问题，难以处理长序列数据。
  • 长短期记忆网络（LSTM）：是 RNN 的一种变体，通过引入记忆单元和门控机制，有效地解决了长序列数据的处理问题。记忆单元可以选择性地记住和遗忘信息，门控机制则控制信息的流入和流出，使得 LSTM 能够更好地捕捉序列中的长期依赖关系。
  • 门控循环单元（GRU）：也是 RNN 的一种改进形式，它将遗忘门和输入门合并为一个更新门，同时将记忆单元和隐藏状态进行了融合。GRU 在保持 LSTM 优点的同时，简化了模型结构，具有较高的计算效率，在许多序列处理任务中表现出色。
• 卷积神经网络（CNN）
  • 最初主要应用于计算机视觉领域，通过卷积层、池化层和全连接层等组件，自动提取图像的特征。卷积层中的卷积核在图像上滑动，通过卷积操作提取局部特征，池化层则用于压缩数据维度，减少计算量。随着发展，CNN 也被应用于其他领域，如自然语言处理中的文本分类、情感分析等任务，通过对文本进行卷积操作来提取局部的语义特征。一些基于 CNN 的大模型在图像识别、目标检测等任务中取得了显著的成果，如 AlexNet、VGGNet、ResNet 等。
• 生成对抗网络（GAN）
  • 由生成器和判别器组成，生成器负责生成逼真的样本，判别器则用于判断输入样本是真实的还是生成的。两者通过对抗博弈的方式进行训练，生成器不断优化以生成更逼真的样本，使判别器难以区分真假，而判别器则不断提高辨别能力。GAN 在图像生成、数据增强、无监督学习等领域有广泛应用，能够生成高质量的图像、音频等数据，但训练过程相对复杂，存在稳定性和模式坍塌等问题。
• 变分自编码器（VAE）
  • 是一种无监督学习的生成模型，它结合了自编码器和变分推断的思想。VAE 将输入数据编码为一个潜在变量的概率分布，然后通过解码器从潜在变量中生成重构数据。通过引入变分推断，VAE 能够学习到数据的潜在结构，并生成具有多样性的新样本。VAE 在图像生成、数据压缩、异常检测等领域有一定的应用，其生成的样本通常具有较好的连续性和多样性。