论文基本信息

标题：Adapting LLaMA Decoder to Vision Transformer

要点：

• LLaMA 解码器适配
• 视觉转换器 (ViT)
• 因果自关注
• 软掩码策略

目标： 本研究旨在将最初为大型语言模型设计的 LLaMA 纯解码器架构应用于计算机视觉领域。目标是探索将这一架构用于图像分类等任务的潜力，并实现与纯编码器架构相比具有竞争力的性能。