AI与世界难题 · 量子物理与量子计算 · arXiv · 2026-10-22
量子层能否为视觉-语言模型带来性能与安全方面的优势？
原标题: Can Quantum Layers offer Performance and Security Advantages in Vision-Language Models?
该研究以 LLaVA-OneVision 为骨干网络，评估了 4 量子比特和 8 量子比特的基础环形与强纠缠线路，它们在四个位置分别以插入或替换经典组件的方式引入，并与经典模型比较性能和计算成本。在 Visual Spatial Reasoning 数据集上，在视觉投影器之后插入一个量子层可达到 80.7% 的开发集准确率，比经典全量微调高 2.28 个百分点；替换最后的解码器前馈子层则保留了 79.22% 的准确率，同时可训练参数减少 1307 万。这些收益在很大程度上取决于放置位置——较早进行替换会降低准确率，而且参数更少并不能可靠地缩短训练或减少计算——研究还在六种攻击设置下评估了鲁棒性，而这些收益能否泛化仍是悬而未决的问题。