LoRA 等大模型微调方法了解吗？
五个经典回答示范
「全参微调 7B 模型要更新全部权重，显存与存储成本高，每个任务存一份完整模型。LoRA 冻结原权重，在旁边加低秩矩阵：W' = W + BA，B 是 d×r、A 是 r×k，秩 r 通常 8 到 64，可训练参数降到千分之一，效果在很多任务上接近全参。推理时可以把 BA 合并回 W，零额外延迟。」
我讲落地经验：客服问答场景用 LoRA 微调开源模型。关键决策：作用位置选 attention 的 q、v 投影效果与成本的平衡点；秩 16 起步，任务复杂再升；学习率比全参大一到两个数量级，配 warmup；数据五千到两万条高质量指令对效果最好，脏数据放大噪声明显。训练用 4bit 量化底座加 LoRA（QLoRA），单卡 24G 跑 7B。
我会讲清 LoRA 的适用边界与替代方案：它擅长对齐已有能力的格式、风格、领域语言，不擅长注入全新知识——需要新知识时用继续预训练或 RAG 补知识再 LoRA 调行为。选型对比：Prefix/P-Tuning 更省但容量小；Adapter 加串行层有推理开销；LoRA 的合并即用是部署优势。多 LoRA 热切换（S-LoRA 类方案）是服务化方向。最后强调：数据质量决定微调上限，别指望 LoRA 修数据问题。
追问「秩 r 怎么选」：8 到 16 起跑，验证集不涨再加倍，收益平坦说明容量够了；「LoRA 和 RAG 怎么选」：知识频繁更新选 RAG，行为风格固化选 LoRA，常见组合是 RAG 供知识加 LoRA 定格式；「怎么评估微调效果」：任务指标加通用能力回归测试，防止灾难性遗忘。
「LoRA 是微调神器，什么问题都能靠 LoRA 解决，参数少效果就一定不如全参微调所以调不出来的话就多训几轮。」——点评：前半句过度神化——新知识注入是它弱项；后半句逻辑混乱且『多训几轮』在数据质量差时只会过拟合。对技术边界的诚实认知比吹捧更显专业。
- 打开 模拟练习，选择「算法工程师」方向，限时 3 分钟作答本题。
- 对照上方答题框架，逐点检查：哪些要素没覆盖、哪里表达啰嗦。
- 用自己项目的真实经历替换框架中的占位内容，重讲一遍并录音回听。
这类题在真实面试中常被追问细节，
建议进入限时模式练一遍。