概念演示
LoRA 微调实验
围绕指令数据构建的 LoRA 微调实验项目,记录数据准备、训练配置、评测和失败样例。
PyTorch Transformers PEFT LoRA WandB
当前状态
概念演示页,先用于展示方向和内容结构。
后续开发
继续接入真实数据、接口、评测结果和在线体验。
展示方式
AI 生成预览图与 Markdown 项目说明,保持静态部署友好。
项目目标
建立一套可复现的 LoRA 微调流程,便于比较不同数据集、rank 和学习率对模型行为的影响。
实验内容
- 指令数据清洗和模板化。
- PEFT 参数配置。
- 训练过程记录。
- 人工评测与自动评测结合。
经验记录
低质量数据会让模型更快学到错误模式。训练前的数据审计比训练后的反复调参更重要。