返回项目详情

概念演示

LoRA 微调实验

围绕指令数据构建的 LoRA 微调实验项目,记录数据准备、训练配置、评测和失败样例。

PyTorch Transformers PEFT LoRA WandB
LoRA 微调实验 演示预览图

当前状态

概念演示页,先用于展示方向和内容结构。

后续开发

继续接入真实数据、接口、评测结果和在线体验。

展示方式

AI 生成预览图与 Markdown 项目说明,保持静态部署友好。

项目目标

建立一套可复现的 LoRA 微调流程,便于比较不同数据集、rank 和学习率对模型行为的影响。

实验内容

  • 指令数据清洗和模板化。
  • PEFT 参数配置。
  • 训练过程记录。
  • 人工评测与自动评测结合。

经验记录

低质量数据会让模型更快学到错误模式。训练前的数据审计比训练后的反复调参更重要。