088067d335
- 修改训练目录结构，将检查点和日志分开保存 - 添加 TensorBoard 日志记录支持 - 移除自定义 LossCallback 类，简化训练流程 - 更新训练参数和回调机制，提高代码可读性 - 在 requirements.txt 中添加 tensorboardX 依赖
基于文档驱动的自适应编码大模型微调框架
简介
本人的毕业设计
项目概述
- 通过深度解析私有库的文档以及其他资源，生成指令型语料，据此对大语言模型进行针对私有库的微调。
项目技术
- 使用unsloth框架在GPU上实现大语言模型的qlora微调
- 使用langchain框架编写工作流实现批量生成微调语料
- 使用tinydb和sqlite实现数据的持久化
- 使用gradio框架实现前端展示
施工中......