5fc90903fb
- 新增 reasoning.py 文件，实现与 OpenAI API 的交互 - 添加 call_openai_api 函数，用于发送请求并处理响应 - 支持可选的 LLMParameters 参数，以定制化请求 - 处理 API 响应中的 tokens 使用情况 - 提供错误处理和缓存 token 字段的处理
基于文档驱动的自适应编码大模型微调框架
简介
本人的毕业设计
项目概述
- 通过深度解析私有库的文档以及其他资源，生成指令型语料，据此对大语言模型进行针对私有库的微调。
项目技术
- 使用unsloth框架在GPU上实现大语言模型的qlora微调
- 使用langchain框架编写工作流实现批量生成微调语料
- 使用tinydb和sqlite实现数据的持久化
- 使用gradio框架实现前端展示
施工中......