carry/gzhu-biyesheji
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
228 Commits 4 Branches 0 Tags
Commit Graph

228 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
carry
79d3eb153c refactor(train_page): 优化训练页面布局和功能 
- 移除了 max_steps_input 组件，减少不必要的输入项
- 将 per_device_train_batch_size_input 和 epoch_input 的标签简化为 "batch size" 和 "epoch"
- 新增 save_steps_input 组件，用于设置保存步数
- 修改 train_model 函数，移除了 max_steps 参数
- 更新了 trainer.train() 方法的调用，设置 resume_from_checkpoint=False
 2025-04-13 01:56:10 +08:00
carry
80dae7c6e2 fix(global_var):修复_workdir非全局变量的bug 2025-04-13 01:52:05 +08:00
carry
2d39b91764 feat(train_page): 添加模型训练超参数配置功能 
- 新增学习率、批次大小、最大训练步数等超参数输入组件
- 实现超参数在训练过程中的动态应用
- 调整训练参数以适应不同硬件环境
- 优化训练过程，支持按步数保存模型
 2025-04-13 01:04:27 +08:00
carry
5094febcb4 refactor(global_var): 重构全局变量管理并添加工作目录功能 
- 添加 _workdir 全局变量以存储工作目录路径
- 在 init_global_var 函数中初始化 _workdir
- 新增 get_workdir 函数以获取工作目录路径
- 调整全局变量的定义和初始化顺序
 2025-04-13 00:54:55 +08:00
carry
eeee68dbd1 chore: 更新 .gitignore 文件 
- 在 .gitignore 中添加 test.py 文件，避免测试代码被版本控制
 2025-04-12 18:42:36 +08:00
carry
539e14d39c feat(frontend): 完成了前端微调的代码逻辑 2025-04-12 18:42:22 +08:00
carry
9784f2aed3 fix(tools): 修正__init__.py使得model.py正确导入 2025-04-12 01:16:07 +08:00
carry
611904cef9 feat(frontend): 添加数据集选择功能到训练页面 
- 在 train_page.py 中添加数据集选择下拉框
- 从全局变量中获取数据集列表并设置初始值
- 添加交互性和自定义值支持
 2025-04-11 19:43:34 +08:00
carry
8a9a080745 refactor(tools): 移除未使用的导入语句 
移除了 tools/model.py 文件中未使用的 get_chat_template 导入语句。这个修改提高了代码的可读性和维护性。
 2025-04-11 19:43:19 +08:00
carry
a23ad88769 fix(frontend): 修复删除提示功能中的数据库连接错误 
- 将 prompt_store 更改为 get_prompt_store()，以解决数据库连接未建立的问题
- 优化了删除提示功能的代码，提高了系统稳定性
 2025-04-11 18:53:17 +08:00
carry
83427aaaba feat(frontend): 增加超参数设置并优化聊天页面布局 
- 在聊天页面添加了超参数输入框，包括最大生成长度、温度、Top-p 采样和重复惩罚
- 优化了聊天框的布局，使用 gr.Row() 和 gr.Column() 实现了更合理的界面结构
- 更新了 bot 函数，支持根据用户输入的超参数进行文本生成
- 修复了一些代码格式问题，提高了代码的可读性
 2025-04-11 18:48:13 +08:00
carry
61672021ef fix(frontend): 修复聊天页面并的流式回复 
- 导入 Thread 和 TextIteratorStreamer 以支持流式生成
- 重新设计 user 和 bot 函数，优化对话历史处理
- 添加异常处理和错误信息显示
- 改进模型和分词器的加载逻辑
- 优化聊天页面布局和交互
 2025-04-11 18:33:31 +08:00
carry
fb6157af05 feat(frontend): 初步实现聊天页面的智能回复功能 2025-04-11 18:08:38 +08:00
carry
f655936741 refactor(global_var): 重构全局变量初始化方法 
- 新增 init_global_var 函数，用于统一初始化所有全局变量
- 修改 get_prompt_store、get_sql_engine、get_docs 和 get_datasets 函数，使用新的全局变量初始化逻辑
- 更新 main.py 中的代码，使用新的 init_global_var 函数替代原有的单独初始化方法
 2025-04-11 18:08:16 +08:00
carry
ab7897351a fix(global_var): 修复全局变量多文件多副本的不统一问题 2025-04-11 18:04:42 +08:00
carry
216bfe39ae feat(tools): 添加格式化对话数据的函数 
- 新增 formatting_prompts_func 函数，用于格式化对话数据
- 该函数将问题和答案组合成对话形式，并使用 tokenizer.apply_chat_template 进行格式化
- 更新 imports，添加了 unsloth.chat_templates 模块
 2025-04-11 17:56:46 +08:00
carry
0fa2b51a79 refactor(frontend): 优化模型管理页面的交互和显示 
- 将状态输出从 Textbox 改为 Label 组件，提高用户体验
- 添加 get_model_name 函数以获取模型名称，提高代码复用性
- 更新模型加载、卸载和保存后的状态显示，使信息更加准确
- 优化模型列表刷新功能，确保模型列表实时更新
 2025-04-11 00:14:40 +08:00
carry
cbb3a09dd8 feat(tools): 添加模型名称获取函数 
- 在 tools 目录下新增 model.py 文件
- 实现 get_model_name 函数，用于获取模型的名称
- 更新 tools/__init__.py，导入新的 get_model_name 函数
 2025-04-10 22:05:04 +08:00
carry
2e552c186d refactor(frontend): 重构模型选择界面的变量命名 
- 将模型选择的 Dropdown 组件从 dropdown 重命名为 model_select_dropdown，提高代码可读性
- 更新 load_button 和 refresh_button 的输出目标，以适应新的变量名
 2025-04-10 21:19:58 +08:00
carry
1b3f546669 refactor(frontend): 重构前端页面并添加独立运行功能 
- 在 chat_page 和 prompt_manage_page 中添加了独立运行的入口
- 引入 sys 和 pathlib 模块以支持路径操作
- 修改了模块导入方式，使其能够作为独立脚本运行
- 优化了代码结构，提高了可读性和可维护性
 2025-04-10 21:18:05 +08:00
carry
402bc73dce feat(model_manage_page): 增加模型保存和刷新功能 
- 新增保存模型功能，用户可以输入模型名称并保存当前加载的模型
- 添加刷新模型列表按钮，用户可以随时更新模型下拉菜单中的选项
- 优化页面布局，使按钮和输入框更加合理地排列
 2025-04-10 20:18:03 +08:00
carry
bb5851f800 build: 添加 unsloth 依赖 
- 在 requirements.txt 中添加 unsloth>=2025.3.9 依赖
 2025-04-10 19:56:44 +08:00
carry
a407fa1f76 feat(model_manage_page): 实现模型加载和卸载功能 
- 添加模型加载和卸载按钮
- 实现模型加载和卸载的逻辑
- 添加相关模块的导入
- 扫描模型目录并显示在下拉框中
 2025-04-10 19:52:08 +08:00
carry
4b465ec917 chore: 更新 .gitignore 文件 
- 修改测试代码注释，扩大至参考代码
- 新增 refer/ 目录到忽略列表
 2025-04-10 17:38:29 +08:00
carry
e7cc03297b feat(frontend): 添加了简单聊天机器人页面 2025-04-10 17:38:02 +08:00
carry
051d1a7535 feat(frontend): 添加模型管理页面并初始化模型相关全局变量 
- 在 frontend/__init__.py 中添加 model_manage_page 模块引用
- 新增 model_manage_page.py 文件，实现模型管理页面的基本框架
- 在 global_var.py 中添加 model 和 tokenizer 全局变量
- 在 main.py 中集成模型管理页面到主应用的 Tabs 组件中
 2025-04-10 17:37:45 +08:00
carry
97172f9596 feat(dataset): 设置问答数据集展示页面的每页显示数量 
- 在 dataset_manage_page 函数中添加 samples_per_page 参数
- 设置每页显示的样本数量为 20 条
 2025-04-10 16:12:59 +08:00
carry
f582820443 feat(tools): 添加生成 Pydantic V2 模型示例 JSON 的工具脚本 
- 新增 json_example.py 脚本，用于生成 Pydantic V2 模型的示例 JSON 数据结构
- 支持列表、字典、可选类型以及基本数据类型（字符串、整数、浮点数、布尔值、日期和时间）的示例生成
- 可递归生成嵌套模型的示例 JSON
- 示例使用了项目中的 Q_A 模型，生成了包含多个 Q_A 对象的列表 JSON 结构
 2025-04-10 15:38:28 +08:00
carry
8fb9f785b9 feat(frontend): 展示数据集管理页面的问答数据 
- 添加 QA 数据集展示组件
- 实现数据集选择时动态加载对应的问答数据
- 优化数据集管理页面布局
 2025-04-09 22:23:55 +08:00
carry
2c8e54bb1e feat(dataset): 初步完成数据集管理页面和功能 2025-04-09 20:49:20 +08:00
carry
932d1e2687 refactor(schema): 修改数据集名称默认值 
- 将 dataset 类中的 name 字段默认值从 None 改为 ""
- 这个改动确保了数据集名称始终有一个默认的空字符串值，而不是 None，提高了数据一致性和代码健壮性
 2025-04-09 19:42:00 +08:00
carry
202d4c44df feat(db): 添加数据集存储和读取功能 
- 新增 dataset_store.py 文件，实现数据集的存储和读取功能
- 添加 get_all_dataset 函数，用于获取所有数据集
- 使用 tinydb 和 json 进行数据持久化
- 在项目根目录下创建 workdir/dataset 目录用于存储数据集文件
 2025-04-09 18:21:27 +08:00
carry
4d77c429bd refactor(schema): 更新 dataset 模型并为 doc 模型添加版本字段 
- 在 doc 模型中添加 version 字段，用于表示文档版本
- 将 dataset 模型中的 source_doc 字段类型从 list[doc] 改为 doc，简化数据结构
 2025-04-09 18:18:29 +08:00
carry
41447c5ed4 feat(dataset): 添加数据集来源文档字段 
- 在 dataset 模型中增加 source_doc 字段，用于记录数据集的来源文档
- 新增字段为可选列表，包含 doc 类型的元素
 2025-04-09 17:37:24 +08:00
carry
84fe78243a feat(tools): 添加 JSON 数据转换为 dataset 的工具脚本 
- 新增 convert_json_to_dataset 函数，用于将 JSON 数据转换为 dataset 对象
- 实现了从 JSON 文件读取数据、转换为 dataset 格式并输出到文件的功能
- 该工具可帮助用户将旧数据集快速转换为新的 dataset 格式
 2025-04-09 17:31:53 +08:00
carry
4d8754aad2 feat(frontend): 实现数据集生成页面的文档和模板选择功能 
- 添加文档和模板的下拉选择框
- 实现文档和模板选择后的状态更新
- 优化页面布局，分为文档和模板两个列
 2025-04-09 17:19:40 +08:00
carry
541d37c674 feat(schema): 新增数据集相关模型并添加文档扫描功能 
- 新增 dataset.py 文件，定义数据集相关模型
- 新增 tools 目录，包含解析 Markdown 和扫描文档的功能
- 修改 parse_markdown.py，增加处理 Markdown 文件的函数
- 新增 scan_doc_dir.py，实现文档目录扫描功能
 2025-04-09 13:02:18 +08:00
carry
6a00699472 feat(frontend): 实现提示词模板管理页面 
- 添加获取、添加、编辑和删除提示词功能
- 实现数据表格展示和操作
 2025-04-09 11:08:18 +08:00
carry
ff8162890d refactor(db): 移除了提示词模板中冗余的 JSON 格式说明 2025-04-09 10:35:11 +08:00
carry
daddcd34da fix(db): 为 promptStore 添加空数据库初始化逻辑 
- 在 initialize_prompt_store 函数中增加空数据库检查和初始化逻辑
- 为默认模板添加 id 字段，设置为 0
 2025-04-09 10:28:31 +08:00
carry
5c7ced30df fix(db): 修复 prompt_store 初始化逻辑 
- 在插入默认模板之前检查数据库是否为空，如果数据库已有数据，则跳过插入默认模板
 2025-04-09 10:26:14 +08:00
carry
9741ce6b92 refactor(db): 优化了代码，调整了import顺序，删除了无用变量 2025-04-09 10:19:57 +08:00
carry
67281fe06a feat(db): 添加 prompt 存储功能 
- 新增 prompt_store 模块，使用 TinyDB 存储 prompt 模板
- 在全局变量中添加 prompt_store 实例
- 更新 main.py，初始化 prompt 存储
- 新增 prompt 模板的 Pydantic 模型
- 更新 requirements.txt，添加 tinydb 依赖
 2025-04-09 09:58:42 +08:00
carry
2d905a0270 refactor(db): 调整导入模块顺序 
- 将 os 和 sys 模块导入提前到文件顶部
- 优化代码结构，遵循常见的 Python 导入模块顺序
 2025-04-09 09:57:20 +08:00
carry
374b124cf8 feat(setting_page): 添加供应商后清空输入框 
- 修改 add_provider 函数，返回清空后的输入框值
- 更新 add_button.click 事件处理，添加清空输入框的输出
 2025-04-09 08:17:43 +08:00
carry
74ae5e1426 refactor(db): 重命名数据库引擎获取函数 
将 get_engine 函数重命名为 get_sqlite_engine，以更清晰地表示其功能和用途。
- 更新了 db/__init__.py 中的导入和 __all__ 列表
- 修改了 db/init_db.py 中的函数定义
- 更新了前端设置页面和全局变量中的导入和函数调用

此更改提高了代码的可读性和维护性，特别是在将来可能添加其他类型数据库引擎的情况下。
 2025-04-09 08:12:59 +08:00
carry
0a6ae7a4ee feat(frontend): 重构前端页面并添加新功能 
- 重命名 dataset_page 为 prompt_manage_page，支持提示词模板管理
- 新增 dataset_generate_page 和 dataset_manage_page 页面
- 更新 main.py 中的页面引用和标签名称
- 修改前端初始化文件，使用 * 导入所有页面模块
 2025-04-09 08:11:40 +08:00
carry
faf72d1e99 feat(frontend): 完成了编辑 API Provider 功能 2025-04-09 08:04:40 +08:00
carry
cce5e4e114 feat(frontend): 完成了 API Provider 删除和添加了编辑功能的函数 2025-04-09 00:48:22 +08:00
carry
293f63017f feat(frontend): 添加 API Provider 表格选中行状态监听 
- 新增选中行的全局变量 selected_row
- 实现 select_record 函数来保存选中行数据
- 在表格中添加选中行事件监听
- 优化代码结构，提高可读性和可维护性
 2025-04-09 00:37:15 +08:00