carry/gzhu-biyesheji
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
256 Commits 4 Branches 0 Tags
Commit Graph

73 Commits

Author SHA1 Message Date
carry
7a4388c928 featmodel): 添加保存模式选择功能 
在模型管理页面中新增保存模式选择功能，用户可以通过下拉菜单选择不同的保存模式（如默认、合并16位、合并4位等）。同时，将保存模型的逻辑抽离到独立的`save_model.py`文件中，以提高代码的可维护性和复用性。
 2025-04-23 14:09:02 +08:00
carry
3718c75cee feat(frontend): 添加数据集生成页面的处理进度显示 
- 在处理文档片段时添加进度条，提升用户体验
- 优化代码格式，调整缩进和空行
 2025-04-22 00:14:16 +08:00
carry
9806334517 fix(train_page): 捕获训练过程中的异常并终止 TensorBoard 进程 
- 在训练过程中添加异常捕获，将异常信息转换为 gr.Error 抛出
- 确保在发生异常时也能终止 TensorBoard 子进程
 2025-04-20 21:40:46 +08:00
carry
0a4efa5641 feat(dataset): 添加数据集生成功能 
- 新增数据集生成页面和相关逻辑
- 实现数据集名称重复性检查
- 添加数据集对象创建和保存功能
- 优化文档处理和提示模板应用
- 增加错误处理和数据解析
 2025-04-20 21:25:51 +08:00
carry
994d600221 refactor(frontend): 调整 TensorBoard iframe 高度 
- 将 TensorBoard iframe 的高度从 500px 修改为 1000px
- 此修改旨在提供更宽敞的显示区域，改善用户体验
 2025-04-20 21:25:37 +08:00
carry
c28e4819d9 refactor(frontend/tools): 重命名生成示例 JSON 数据结构的函数 
- 将 generate_example_json 函数重命名为 generate_json_example
- 更新相关文件中的函数调用和引用
- 此更改旨在使函数名称更具描述性和一致性
 2025-04-20 16:11:36 +08:00
carry
e7cf51d662 refactor(frontend): 重构数据集生成页面 
- 调整页面布局，优化用户交互流程
- 新增数据集名称输入框
- 使用 LLMRequest 和 LLMResponse 模型处理请求和响应
- 添加 generate_example_json 函数用于格式化生成数据
- 改进数据集生成逻辑，支持多轮次生成
 2025-04-20 16:10:08 +08:00
carry
9236f49b36 feat(frontend): 添加文档切片和并发数功能 
- 新增并发数输入框
- 实现文档切片处理
- 更新生成数据集的逻辑，支持并发处理
 2025-04-20 01:40:48 +08:00
carry
868fcd45ba refactor(project): 重构项目文件组织结构 
- 修改模型管理和训练页面的导入路径
- 更新 main.py 中的导入模块
- 调整 tools 包的内容，移除 model 模块
- 新建 train 包，包含 model 模块
- 优化 __init__.py 文件，简化导入语句
 2025-04-19 21:49:19 +08:00
carry
9fc3ab904b feat(frontend): 实现了固定参数的注入 2025-04-19 17:48:45 +08:00
carry
d827f9758f fix(frontend): 修复dataframe_value返回值只有一列的bug 2025-04-19 17:30:10 +08:00
carry
314434951d feat(frontend): 实现了文档、提示和 API 提供商的获取逻辑 2025-04-19 14:47:01 +08:00
carry
86bcf90c66 feat(frontend): 添加数据集生成轮次控制功能 
- 在数据集生成页面添加"生成轮次"输入框，支持设置生成轮数
- 更新生成逻辑，根据设置的轮次进行多次生成
 2025-04-18 15:47:37 +08:00
carry
961a017f19 refactor(frontend): 调整数据集生成页面布局并优化代码结构 
- 使用 gr.Column(scale=1) 和 gr.Column(scale=2) 调整列宽比例
- 移除多余的空行和缩进，提高代码可读性
- 优化变量声明和组件创建的顺序，使页面结构更清晰
 2025-04-18 15:40:15 +08:00
carry
5a386d6401 feat(dataset_generate_page): 添加 API 选择功能 
- 在数据集生成页面添加 API 选择下拉框
- 实现 API 选择变更时的处理逻辑
- 更新数据集生成函数，增加 API 选择参数
- 优化页面布局和代码结构
 2025-04-18 15:23:33 +08:00
carry
7242a2ce03 feat(frontend): 添加生成数据集进度条功能并优化了界面布局 2025-04-18 15:07:46 +08:00
carry
db6e2271dc fix(frontend): 修复 prompt_dropdown 变化时，dataframe没有相应的变化 
- 将 prompt_dropdown 变化时的输出从 prompt_state 修改为 [prompt_state, variables_dataframe]
- 这个改动可能会在 prompt 变化时同时更新变量数据框
 2025-04-18 14:03:26 +08:00
carry
d764537143 feat(dataset_generate_page): 更新数据集生成页面功能 
- 添加模板变量列表展示和编辑功能
- 实现模板选择后动态更新变量列表
- 增加生成数据集按钮和相关逻辑
- 优化页面布局和交互
 2025-04-16 12:39:48 +08:00
carry
8c35a38c47 feat(frontend): 更新模板选择功能 
- 在模板选择变更时，获取所选模板的详细信息
- 创建 PromptTemplate 对象并获取输入变量列表
- 此更新为后续的模板编辑功能做准备
 2025-04-15 21:31:50 +08:00
carry
7ee751c88f fix(frontend): 移除文档生成页面的冗余事件绑定代码 
- 删除了原有的简单事件绑定逻辑，这些逻辑仅将输入值赋给状态变量
- 为后续添加更复杂的文档选择更改事件处理函数做准备
 2025-04-15 20:44:26 +08:00
carry
b715b36a5f feat(frontend): 更新数据集生成页面并添加独立运行功能 
- 重构导入路径，使用绝对路径替换相对路径
- 新增文档和模板选择的事件处理函数
- 添加独立运行数据集生成页面的功能
- 优化代码结构，提高可读性和可维护性
 2025-04-15 17:13:52 +08:00
carry
6b87dcb58f refactor(frontend): 重构数据集生成页面的变量命名逻辑 
- 将 prompt_choices 变量重命名为 prompt_list，以更准确地反映其内容
- 更新相关代码中对这两个变量的引用，以保持一致性
 2025-04-15 15:40:24 +08:00
carry
d9abf08184 fix(frontend): 修复表格选择事件的行数据获取问题 
- 在 prompt_manage_page 和 setting_page 中更新了 select_record 函数
- 使用 DataFrame.iloc 方法获取选中行的数据，并转换为列表
- 添加了将第一列数据转换为整数的逻辑
- 更新了表格选择事件的参数，增加了输入和输出参数
- 将 gradio 版本升级到 5.25.0
 2025-04-15 15:10:15 +08:00
carry
a27a1ab079 refactor(frontend): 重构训练页面布局并优化用户界面 
- 调整数据集下拉框布局位置
- 新增超参数输入组件
- 修改训练日志输出框标签为"训练状态"
- 添加 TensorBoard 可视化 iframe 显示框
 2025-04-15 00:12:09 +08:00
carry
aa758e3c2a feat(train_page): 添加 TensorBoard 可视化 
- 在训练页面添加 TensorBoard iframe 显示框
- 实现动态生成 TensorBoard iframe 功能
- 更新训练按钮点击事件，同时更新 TensorBoard iframe
 2025-04-14 23:28:43 +08:00
carry
664944f0c5 feat(frontend): 优化 TensorBoard 端口占用问题 
- 新增端口检测逻辑，动态分配可用端口
- 修改 TensorBoard 启动过程，使用动态分配的端口
- 添加 socket 模块，用于端口检测
 2025-04-14 17:06:44 +08:00
carry
9298438f98 feat(train_page): 启动 TensorBoard 进程并确保训练结束后终止 
- 在训练页面中添加 TensorBoard 进程启动代码
- 创建日志目录并启动 TensorBoard 子进程
- 在训练结束后终止 TensorBoard 进程
 2025-04-14 17:00:33 +08:00
carry
4f7926aec6 feat(train_page): 实现训练目录自动递增功能 
- 在 training 文件夹下创建递增的目录结构
- 确保 training 文件夹存在
- 扫描现有目录，生成下一个可用的目录编号
- 更新训练模型函数，使用新的训练目录
 2025-04-14 16:46:29 +08:00
carry
11a3039775 fix(train_page): 修正模型训练保存路径 2025-04-14 16:31:00 +08:00
carry
088067d335 train: 更新模型训练功能和日志记录方式 
- 修改训练目录结构，将检查点和日志分开保存
- 添加 TensorBoard 日志记录支持
- 移除自定义 LossCallback 类，简化训练流程
- 更新训练参数和回调机制，提高代码可读性
- 在 requirements.txt 中添加 tensorboardX 依赖
 2025-04-14 16:19:37 +08:00
carry
9fb31c46c8 feat(train): 添加训练过程中的日志记录和 loss 可视化功能 
- 新增 LossCallback 类，用于在训练过程中记录 loss 数据
- 在训练模型函数中添加回调，实现日志记录和 loss 可视化
- 优化训练过程中的输出信息，增加当前步数和 loss 值的打印
 2025-04-14 15:18:14 +08:00
carry
1a2ca3e244 refactor(train): 重构训练功能并移至新模块 
- 将训练逻辑从 train_page.py 移至 tools/model.py
- 新增 train_model 函数，包含完整的训练流程
- 更新 train_page.py 中的回调函数，使用新的训练函数
- 移除了 train_page.py 中未使用的导入
 2025-04-14 14:17:04 +08:00
carry
bb1d8fbd38 feat(train_page): 添加训练 Loss 曲线显示功能 
- 在训练页面添加了 Loss 曲线图表
- 实现了 GradioLossCallback 类用于记录训练过程中的 Loss 数据
- 修改了训练函数，通过回调函数收集 Loss 信息并更新图表
- 优化了训练函数的返回值结构，支持同时返回文本日志和 Loss 数据
 2025-04-13 21:49:43 +08:00
carry
4558929c52 fix: 调整了import的顺序，让unsloth最先import以提高性能 2025-04-13 21:35:47 +08:00
carry
0722748997 feat(train_page): 添加 LoRA 秩动态输入功能 
- 在训练页面新增 LoRA 秩输入框，使用户可以动态设置 LoRA 秩
- 更新训练模型函数，添加 LoRA 秩参数并将其用于模型配置
- 保留原有功能，仅增加 LoRA 秩相关配置
 2025-04-13 21:12:02 +08:00
carry
e08f0059bb feat(train_page): 优化训练过程以专注于响应生成 
- 引入 train_on_responses_only 函数，用于优化训练过程
- 设置 instruction_part 和 response_part 参数，以适应特定的对话格式
- 此修改旨在提高模型在生成响应方面的性能和效率
 2025-04-13 21:05:14 +08:00
carry
79d3eb153c refactor(train_page): 优化训练页面布局和功能 
- 移除了 max_steps_input 组件，减少不必要的输入项
- 将 per_device_train_batch_size_input 和 epoch_input 的标签简化为 "batch size" 和 "epoch"
- 新增 save_steps_input 组件，用于设置保存步数
- 修改 train_model 函数，移除了 max_steps 参数
- 更新了 trainer.train() 方法的调用，设置 resume_from_checkpoint=False
 2025-04-13 01:56:10 +08:00
carry
2d39b91764 feat(train_page): 添加模型训练超参数配置功能 
- 新增学习率、批次大小、最大训练步数等超参数输入组件
- 实现超参数在训练过程中的动态应用
- 调整训练参数以适应不同硬件环境
- 优化训练过程，支持按步数保存模型
 2025-04-13 01:04:27 +08:00
carry
539e14d39c feat(frontend): 完成了前端微调的代码逻辑 2025-04-12 18:42:22 +08:00
carry
611904cef9 feat(frontend): 添加数据集选择功能到训练页面 
- 在 train_page.py 中添加数据集选择下拉框
- 从全局变量中获取数据集列表并设置初始值
- 添加交互性和自定义值支持
 2025-04-11 19:43:34 +08:00
carry
a23ad88769 fix(frontend): 修复删除提示功能中的数据库连接错误 
- 将 prompt_store 更改为 get_prompt_store()，以解决数据库连接未建立的问题
- 优化了删除提示功能的代码，提高了系统稳定性
 2025-04-11 18:53:17 +08:00
carry
83427aaaba feat(frontend): 增加超参数设置并优化聊天页面布局 
- 在聊天页面添加了超参数输入框，包括最大生成长度、温度、Top-p 采样和重复惩罚
- 优化了聊天框的布局，使用 gr.Row() 和 gr.Column() 实现了更合理的界面结构
- 更新了 bot 函数，支持根据用户输入的超参数进行文本生成
- 修复了一些代码格式问题，提高了代码的可读性
 2025-04-11 18:48:13 +08:00
carry
61672021ef fix(frontend): 修复聊天页面并的流式回复 
- 导入 Thread 和 TextIteratorStreamer 以支持流式生成
- 重新设计 user 和 bot 函数，优化对话历史处理
- 添加异常处理和错误信息显示
- 改进模型和分词器的加载逻辑
- 优化聊天页面布局和交互
 2025-04-11 18:33:31 +08:00
carry
fb6157af05 feat(frontend): 初步实现聊天页面的智能回复功能 2025-04-11 18:08:38 +08:00
carry
ab7897351a fix(global_var): 修复全局变量多文件多副本的不统一问题 2025-04-11 18:04:42 +08:00
carry
0fa2b51a79 refactor(frontend): 优化模型管理页面的交互和显示 
- 将状态输出从 Textbox 改为 Label 组件，提高用户体验
- 添加 get_model_name 函数以获取模型名称，提高代码复用性
- 更新模型加载、卸载和保存后的状态显示，使信息更加准确
- 优化模型列表刷新功能，确保模型列表实时更新
 2025-04-11 00:14:40 +08:00
carry
2e552c186d refactor(frontend): 重构模型选择界面的变量命名 
- 将模型选择的 Dropdown 组件从 dropdown 重命名为 model_select_dropdown，提高代码可读性
- 更新 load_button 和 refresh_button 的输出目标，以适应新的变量名
 2025-04-10 21:19:58 +08:00
carry
1b3f546669 refactor(frontend): 重构前端页面并添加独立运行功能 
- 在 chat_page 和 prompt_manage_page 中添加了独立运行的入口
- 引入 sys 和 pathlib 模块以支持路径操作
- 修改了模块导入方式，使其能够作为独立脚本运行
- 优化了代码结构，提高了可读性和可维护性
 2025-04-10 21:18:05 +08:00
carry
402bc73dce feat(model_manage_page): 增加模型保存和刷新功能 
- 新增保存模型功能，用户可以输入模型名称并保存当前加载的模型
- 添加刷新模型列表按钮，用户可以随时更新模型下拉菜单中的选项
- 优化页面布局，使按钮和输入框更加合理地排列
 2025-04-10 20:18:03 +08:00
carry
a407fa1f76 feat(model_manage_page): 实现模型加载和卸载功能 
- 添加模型加载和卸载按钮
- 实现模型加载和卸载的逻辑
- 添加相关模块的导入
- 扫描模型目录并显示在下拉框中
 2025-04-10 19:52:08 +08:00