carry/gzhu-biyesheji
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
256 Commits 4 Branches 0 Tags
Commit Graph

27 Commits

Author SHA1 Message Date
carry
5fc3b4950b refactor(schema): 修改 LLMResponse 中 API 响应内容的字段名称 
- 将 LLMResponse 类中的 response_content 字段重命名为 content
- 更新字段类型从 dict 改为 str，以更准确地表示响应内容
- 在 reasoning.py 中相应地修改了调用 LLMResponse 时的参数
 2025-04-20 18:40:51 +08:00
carry
c28e4819d9 refactor(frontend/tools): 重命名生成示例 JSON 数据结构的函数 
- 将 generate_example_json 函数重命名为 generate_json_example
- 更新相关文件中的函数调用和引用
- 此更改旨在使函数名称更具描述性和一致性
 2025-04-20 16:11:36 +08:00
carry
4c9caff668 refactor(schema): 重构数据集和文档类的命名 
- 将 dataset、dataset_item 和 doc 类的首字母大写，以符合 Python 类命名惯例
- 更新相关模块中的导入和引用，以适应新的类名
- 此更改不影响功能，仅提高了代码的一致性和可读性
 2025-04-20 01:46:15 +08:00
carry
868fcd45ba refactor(project): 重构项目文件组织结构 
- 修改模型管理和训练页面的导入路径
- 更新 main.py 中的导入模块
- 调整 tools 包的内容，移除 model 模块
- 新建 train 包，包含 model 模块
- 优化 __init__.py 文件，简化导入语句
 2025-04-19 21:49:19 +08:00
carry
5a21c8598a feat(tools): 支持 OpenAI API 的 JSON 格式返回结果 
- 在 call_openai_api 函数中添加对 JSON 格式返回结果的支持
- 增加 llm_request.format 参数处理，将用户 prompt 与格式要求合并
- 添加 response_format 参数到 OpenAI API 请求
- 更新示例，使用 JSON 格式返回结果
 2025-04-19 21:10:22 +08:00
carry
1e829c9268 feat(tools): 优化 JSON 示例生成函数 
- 增加 include_optional 参数，决定是否包含可选字段
- 添加 list_length 参数，用于控制列表字段的示例长度
- 在列表示例中添加省略标记，更直观展示多元素列表
- 优化字典字段的示例生成逻辑
 2025-04-19 21:07:00 +08:00
carry
ff1e9731bc fix(tools): 修复call_openai_api的导出 2025-04-19 17:13:19 +08:00
carry
90fde639ff feat(tools): 增加 OpenAI API 多轮调用功能 
- 在 call_openai_api 函数中添加 rounds 参数，支持多次调用
- 累加每次调用的耗时和 token 使用情况
- 将多次调用的结果存储在 LLMRequest 对象的 response 列表中
- 更新函数返回类型，返回包含多次调用信息的 LLMRequest 对象
- 优化错误处理，记录每轮调用的错误信息
 2025-04-19 17:02:00 +08:00
carry
5fc90903fb feat(tools): 添加 reasoning.py 工具模块 
- 新增 reasoning.py 文件，实现与 OpenAI API 的交互
- 添加 call_openai_api 函数，用于发送请求并处理响应
- 支持可选的 LLMParameters 参数，以定制化请求
- 处理 API 响应中的 tokens 使用情况
- 提供错误处理和缓存 token 字段的处理
 2025-04-19 16:53:48 +08:00
carry
e16882953d fix(tools): 修复了optional字段无法被解析的问题 2025-04-18 22:00:51 +08:00
carry
ca1505304e fix(tools): 更新 tools/__init__.py 中的导入语句 
- 将 from .doc import * 改为 from .document import *
- 这个修改统一了文档处理模块的命名，提高了代码的一致性和可读性
 2025-04-15 16:31:55 +08:00
carry
df9aba0c6e refactor(tools): 重命名模块并更新导入 
- 将 scan_doc_dir.py 重命名为 document.py
- 将 socket.py 重命名为 port.py
- 更新 __init__.py 中的导入语句
- 在 port.py 中添加测试代码，用于查找可用端口
 2025-04-15 15:47:44 +08:00
carry
664944f0c5 feat(frontend): 优化 TensorBoard 端口占用问题 
- 新增端口检测逻辑，动态分配可用端口
- 修改 TensorBoard 启动过程，使用动态分配的端口
- 添加 socket 模块，用于端口检测
 2025-04-14 17:06:44 +08:00
carry
088067d335 train: 更新模型训练功能和日志记录方式 
- 修改训练目录结构，将检查点和日志分开保存
- 添加 TensorBoard 日志记录支持
- 移除自定义 LossCallback 类，简化训练流程
- 更新训练参数和回调机制，提高代码可读性
- 在 requirements.txt 中添加 tensorboardX 依赖
 2025-04-14 16:19:37 +08:00
carry
9fb31c46c8 feat(train): 添加训练过程中的日志记录和 loss 可视化功能 
- 新增 LossCallback 类，用于在训练过程中记录 loss 数据
- 在训练模型函数中添加回调，实现日志记录和 loss 可视化
- 优化训练过程中的输出信息，增加当前步数和 loss 值的打印
 2025-04-14 15:18:14 +08:00
carry
4f09823123 refactor(tools): 优化 train_model 函数定义 
- 添加类型注解，提高代码可读性和维护性
- 使用多行格式定义函数参数，提升代码格式美观
 2025-04-14 14:28:36 +08:00
carry
1a2ca3e244 refactor(train): 重构训练功能并移至新模块 
- 将训练逻辑从 train_page.py 移至 tools/model.py
- 新增 train_model 函数，包含完整的训练流程
- 更新 train_page.py 中的回调函数，使用新的训练函数
- 移除了 train_page.py 中未使用的导入
 2025-04-14 14:17:04 +08:00
carry
9784f2aed3 fix(tools): 修正__init__.py使得model.py正确导入 2025-04-12 01:16:07 +08:00
carry
8a9a080745 refactor(tools): 移除未使用的导入语句 
移除了 tools/model.py 文件中未使用的 get_chat_template 导入语句。这个修改提高了代码的可读性和维护性。
 2025-04-11 19:43:19 +08:00
carry
216bfe39ae feat(tools): 添加格式化对话数据的函数 
- 新增 formatting_prompts_func 函数，用于格式化对话数据
- 该函数将问题和答案组合成对话形式，并使用 tokenizer.apply_chat_template 进行格式化
- 更新 imports，添加了 unsloth.chat_templates 模块
 2025-04-11 17:56:46 +08:00
carry
cbb3a09dd8 feat(tools): 添加模型名称获取函数 
- 在 tools 目录下新增 model.py 文件
- 实现 get_model_name 函数，用于获取模型的名称
- 更新 tools/__init__.py，导入新的 get_model_name 函数
 2025-04-10 22:05:04 +08:00
carry
f582820443 feat(tools): 添加生成 Pydantic V2 模型示例 JSON 的工具脚本 
- 新增 json_example.py 脚本，用于生成 Pydantic V2 模型的示例 JSON 数据结构
- 支持列表、字典、可选类型以及基本数据类型（字符串、整数、浮点数、布尔值、日期和时间）的示例生成
- 可递归生成嵌套模型的示例 JSON
- 示例使用了项目中的 Q_A 模型，生成了包含多个 Q_A 对象的列表 JSON 结构
 2025-04-10 15:38:28 +08:00
carry
84fe78243a feat(tools): 添加 JSON 数据转换为 dataset 的工具脚本 
- 新增 convert_json_to_dataset 函数，用于将 JSON 数据转换为 dataset 对象
- 实现了从 JSON 文件读取数据、转换为 dataset 格式并输出到文件的功能
- 该工具可帮助用户将旧数据集快速转换为新的 dataset 格式
 2025-04-09 17:31:53 +08:00
carry
541d37c674 feat(schema): 新增数据集相关模型并添加文档扫描功能 
- 新增 dataset.py 文件，定义数据集相关模型
- 新增 tools 目录，包含解析 Markdown 和扫描文档的功能
- 修改 parse_markdown.py，增加处理 Markdown 文件的函数
- 新增 scan_doc_dir.py，实现文档目录扫描功能
 2025-04-09 13:02:18 +08:00
carry
3395b860e4 refactor(parse_markdown): 重构 Markdown 解析逻辑并使用 Pydantic 模型 
将 MarkdownNode 类重构为使用 Pydantic 模型，提高代码的可维护性和类型安全性。同时，将解析逻辑与节点操作分离，简化代码结构。
 2025-04-04 20:50:39 +08:00
carry
6f368e06d6 fix:修复了markdown解析时代码块中内容被识别的问题 2025-03-16 00:35:55 +08:00
carry
0a8b9633de feat:完成了markdown解析 2025-03-16 00:32:28 +08:00