carry
|
216bfe39ae
|
feat(tools): 添加格式化对话数据的函数
- 新增 formatting_prompts_func 函数，用于格式化对话数据
- 该函数将问题和答案组合成对话形式，并使用 tokenizer.apply_chat_template 进行格式化
- 更新 imports，添加了 unsloth.chat_templates 模块
|
2025-04-11 17:56:46 +08:00 |
|
carry
|
cbb3a09dd8
|
feat(tools): 添加模型名称获取函数
- 在 tools 目录下新增 model.py 文件
- 实现 get_model_name 函数，用于获取模型的名称
- 更新 tools/__init__.py，导入新的 get_model_name 函数
|
2025-04-10 22:05:04 +08:00 |
|
carry
|
f582820443
|
feat(tools): 添加生成 Pydantic V2 模型示例 JSON 的工具脚本
- 新增 json_example.py 脚本，用于生成 Pydantic V2 模型的示例 JSON 数据结构
- 支持列表、字典、可选类型以及基本数据类型（字符串、整数、浮点数、布尔值、日期和时间）的示例生成
- 可递归生成嵌套模型的示例 JSON
- 示例使用了项目中的 Q_A 模型，生成了包含多个 Q_A 对象的列表 JSON 结构
|
2025-04-10 15:38:28 +08:00 |
|
carry
|
84fe78243a
|
feat(tools): 添加 JSON 数据转换为 dataset 的工具脚本
- 新增 convert_json_to_dataset 函数，用于将 JSON 数据转换为 dataset 对象
- 实现了从 JSON 文件读取数据、转换为 dataset 格式并输出到文件的功能
- 该工具可帮助用户将旧数据集快速转换为新的 dataset 格式
|
2025-04-09 17:31:53 +08:00 |
|
carry
|
541d37c674
|
feat(schema): 新增数据集相关模型并添加文档扫描功能
- 新增 dataset.py 文件，定义数据集相关模型
- 新增 tools 目录，包含解析 Markdown 和扫描文档的功能
- 修改 parse_markdown.py，增加处理 Markdown 文件的函数
- 新增 scan_doc_dir.py，实现文档目录扫描功能
|
2025-04-09 13:02:18 +08:00 |
|
carry
|
3395b860e4
|
refactor(parse_markdown): 重构 Markdown 解析逻辑并使用 Pydantic 模型
将 MarkdownNode 类重构为使用 Pydantic 模型，提高代码的可维护性和类型安全性。同时，将解析逻辑与节点操作分离，简化代码结构。
|
2025-04-04 20:50:39 +08:00 |
|
carry
|
6f368e06d6
|
fix:修复了markdown解析时代码块中内容被识别的问题
|
2025-03-16 00:35:55 +08:00 |
|
carry
|
0a8b9633de
|
feat:完成了markdown解析
|
2025-03-16 00:32:28 +08:00 |
|