From 5d6217c04facd2b438f1a0c2fb5bde6a8f6a927a Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Thu, 29 May 2025 18:21:42 +0800 Subject: [PATCH] =?UTF-8?q?docs(paper):=20=E5=B0=86=E7=9B=91=E7=9D=A3?= =?UTF-8?q?=E5=BC=8F=E5=BE=AE=E8=B0=83=E7=AB=A0=E8=8A=82=E4=BB=8Esubsubsec?= =?UTF-8?q?tion=E5=8D=87=E7=BA=A7=E4=B8=BAsubsection?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 修改技术章节中的标题级别,使监督式微调部分在文档结构中更突出,与内容重要性相匹配 --- paper/latex/chapters/technology.tex | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/paper/latex/chapters/technology.tex b/paper/latex/chapters/technology.tex index 05247bd..93eb7fd 100644 --- a/paper/latex/chapters/technology.tex +++ b/paper/latex/chapters/technology.tex @@ -99,7 +99,7 @@ q &= \text{round}\left(\frac{r - r_{\text{min}}}{s}\right) \\ INT8 量化通常被认为是性能和精度之间的良好折衷方案,可在保持较高模型准确性的同时,显著降低内存占用和提高推理速度。INT4 量化更为激进,可实现更高压缩率和更快速度,但通常伴随更明显精度下降,更适用于对资源限制非常严格但对精度要求相对较低的场景。选择合适的量化技术和级别需要在模型大小、推理速度和精度之间进行权衡,通常取决于具体应用场景和硬件条件。 -\subsubsection{监督式微调概述} +\subsection{监督式微调概述} 随着大语言模型在自然语言处理领域展现出强大的通用能力,如何有效地将这些模型适配到特定的应用场景或下游任务中,成为了研究与实践的关键环节。监督式微调(Supervised Fine-Tuning,SFT)正是实现这一目标的核心技术之一\cite{Dong2023}。它指的是在一个已经经过大规模无标注数据预训练的基础语言模型上,利用一套有标注的、高质量的特定任务数据(通常表现为``指令-响应''或``输入-输出''对的形式)进行进一步训练的过程。