carry/gzhu-biyesheji
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Merge branch 'paper'

Browse Source
This commit is contained in:
carry 2025-05-29 18:22:00 +08:00
commit 148471e93c
1 changed files with 1 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
paper/latex/chapters/technology.tex
View File

@ -99,7 +99,7 @@ q &= \text{round}\left(\frac{r - r_{\text{min}}}{s}\right) \\
INT8 量化通常被认为是性能和精度之间的良好折衷方案，可在保持较高模型准确性的同时，显著降低内存占用和提高推理速度。INT4 量化更为激进，可实现更高压缩率和更快速度，但通常伴随更明显精度下降，更适用于对资源限制非常严格但对精度要求相对较低的场景。选择合适的量化技术和级别需要在模型大小、推理速度和精度之间进行权衡，通常取决于具体应用场景和硬件条件。
\subsubsection{监督式微调概述}
\subsection{监督式微调概述}
随着大语言模型在自然语言处理领域展现出强大的通用能力，如何有效地将这些模型适配到特定的应用场景或下游任务中，成为了研究与实践的关键环节。监督式微调（Supervised Fine-Tuning,SFT）正是实现这一目标的核心技术之一\cite{Dong2023}。它指的是在一个已经经过大规模无标注数据预训练的基础语言模型上，利用一套有标注的、高质量的特定任务数据（通常表现为``指令-响应''或``输入-输出''对的形式）进行进一步训练的过程。