Compare commits
3 Commits
e00ff8a216
...
26629d68c0
Author | SHA1 | Date | |
---|---|---|---|
![]() |
26629d68c0 | ||
![]() |
148471e93c | ||
![]() |
5d6217c04f |
@ -99,7 +99,7 @@ q &= \text{round}\left(\frac{r - r_{\text{min}}}{s}\right) \\
|
||||
|
||||
INT8 量化通常被认为是性能和精度之间的良好折衷方案,可在保持较高模型准确性的同时,显著降低内存占用和提高推理速度。INT4 量化更为激进,可实现更高压缩率和更快速度,但通常伴随更明显精度下降,更适用于对资源限制非常严格但对精度要求相对较低的场景。选择合适的量化技术和级别需要在模型大小、推理速度和精度之间进行权衡,通常取决于具体应用场景和硬件条件。
|
||||
|
||||
\subsubsection{监督式微调概述}
|
||||
\subsection{监督式微调概述}
|
||||
|
||||
随着大语言模型在自然语言处理领域展现出强大的通用能力,如何有效地将这些模型适配到特定的应用场景或下游任务中,成为了研究与实践的关键环节。监督式微调(Supervised Fine-Tuning,SFT)正是实现这一目标的核心技术之一\cite{Dong2023}。它指的是在一个已经经过大规模无标注数据预训练的基础语言模型上,利用一套有标注的、高质量的特定任务数据(通常表现为``指令-响应''或``输入-输出''对的形式)进行进一步训练的过程。
|
||||
|
||||
|
526
毕业论文.pdf
526
毕业论文.pdf
@ -231,26 +231,24 @@ sZ{DD
|
||||
endstream
|
||||
endobj
|
||||
62 0 obj
|
||||
<</Filter/FlateDecode/Length 2437>>
|
||||
<</Filter/FlateDecode/Length 2436>>
|
||||
stream
|
||||
xÚíœËŽë¸†÷y
|
||||
¿@sXd/@Ћ2²Ð» ë–UyÿÍÝ*‹’-ÉÕ=Ì<07>ö1Ì<31>lÖ/²ÈŸôå¸Xþ—è.1d“ò¥ý/¿ñwþùÏâ÷Ï—Ÿ~‰H—<48>áâÀoãå<C3A3>Ç—<>î_u<7F>C Ô¼ÿûã—¿},
|
||||
‚ÉD®”æBÖçË[¶Æ‡|+ì!¸[ÁŸ~˜}MFdPù”µ€ã§fÀdrˆãg<@ØnB°&…yÈY„Á®–<C2AE>·)eùÕ}inÔ%Ÿr4Ñ©`É„¬CpBÐ!˜à•ˆl‚Õ!|4u$C¨C<C2A8>7^…`0)Ù é1t:D"㳑yˆ *„³`¼W"2t:Dã¢áÈ85ï<>Á@R"²Ò!(p:D c³y:Dž•ˆl¬%"“£
|
||||
ám™£up&ƒáxJOJD2‰tLr:¢‰Y‡ gbÐ!8CŠ>èÉD«CÄ`BÔ!š€:Dv&€
|
||||
<EFBFBD>ÖJJD2D:CN‡ph0o#ÖŠ"'H9ÖE³½¡ùÈÂc'eÀ³0àTK…wk<77><™¹}²p=Wj¯Á‡¡…6}Ñóïø¤Z –[Öïodí®W˜óÁ¸Wk‚ U=TÝœ·‹NÂàhg—jaЦ0lç:²‰Ë½u©{„1¯÷Æ7 cÞÍ;„AÉ -o€<6F>瞥0ž<30>>N.E EtСõÖYÛ5
P×óÂÈïŒCË)3-ÚóÇÇ<>`λàH09_Ç“6ƒ)<29>³W߯Öv”,y°ˆW<CB86>]lÑ5”°o‚å®mPÞÛº'þC1.ÚýU>Ðåó\t9gM.<ìòðÎÏæ=¬pëÚµ<08>/[lŸ@â¡6uÙSn9Ûßÿ¯[KâTµèÏ2äö¼ƒšýÁv–³ø0Øqûùº²†pòÖ7ÂËkDzX5áÏ7eî<65>sÕUÍþlÉ9àÅi¨ã6³%訅¦‰ž¬‡ŽÇBh2äÖ=É”>+U<>g.ôíò˜wx{@œ¬»<>GÜ–‡óC‘Æc9¤h"¥EgÞüÿ¨$M€¼ªÿt§`ÕäsÅjKÇL>úR“ï®®s½<73>ש вÄÓ<7F>r÷˜Lw¸WM&BL&BL&
b4™1™1™1™^GL&“1šL
|
||||
xÚíœËn+¹†÷y
|
||||
½€9,²Š ðb€L€ìxd¡¾e•EÞ3E¹«<C2B9>ú"5[eÏ3<>Ã:‚ø‘fýMù“ºüïËÿàÝ%†lR¾´ÿå7þÎ?ÿYýþùãòÓ/ñéò1\xãm¼¼ñï˜àòÑý믮s”š÷üãò·<C3B2>UA0™È•Ò\Èú|yËÖø<C396>o…=w+øÓ/ |