From 6685b742eddd18371b25db7057fe0057853d8062 Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Thu, 24 Apr 2025 23:18:18 +0800 Subject: [PATCH 01/67] =?UTF-8?q?chore:=20=E6=B7=BB=E5=8A=A0LaTeX=E6=96=87?= =?UTF-8?q?=E6=A1=A3=E5=92=8C.gitignore=E9=85=8D=E7=BD=AE?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 添加了LaTeX文档模板和.gitignore文件中的LaTeX临时文件忽略规则，以支持论文编写和避免不必要的文件提交。 --- .gitignore | 24 +- paper/latex/document.tex | 435 ++++++++++++++++++++++++++++++++++ paper/latex/pic/logo/logo.jpg | Bin 0 -> 31620 bytes 3 files changed, 458 insertions(+), 1 deletion(-) create mode 100644 paper/latex/document.tex create mode 100644 paper/latex/pic/logo/logo.jpg diff --git a/.gitignore b/.gitignore index 43f8784..885a2c9 100644 --- a/.gitignore +++ b/.gitignore @@ -33,4 +33,26 @@ unsloth_compiled_cache # 测试和参考代码 test.ipynb test.py -refer/ \ No newline at end of file +refer/ + +# LaTeX临时文件 +*.aux +*.log +*.out +*.toc +*.synctex.gz +*.bbl +*.blg +*.dvi +*.fdb_latexmk +*.fls +*.lof +*.lot +*.idx +*.ilg +*.ind +*.nav +*.snm +*.vrb + +*.pdf \ No newline at end of file diff --git a/paper/latex/document.tex b/paper/latex/document.tex new file mode 100644 index 0000000..295a268 --- /dev/null +++ b/paper/latex/document.tex @@ -0,0 +1,435 @@ +\documentclass[12pt,a4paper]{article} +\usepackage{graphicx} +\usepackage{ctex} +\usepackage{indentfirst} +%\graphicspath{{chapter/}{figures/}} +\usepackage{CJK} +\usepackage{amsmath}%数学 + +%\usepackage[colorlinks,linkcolor=red]{hyperref}%超链接 + +\usepackage{fancyhdr} %使用fancyhdr包自定义页眉页脚 +%\pagestyle{empty} +\pagestyle{fancy} +%\pagestyle{plain}%没有页眉，页脚放页数 + +\usepackage{titlesec}%设置章节标题与正文间距为2行 +\titlespacing{\section}{0pt}{0pt}{2em} + +\usepackage{enumerate}%项目编号 + +\renewcommand{\figurename}{图}%将figure改为图 + +\usepackage[]{caption2}%去掉图片编号后的":" +\renewcommand{\captionlabeldelim}{} + +\renewcommand {\thefigure} {\thesection{}.\arabic{figure}}%图片索引该为按照章节 + +\renewcommand{\headrulewidth}{0pt} +\renewcommand{\footrulewidth}{0pt} +\lhead{} +\chead{} +\rhead{} +\lfoot{} +\cfoot{\thepage} +\rfoot{} + +\usepackage{booktabs}%表格用 + +\usepackage{titlesec}%修改标题格式宏包 +\titleformat{\section}{\centering\zihao{3}\songti\bfseries}{\arabic{section}.}{0.5em}{}%修改section标题格式 + +% 设置目录格式为宋体 +\renewcommand\contentsname{\songti 目录} + +\usepackage{multirow}%跨行表格 +\usepackage{abstract}%摘要 +\usepackage{setspace} %行间距的宏包 + +\usepackage{makecell}%表格竖线连续 + +\def\I{\vrule width1.2pt} +%!\I 就可以代替| 来画表格了 + +%可固定下划线长度 +\makeatletter +\newcommand\dlmu[2][4cm]{\hskip1pt\underline{\hb@xt@ #1{\hss#2\hss}}\hskip3pt} +\makeatother + +\usepackage{float}%可以用于禁止浮动体浮动 + + + +%目录超链接 +\usepackage[colorlinks,linkcolor=black,anchorcolor=blue,citecolor=black]{hyperref} + +\usepackage{listings}%可以插入代码 +\usepackage{xcolor}%语法高亮支持 + +%代码格式 +\definecolor{dkgreen}{rgb}{0,0.6,0} +\definecolor{gray}{rgb}{0.5,0.5,0.5} +\definecolor{mauve}{rgb}{0.58,0,0.82} +\usepackage{fontspec} +\setmonofont{Consolas} +\lstset{ % + numbers=left, + basicstyle=\tiny\ttfamily, + numberstyle=\tiny, + tabsize=4, + numbersep=5pt, + keywordstyle= \color{blue!70}, %关键词为蓝色 + commentstyle=\color{gray}, %注释为灰色 + frame=shadowbox, % 框架阴影效果 + rulesepcolor= \color{ red!20!green!20!blue!20} , + escapeinside={\%*}{*)}, + xleftmargin=2em, % 边界选项 + xrightmargin=2em, % 边界选项 + aboveskip=1em, % 边界选项 + framexleftmargin=2em, % 边界选项 + breaklines,%过长代码自动换行 +} + + + + +%设置页面格式 +\usepackage[left=3.0cm, right=2.6cm, top=2.54cm, bottom=2.54cm]{geometry} +\begin{document} + + + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + %% 封面部分 + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + \begin{titlepage} + % \begin{minipage}[c]{0.75\textwidth} + % \includegraphics[width=0.15\textwidth]{pic//logo//logo.jpg} + %% {\LARGE 机械与电气工程学院} + % \end{minipage} + + + \begin{figure}[H] + \centering + \includegraphics[scale=0.5]{pic//logo//logo.jpg} %1.png是图片文件的相对路径 + \end{figure} + \vspace{0.2cm} + \centering + + {\zihao{1}\songti{本科毕业论文（设计）}} + + \vspace{2.5cm} + + \begin{flushleft} + {{\songti \zihao{-3} \qquad\qquad\qquad 课题名称}\quad{\zihao{-4}\dlmu[7.5cm]{*************}}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 院}\quad\dlmu[7.5cm]{机械与电气工程学院}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 专\qquad 业}\quad\dlmu[7.5cm]{*************}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 班级名称}\quad\dlmu[7.5cm]{************* }\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 学生姓名}\quad\dlmu[7.5cm]{*************}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 号}\quad\dlmu[7.5cm]{*************}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 指导老师}\quad\dlmu[7.5cm]{*************}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 完成日期}\quad\dlmu[7.5cm]{*************}\par} + \end{flushleft} + + \vspace{4cm} + + {\songti \zihao{3} 教务处制} + + \end{titlepage} + + \renewcommand{\abstractname}{\scriptsize} + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + %% 摘要和关键词部分 + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + + \begin{center} + {\zihao{3}\textbf{*************系统设计}}\par + {\zihao{-4}\songti 电子信息工程 \quad 专业 \quad 电信151班 \quad ************* \par + 指导教师：****} + \end{center} + + + \begin{onecolabstract} + \noindent{}{\zihao{4}\textbf{摘要\qquad}}{\songti \zihao{-4}中文摘要内容******** + ************************************************************ + *************************************************************************** + ************************************************************* + ******************************************************** + *****************************************************************}\par + + \vspace{1ex} + + \noindent{}{\zihao{4}\textbf{关键词\qquad}}{\zihao{-4}\songti 关键词1；关键词2}\par + \end{onecolabstract} + + + \begin{onecolabstract} + % \setlength\parskip{0em} + \noindent{}{\zihao{4} \textbf{ABSTRACT\qquad}}{\zihao{-4}abstract in English ************* + ******************************************************************************************* + ******************************************************************************************* + *******************************************************************************************}\par + + + \vspace{1ex} + + \noindent{}{\zihao{4}\textbf{KEY WORDS\qquad}}{\zihao{-4}keywords1; keywords2}\par + \end{onecolabstract} + + + \newpage + + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + %% 目录部分 + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + \renewcommand{\contentsname}{\centerline{\zihao{-2}\textbf{目录}}} + + \tableofcontents + \newpage + + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + %% 正文部分 + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + { + \setlength{\baselineskip}{23pt} + + + + + \newpage + \section{绪论} + + + \subsection{课题背景} + ******************************************** + \subsection{国内外研究进展情况} + **************************************************** + + \subsection{本课题的目的及意义} + ************* + + \subsection{总体研究思路} + + ****************************************************************************** + + + + \newpage + \setcounter{section}{1} + \section*{结论} + \newcounter{结论编号} %创建一个计数器，这个计数用于给结论章节编号 + \setcounter{结论编号}{\value{section}} %计数器就像变量一样 + \addtocounter{结论编号}{1} + \addcontentsline{toc}{section}{\arabic{结论编号}\quad 结论\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} + ***************************************************************** + + + \newpage + \section*{致谢} + \addcontentsline{toc}{section}{致谢\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} + + *********************************************************************************************************************************************** + \par + \vspace{5ex} + \rightline{\zihao{3}{苏伟强\quad\qquad}} + \rightline{二O一九年五月十九日于广州} + \newpage + } + + %\begin{figure}[H] + % \centering + % \includegraphics[scale=0.81]{DSPswj.png} %1.png是图片文件的相对路径 + % \caption{DSP上位机程序} %caption是图片的标题 + % \label{DSPswj} %此处的label相当于一个图片的专属标志，目的是方便上下文的引用 + %\end{figure} + + + + + + + %参考文献 + \renewcommand\refname{参考文献} + \begin{thebibliography}{0} + \addcontentsline{toc}{section}{参考文献\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} + %\bibitem{Butterworth}Butterworth S. On the theory of filter amplifiers[J]. Wireless Engineer, 1930, 7(6): 536-541. + % + \bibitem{数字信号处理教材}程佩青. 数字信号处理教程[M]. 清华大学出版社有限公司, 2001. + % + %\bibitem{信号与系统}陈后金. 信号与系统[M]. 清华大学出版社有限公司, 2003. + % + %\bibitem{数字信号处理教材陈}陈后金. 数字信号处理.2版[M]. 高等教育出版社, 2008. + \end{thebibliography} + +\end{document} + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%双并列图片示例 +%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%\begin{figure}[H] +% \centering +% \begin{minipage}[t]{0,40\textwidth} + % \centering + % \includegraphics[scale=0.5]{ccjg.pdf} %1.png是图片文件的相对路径 + % \caption{IEEE 802.11层次结构} %caption是图片的标题 + % \label{p_ccjg} %此处的label相当于一个图片的专属标志，目的是方便上下文的引用 + % \end{minipage} +% \hfil +% \begin{minipage}[t]{0,50\textwidth} + % \centering + % \includegraphics[scale=1]{AODV.pdf} %1.png是图片文件的相对路径 + % \caption{AODV示意图} %caption是图片的标题 + % \label{p_AODV} %此处的label相当于一个图片的专属标志，目的是方便上下文的引用 + % \end{minipage} +%\end{figure} + + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%表格示例 +%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%\begin{table}[H] +% \centering +% \caption{802.11a/b/g物理层，MAC层参数} +% \begin{tabular}{ccccc} + % \toprule + % & 参数 & 802.11a & 802.11b & 802.11g \\ + % \midrule + % \multirow{4}[7]{*}{物理层} & 频带/Hz（freq\_） & $5*10^9$ & $2.4*10^9$ & $2.4*10^9$ \\ + % \cmidrule{3-5} & 通信感知范围\cite{bib13}（CSThresh\_） & $3.17291*10^9$ & $2.79*10^9$ & $2.79*10^9$ \\ + % \cmidrule{3-5} & 可通信范围\cite{bib13}（RXThresh\_） & $6.5556*10^{10}$ & $5.76*10^9$ & $5.76*10^9$ \\ + % \cmidrule{3-5} & 传输功率/W（Pt\_） & 0.281838 & 0.281838 & 0.281838 \\ + % \midrule + % \multirow{9}[17]{*}{MAC层} & 竞争窗口最小值\cite{bib12}/s（CWMin） & 15 & 31 & 15 \\ + % \cmidrule{3-5} & 竞争窗口最大值\cite{bib12}/s（CWMax） & 1023 & 1023 & 1023 \\ + % \cmidrule{3-5} & 时隙\cite{bib11}/s(SlotTime\_) & 0.00005 & 0.00002 & 0.000009s \\ + % \cmidrule{3-5} & SIFS\cite{bib14}\cite{bib11}/s(SIFS\_) & 0.000016 & 0.00001 & 0.000016s \\ + % \cmidrule{3-5} & 前导码长度\cite{bib14}(PreambleLength) & 96 & 144 & 120 \\ + % \cmidrule{3-5} & PLCP头部长度\cite{bib14}PLCPHeaderLength\_） & 24 & 48 & 24 \\ + % \cmidrule{3-5} & PLCP数据率\cite{bib14}/bps（PLCPDataRate\_） & $6*10^6$ & $1*10^6$ & $6*10^6$ \\ + % \cmidrule{3-5} & 最高速率\cite{bib14}/bps（dataRate） & $5.4*10^7$ & $1.1*10^7$ & $5.4*10^7$ \\ + % \cmidrule{3-5} & 最低速率\cite{bib14}/bps（basicRate\_） & $6*10^6$ & $1*10^6$ & $6*10^6$ \\ + % \bottomrule + % \end{tabular}% +% \label{t_abgcs}% +%\end{table}% + + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%插入代码示例 +%%%%%%%%%%%%title：代码文件标题 +%%%%%%%%%%%%language:语言，C++,C,Matlab，Python +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%插入代码的时候需要知：注释中同时出现标点符号，英文，中文时会互相影响， +%这个时候，在标点符号，英文后面都要追加空格，才能正常显示 +%\lstset{language=C++} +%\begin{lstlisting}[title=AODV100.tr] +% +%\end{lstlisting} + + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%对齐公式示例 +%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + +%\begin{align} +% \label{kk} +% k&=\dfrac{3Z_{11}^{'}}{2(1-l^2_2)^{3/2}}\\ +% \label{hh} +% h&=\frac{1}{\pi}\left[Z_{00}-\frac{k\pi}{2}+k\arcsin(l_2)+kl_2\sqrt{1-l^2_2} \right]\\ +% \label{ll} l&=\frac{1}{2}\left[\sqrt{\frac{5Z_{40}^{'}+3Z^{'}_{20}}{8Z_{20}}}+\sqrt{\frac{5Z_{11}^{'}+Z^{'}_{11}}{6Z_{11}}}\right]\\ +% \label{pp} +% \phi&=\arctan\left[\frac{Im[Z_{n1}]}{Re[Z_{n1}]}\right] +%\end{align} + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%表格示例2 +%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%\begin{table}[H] +% \centering +% \caption{NVIDIA$^{\textregistered}$ Jetson TK1配置一览} +% \vspace{0.5cm} +% \begin{tabular}{l} + % \Xhline{1.2pt} + % Tegra K1 SOC \\ + % NVIDIA$^{\textregistered}$ Kepler$^{\textregistered}$ GPU、192 个 CUDA 核心 \\ + % NVIDIA$^{\textregistered}$ 4-Plus-1™ 四核 ARM$^{\textregistered}$ Cortex™-A15 CPU \\ + % 2 GB x16 内存、64 位宽度 \\ + % 16 GB 4.51 eMMC 内存 \\ + % 1 个 USB 3.0 端口、A \\ + % 1 个 USB 2.0 端口、Micro AB\\ + % 1 个半迷你 PCIE 插槽\\ + % 1 个完整尺寸 SD/MMC 连接器\\ + % 1 个 RTL8111GS Realtek 千兆位以太网局域网 \\ + % 1 个 SATA 数据端口 \\ + % 1 个完整尺寸 HDMI 端口 \\ + % 1 个 RS232 串行端口 \\ + % SPI 4 兆字节引导闪存\\ + % 1 个带 Mic In 和 Line Out 的 ALC5639 Realtek 音频编解码器\\ + % 以下信号可通过扩展端口获得:DP/LVDS, Touch SPI 1x4 + 1x1 CSI-2, GPIOs, UART, HSIC, I$^2$C + % \\ + % \Xhline{1.2pt} + % \end{tabular}% +% \label{aaa}% +%\end{table}% + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%双并列表格示例 +%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%\begin{table}[H]\footnotesize +% \centering +% +% \begin{minipage}[t]{0,47\textwidth} + % \caption{上位机配置清单} + % \vspace{0.5cm} + % \centering + % \begin{tabular}{cc} + % \Xhline{1.2pt} + % 运行环境 & ubuntu14 (基于Cortex$^{\textregistered}$-A15芯片) \\ + % 编程语言 & C/C++ \\ + % 第三方库及组件 & GTK2.0，OpenCV2.4.10 \\ + % 开发环境 & Qt Creator 与 make工程管理器 \\ + % 编译工具链 & NVIDIA$^{\textregistered}$-ARM$^{\textregistered}$编译工具链 \\ + % 程序结构 & 模块化结构 \\ + % \Xhline{1.2pt} + % \end{tabular}% + % + % \label{pzqd}% + % \end{minipage} +% \hfil +% \hfil +% \begin{minipage}[t]{0,47\textwidth} + % \centering + % \caption{上位机功能清单} + % \vspace{0.5cm} + % \begin{tabular}{cc} + % \Xhline{1.2pt} + % 编号 & \multicolumn{1}{c}{功能描述} \\ + % \Xhline{1.2pt} + % 1 & \multicolumn{1}{c}{可打开/关闭摄像头} \\ + % 2 & 可通过摄像头捕获图片为目标图片 \\ + % 3 & 可从文件系统内选择图片并载入为目标图片 \\ + % 4 & 可以检测目标图片中圆形轮廓的半径和圆心 \\ + % 5 & 可以检测目标图片中平行直线的间距 \\ + % 6 & 检测算法的参数可自由调整 \\ + % \Xhline{1.2pt} + % \end{tabular}% + % \label{gn}% + % \end{minipage} +%\end{table}% diff --git a/paper/latex/pic/logo/logo.jpg b/paper/latex/pic/logo/logo.jpg new file mode 100644 index 0000000000000000000000000000000000000000..cc7e3806b54dc2f2a735f63cc9b1fa842c22fa2e GIT binary patch literal 31620 zcmeIb2UJtt*08%nuTrFU0j2jQ2n0l$h=59OA|0gn8bIkyKtMo2DI!uL(v%iDN|jy( z0!lB5V2C8ZAK&+!_dVbLojdN~j&c8S@A%lsN>+B}F7sJ4d(Ac1UMr{5r%M3!O$}`g z00aU7^SB3a3TH>F2Rb_dfUYhe2mk;HKm?Ejc(~jZ+=mAsS^yuH2jLz7NaC;caUjV* z@^m6Os1Jt6ojFP@(EM;>2B4gk{A|IWVz{q5cS?YWRr|1O?$&*gul zk)A7kPT-utIe~Km=LG&D@L#3E;A_tWXqIY12{AtE9sA|xRuCMG2% zA)}z9q#!4!V5YrDMaRy<$-&OT#>T}f%E!em%)`dUFDD=@E+H)~&B-UPbX8JOR7zU% z_f9~hq@)z&6ik$qOp=$_E=itwIc)=INC0h|2L-wW;L(8aX+Wo404GjcLR@s|cYx_1 z3kVONfRKoogp`aNCs0R?(-GeEb4}(lWAgSLGGdZm4T$YH8oRd(Y6w*u>P# z*3RC+(aG7x$Jft4ATTKS(c|ct*tqzF^o*yOS=rBWatn)!OJ0}0DSP|ArnauW;lszq zj?S*`p59NN`$oscCnl$+XJ+BcE8o7auB~ruB7f{3{6rn1e;xhS>$jf&T>ez-f76Qw zrxzXp0X_loZ@oZx0l0)uLqK>*f{0etfY`?CBDZ8D3ElOySJmyLJW_WM^bfp8$QXE~ z;g^xWRr^D;|4gx{|3{krrP$wk%>oqoAY9?$(*R)L@Q5EMj3E1uUaEA=&^d5UDwmy- z&EQ70zz+*id|^4v%z`BBPWYv@O%1KJ37eyKxeJCA=^8Ue952Vm0Rt66x_|p}&%mPn znpU+gTQaMgXAW=eFrmBeA97 zPAa~Ol)fkgI6~xMvwDb|vscS^-(0v#k_6oQHu%`D;uN3_Wy*GTI|WFu~4cS{42NHT?2m|6R(y`9h!`kM_VcvH)fMx zSC*aL75Mk#58IY(~P z-oddHSM>1laa;;>-yCv?S!I>ykf&ZMBY&c9i@kzmC|XX9MFq!{?OPHDCVlA5rCX9X zJO#+YfSvVXoZ@t!L)$Mti^`FG5jg}>dLPD*--o@7B=4p|a(IvgHr#563Zl zgRbGu?R#$&kB|qS5W|murcz@4Cw~&8xI(C&W-Xh?OIB-DHP!DbvR6QmW4B0Zottf- zSo`d*VD*v%WsY?9_}p)qDOz-dm(_w-JOQuVLj@*6x(Ffs?#UD00!=U?alw3U@sddV z6B@4eHiB;#yvD=tf%bdjLsgLw?a0ehVtd=K(!KDs64_iVqErZhZL05{S9R2bqR-xW*Up^zaMR+kZf z^k7h7QEN=37Ng&>upq%^lgEd@P&tZM^{UKdLpC|!&DVBU_hNkEAsSWX)emCvEV~(1 zp;wR;jkimjL#uB@4mS5+8EXk%Lh1sGk7r}@3b7m`qJHFPkxOYM$KMAEW#;X}LAE;< zsoh}Kz>H4oi@rWDH${|MCW>!oSqBT~X!R!re2x6H8le<*3UnP^NedxNDSbOLYdQ2P zUEnpDIUoBm8p`>;+W8c4+1lXIx2=!6b<#G+y|(YA!m+2$Mb^W zhNqiHQ&5e`zq~-zyGS3(F7`+!kzB-uwY)#kIEEjt@vw&Cf>)Bymc>-(DUi58gGlWh zl+$TSN9j!C=R8QDcwSTEsf`b-6qj*>IJrq48YV0(b{-{~HMuz_3iusPOBD>YWSS@l zU3hF~aGxPTMN{#!2SJ9GXIh!Ras)*#d@ua6@Ckja6=Epar|SCdNI#oMb>%eRxk7Nb zP32*5i_FZw21#y7v)Bz6;km_2uPsA5Q%n{XK|s~_qRN>=qPaf#X91Hli|*UTENXMg zq#3wLUl7OFVHe;_M*Gommw8n)`->zn5n;LOGe8|F?k$G4{l=ER@3ah}(R;g5HR9F4-0G3zDL)<(>SJ*@}Bb zW1vB=K`4&Xh)$o#z3JsfEAMFWn4h_gQtk6hJ_3#|jxOUtv&GIZk2VFWcxcs6l9yv^ zhP9D&yK*+gMr@D^cx(B=V=5uC@rYAEZ~TO2{e*3@@<+c5?-_Qj zA^lo7xyj0Lv7!!zYyDMUB*p#bOI(qf);1~}UvWmTzsMHK^(EBR4>g%?PQG%u8iB`q z3Iyrh-BaN(MP7qv$2Rj7t{?fwvri1QKzw;pL-TUg@e7`MDnIyeG_m(c0RFh82?32e z5W0sXkdn}Bij#N}pqE!fHGUU=QKYs-d0=(2V-o)qxb@2Ln3>Y}3K7Ys*1vNxDGl(a06Pql@m_R&s24Y4@SuGWMGas5h0!F_=PeCys; z#wo0(tGhH6?Yz^zh8Op%OLiRJg9wZh(PM36E(=%QBeG)4T^bjf+?ez3eohchpDs_5>0 zy5E;lvVA=|li`&;){P^<>*lJXR~T6y_wIfcXEuqgx^}E9ObY8~pkYtzMAIODa)>Tk>#9v!B<>;BDemy*eUF4rU@{E1xUii|7KE0rV7N zck{;$WNhrnlzu%hU#xhIaD#gV9SeCFZ0Lt47GurE4Wn^d5YD{R2=E&3bo7OBjyZfB%`4yF~F7Vb8uYDDWFG|gw{i9|l#mhg`aBTOccOCM6A#CIapbTi^QkM*@ zAucM4-xeXfG_1e0JIeHFHQ((IZP8T}(i=ucFc<&_>O&Br(!DKc#Pdbp!y>a-cFmKC;6o)8@914SMK_yT5-qF_3gyogx)ZRQ@bL|w(QQyy( zxc#rcvQ64u`}(||*vk2(@{__R|J~ua12DeC=aU9-h5io@=MOjM5|Bjm#HBJO$F@ZE zn={JOtn2noH70`sD}KDM|K4f(zx1a5qc1p5XHMY~>rTGDo(f`O?mnV6b{-GxMQuIY z!~$(R#Uw<<#Q;Tcpr?(ktGzGR1A9kjcO|~PCKw-=vz-#3v5c;`uBV#4le1Q^xBcDV z+xKjPU2Wy<_`u4PWQu_bfo`5|_P#b;fo>1oeG~$fxc}I@0xti1wHUXuqPLxc!krr$ z|B%3aQsVx{xda3Rhz3ZBdU!jENyy8~i-}8$NlJ>~Bt(3I+8!0;x2?;wJ5gR)x2@yLfDLXkC ziK~(h5)Zild4g`9e;xkcqQD≀>u2x4jK6WPQ)WWmU#HB>UW$)p_*nc!EMP=k9|7F8J^MN%-8l&T*ZIz?p>4t?L}unFyRo_}seAah-|4nS{@+>m1ja2%Jgy+`7(j zor%DigwL((9M_o$oJsiHy3TQ(iNKkJ&#mhm*O>^MN%-8l&T*ZIz?p>4t?L}unFyRo z_}seAah-|4nS{@+>m1ja2%Jgy+`7(jor%DigwL((9M_o$oJsiHy3TQ(iNKkJ&#mhm z*O>^MN%-8l&T*ZIz?p>4t?L}unFyRo_}sewkK_7#)P}t~Zm328ZcN4>W5)6E@P0pW z3jyv)Nb-C1H6a->F%by`83hG7896!S1zKv#3p5wV$*CErX)e;y)6-K>F)}gGG11b| z)BQ1K93Qt00U;?NAt@atIVIhhmp{jhXW$XygSgMfj01K5zaKMxe77(GH(>n#OQ{(j zRd-z7EQH}%S5R7LvI(kmF{@3#{5tPJU)3FPxxRsU!KhD4;qIVzXmYI{TEsWqil!`7 zFu5{rX=ck#;V7e#%>NX8O)39~A8F(@F{a*}p;5JO6RvAxGI z#;}QlgriamFMp{JTS4fb#2_P(~zc z2ZUDGt_4vL@0)tjOkdNC_AI;s?PCEV_r-ixVy$s|%Ce z*m18k5nW%sZZMuU{wQDV0qhM6+7*R51)_XZF}GZ-5qW53)RZQ&R<_l!yRyq9)^Ivp zcN8D<5pP$&OWflL`zxP&&o~KAfp+1aEiS#NPly*OnE@g#bwBI2&5|xh(3)2^rx?Wg ztn%uf0w5xo|JIVn^u-g>6(5Y`)_$lO5>@6XmoV6zRbS5leI{&xsN~Vo8|2~V0q)}k z@gjd}#)DnN9-Yvb5di%GAL}-LZ)KrX*+%*?C~CCqoU27ixCh^qZW@(UIM-_i}~46b|KQ1msaGsKoZU9P>InZ2EWW}GHr z9yb*F_Xxn>iGB%IAG<>Z!AM~lv%7j=`*0ikxXq~0Qm?7ATQt(vgk!J2Y^1RnqgP3S(?%|on8C?aQ3n-Nbs7=-G z(K$_;wWdKl$~FS3g;7&k=@n_ZtQ6%!7f5(MK!;8NvyMRC(EWh!@btQG$1J#OLY#WYi5(D-Jk>%le_`=|`BfFA<=FZg&bQGrULAf}CeZBmlB$1kX6l4& zu)@`vIa>u?PLy04XlsPK2@%{gcK%B~7 zAO2aHSHW^53UWcK^-?;UmltKTchDQXhdedMw)idK!r{XZ_PSGG<`h^Sie6zSJ6fKe zwa`TM2hMLd)z7y+ya0~Bx%TKww30eRBVg98pbHw?z!F|=cc;^Obe6naK1M4gFrnEE zEl&iy7)}gnmkk%%;;hxkfS&?PXi1DNA}jB0*`$nVq|UWOljl;uXjcyNU8*K#uP#U> zu}L3+FzF4SgNhUT<%=W+sa{YFABr0b_Rc*C&%~Yr(d{06C++3rFIMJHqi7(*SzO1os}B?O(f3z$08z~Rfh zsx2s|_Ey#02 z2ypydm-$xkezA=eJX5eVl)B_Qav;okBF((eKF-#^3Z7K zS1nYPc^4R=4W7kUouX{bDRE{wF3A1VFxglvaiy)-_36{HU)gB?=kCyFC(@xJQzwL> zH>a8jmji85jYhtkyf!x_zYb4h=e-jo_-S)~3EQch84TKEnZnYuqB15}H1s&yUw6#^ zGBT5S(i0-!lmkOpB(TNgtS4 znd38EBXK8~V#cD|Q*^n}O;)}%;l6iOx)$@(C=ipPf49&}aQ@aHc$uoJu4&Sp3(1#o z(#v^dc@Xav>^7nnwxR6y_HE^1Dx%JI{RD&r$3b7cAH{;-x-bS@l%|=RGt=g&O^}lm zj68hmM}G`{8_fiOwgvoCK9qQZU$AmcLsk}w0<(~~Sx&C&@K946`KD=zgXH}IKo$RT zllYD$D)kf~SUxVajUmqoXR{F0xiZ3PZBA@7gilZV-8jGW`0eqJ!j${UGPq*%I2pvv zii2})DA4a0dy^?ks>&}{Oe$CyhX=)|K-aDTH_NUS-HPG;WpQAJ5lj$JQu(vuunIyZ zuB=6b1M8EyrKzEs7b0DQc+?-V2wcf>Fvyx=a~V(}u#1dL%P)*jy3neRJJKtKZVV%O zQX|9R^EL?qXP#UdMR@TEz5Cn=nHxsd(n`}^nWw`28!)=TxE_(;oy5d>$IBFgxI^i4 z6B)2gzVg*p16DKX+Z1=Ou>-Amt^Fz!QY#X3;P*+XN3-S5JXQZNnvWBedAL)87*)FR z{f=Mb#~>ZMQ=q7_qDMb$R=mw;B0Btd3a*Ex)ztqmb_zTk867^`JeusUK zf^s;SL!kg3+rh~i*fBXH=I+bRuzxpU;nsEtvUL#hSs{2bry^Ow)8$F3nK;mw1KOVJrl9dLXPmItZhN7X7i-$+D2P zqDN(UV{$4BnVIRYkm*z!9rJy@DQ1Swj^mjOc0l5IgNJFDJ(`4Slc!x-?n^jtpz$rF zSd5HLnCtcN!i%#Dv-RK7g2Pk^sP9GGiy|SQF`wAy!(N2K%g{O)4m9_*rFT{?lY`K& zAG5uemwu(uhPXZYeCHay%p)-@y$}jghqPZv_E~1Xxv=oHKKcHJ_h&}|Vq%B3QJVZ! zait9t3J6*#CMFlU9rDIf`-$|RL(e+>*1nY5DNqM9!{S_nC|7iNXE$ekc4vsvogtw) z`~2OlzNhYZTEc6&d_3$%CL=K+Z=hpPv;c8}bOC#K8;1yzIJQp5(p){BghMol*G9q~RcMzhCT6b{!(Nys^FgI1=elF<#Q z6EtY)g8{VlvU9fZui4y(K2{CPOTYNrgCR6@Kk?UH)D~JfCt*wPtU>t?!5@GBLEl%bD@IR^=t;a{ZbM?1f7&}*p&Sn{7UW^g$Kc?pgL3NuaEEm~BZM?u zAkel4W%SN^!O1L1A<2JA<=J({l7c*LpY!B0rD(0>gpD z*AH7m-?Jq0Ul`?$Q_Zm4LhV@(<0i2IFTGx@wNAd@SPzM#bwXvd?g?pBH`F@y9^Nt3 zlcp+PZGH<*IR!56Vl~~CnU%Q%tHQ#WW*3wU>&jn$)XIA++;q4yqbsTpE^!fB(L-Oc z-eF$hOj#uV*-ypNf2HJYpno8Ds>##PL;b!aLkrxTC2?RbDh@5PfrvAjkVsrtC?yBE2oReD2YDcd77Q8ZltYp*_`G%9$A5&4y5)w ztjl_~X^HP~E6>R=$F(VGG;efqhU%Dya;M1ZD%qx;k@Z5?=BH1?4KZBbC@1bKk2Q~r z_)b$y1yIj+T%gFfs{VQ7v&?>Kmn-LtW>>3nHL@Vd&pP%Zx?Il_x%kzUp}KGTS#NHk z$`wI6fR{4qzVSCU>-SVUgh;90saeY5N6p${RmG3L&Tr05UY74!&DZ!b$M@0QbsH89 zL#SV~A05?;3s+3@m^lftrtF}2pwyx`V|=aVr0441?av_8?FLNn$?z-zZNCpvN9~#B z#KT;j(yJ$%T}kE$qE;{TBF=E4(P6L9#&;gUtMc9k#&&HhHeGvhb8H($lMbG2HPM>h z&bwD&U=_UtMf0w;fk_9_7pGnGg#^WUCS|y({XTb*GkPnm?N$a4LbqcP7uy=-thm7! zLPhS^zq>Z*7v^5+L2xsHdB*;VH0bW-cM|(-*nyj0sD@G_PXUC%A}N+91!Go+majl( z_smxHOf?(6bzOGtpNV6`NBO*0zM8B8GEgOUs@nTq`PYP6BMCfwmi8hO>C>MFWxEEw zq1c_Jt97O(4sgMwE@^zkfVUb`UU7C@T#_3X$(D15yM~yQ-uuM*?8d8vHBLFbVAOM} zo1#r1^zjM|El|2+2tTI6INn7Em7sMrLQ-okV^7#yQoz?%J%k2w@08S+`=8Ldb~b}? zoCMLoUSh99=;qO*mfC#J^<-mx6K1`V3V!M^D67u~@~ipwU(7wehC9u~z}Zva9{SoF z>}5ni%x)?Ye(q_=GeOqw)31KH}(x z)}s52j5)9TC)SAlM!$`X-xrsfQ=rCihaR3f8v;)*NK%v@CJ{k}94p)AJgmB2u6Qe0 z927}$^}g!L6D6}&2HXiapY)yrG++lqq*cj^=}zr>-5Z+(r3(viNBh8;)I1&mei8~5 zvcbbVrSjd}*blgC)_;vAzyR=4@lkhnJj`7zZgi%`QkAYg%k9xAAi`Y}B|sMXaqFDx&G-v23I{o)qLc1tKf&sT}vA`QXmYR0!8LE4B~&ggvP*O`LxO z6;U+`1+H9+tuktI;V=7dQ6Fd~#9eRtY4~KWMs`3cI$}Macf@Tq<+EsJ?vVF(a=j%? zGW998kMx_Tm$jjR?llm$6KjMHslf7~A3+1vthJUWYRyY)3i>_Q2a1#XzD`68uUJjs z8c0vAFNAl)n3ZX^o$3dfdREsy*TLugu4odWLRlRp+} zNBL0TSg06YS)2DT1*`eo#f+bZ&<60*D^7%75X5<|1iAM3r(QLB>h_p!_2{bM4?p#! zrmnARXqFbG`f&Q-i-$(3fWT_lF zzd4ZwIY=szA+1v(bx=lruEhT$+=0nt3zv~3XWrZJf4Mq z2lR*c%{6HgJp5#kqsssFUjBs0b$@(hQ8$cO(HSF$3j|3to4yV_1qMbuLQR+RNDq!l zpG$Q#8C_?C^vg5bJTQLqW1RYe7Zm6DYLC6jTkh?$RQ+b)@72g5G4+o^SdiF{O z4IA-)E+_E6`KN{B4}zUIBNo_?iP;H!PlkuqYNET7~G zj0)l+Hr=oc+1{#LR4#jE;mW}r=K!X4ey4poCuvC_pm#S<@u5dsgW1U=7x`By%Zv&4 zOl|!H*O#c--fXa1uHjLdXp7d5j`C%11!Q~A>w5_CG`{U+q*IDNYx%-YAEF3T3a}tgv z&ZtJW!fG!MN3w3F2i~_Q0K0tG>j}6C&(v}Aa^cb)#}*Mf5O(Ec!kWI$BZ-q;(Pr85 zLD1_g^Nqq7@`$%?J1b#n*Xhk8-Vom|mI{E5g3;W&CChokk4|J8#uYo^I&ManN|=dt zVv_3m%6bLq<_gM`f4ZUyaTf)>nNTP6hZAu`Y`id5z_olnzAjlgMAlDJUQ(B+huKl_ z=|hSd_W9-35ws8j(zysaVP4NCL3DqN)fwZSTh$)Orj-!k9p%{F*5SOhbRQ7XIKXd& z#=t!G=FFF&+XYn{Y3PvlV3EC;I({jSs!i@?zx}pfg?<{z1~HOEtMep^_Y*K#A5-HB zD4Qjat{nmS%*gO~XXtuBV*JCsi#%81nXv;YQk`WKR9p#G++J8M%_1T;nDZ6yRJFMrBz^8S22>_icq`pPVxBBH;VIIw2q_gX#-%!x0;aJG~*!I*J^AlPzR-ih%=(Rz4W@_ZNsT+rL1va*)P|VpuEQG!d|>Iyat86EWq0YfQ%RbtqYn^ zn{P~J1sEHPn{`rl&k4=zve{TU7?PEI`W~mxnBPX$@UKqvKb`5qW?NM8@#|(Kj5t;) z!(xKWYKzglaJ1Ho%T)9`e#Rz`Me<;ZWKlVwqAZRxtoHEHWZS~&P^OV9+&Uv1rO<&C zfI8|HL+|mL;gf@&>7y8#O)x?SGNU}UwAK*q~v@7RTFNwFaX71C{* z_Armt7(grCP!k&?*dg9C?&Cz@`VywWT_;q?lG5(IIMnjclFHZyi`_N{{QFb3`2nfu zjvAZW=3*JO&_S;e%g96P?L9=w*pgnmH3^zy!j`hcq|o9sze_m=J5pJ7Ev=<0CWyW^UkSqfdZ%ZLp9 zNZsb3MNvEJ%&=Klq4gX-{KZ}m)lBv>=i`HkT+7>sI?irf5!n4IvE^7Ocs-iyJeo%i2mZV)Bcd}U@Jkdop-)F}E z27iePEkZvE-5!P~UcX+uAQ+|6<+yA1l>)M|SQ5yIrQz$8W3;AI<_U}!m7O(Nf9L!I z7YS722*P$j&?NOGSX510ZjVH zt?|vnwCE4E1(*$pS!+c2O9OR!;CJ`KpXrtZNy)QleM#+ge*7nB7*a~u~qoJ!~Hg0?2!TVaH zyIj}3fg2KCaoRoWy)7XDSh_@1{fFaH#h}tq33RZ#j2M}7b|ifzU5(4pBld((MOn$- zpPsR0Ieepsw!)SQtltYm-Vb+NR;UO<_Qo+>Yq3w3C4=k5E+zx7KR- zh?^~v@kV_2^U;XJH>y#Kc4?TwuN)7FWbXc-LTgjyK z-bP9%$Br)FxWx0qkTgqiTmKg!u;%$KywT~XJ2uX@NmuV?OT&2W+^4J%*M4~;6Nls& z!;$ePeYgOTr|YjkT^z|w5Kx}TV z3-;cj)wk(qK^KHdti-y(Y4y&inRoZ=n*N8zzuxzG^0pB~;p4T1V@E6)aUHBDSKWG3NG-EZe%6jV5*#mDHR`cC$`YA<(5eO zwMr*WocZ?VQuyo^%W57RL+Vkddwoi`=COPF>JR$_X^xU-5kj%!5NE2#v$s!yhERQk zTYh`i{!h$}-YH4rCF9P;nc?Nd-mRYOjuZMR#hdB3AB1VACBJ(@I1lywron9NVFaxV zr^Y#|OjxgFHyMvsuE6(G?cO<8$K38)UJq;Ld@-r6{=nzZwDInDm9YNh0<=Kv_6po6 zUm%=Y{mr~aQ*))%?WT`ZJ)ZA{t*q6)mLttO!OTTyc8rcTk_!GT&9_C&qVeMhe4Or) z%p+~?3Mq=Uwdi`;3mSUC$DRmIEG^%XTr{t?Ut*X~&jmRLrMm_a*S)=!O$glDdX1F! zt+T8fvO5+ju=K~}p?*t?#M83b@ExU!+}Xj`LCsLvKGNsJ{ti5$NkK};*;Ex}Tm&+9 zSy!a_f!HG_zI6=t=1q+4@x@=c`w)7Zl6I{UuEw;zuh2f7${Y<`+k+KTcT>Fwxhzr- zg|<@BmrsGVy_hM^_mD@5MxlI#oB3B-b5G1$%uf2QB|gm<&YCaO+BCh`hnu05i(31H zTW_LhDWEeGlMg}+xS^bd4>gPC%6_m>Bk?X?Vv@pZxuDAeLT|vqXu+x8V@3<}9Zjn- zMRkWxVqMti{S?r!{ue>{Q=oM)ygd9fxVEPNb1ziLn%-<9eSHemaHUuOUBEtrK!*@E z6{}@9{%G9$nxPnbc*i1ME0^gY794QOyh$v#|Z1BJq>iHrnEQ933bP*}2m280NT0U=fJx#|$jLeA1vyjlZ7r^0mV zu3l%?rYyD3&ctPWt2U|cvr&e1=+7&zkT@{&rIV?NS98ZXaFaEW*Bkmt;_+?EL2?vL zj;()E^IZzl-;?hE)cdiO8yg5-&D6+7QQr%X~*uO@)&i9k8@BwUdnO=v^UBD4jv9 zbvAgLp>0)i=ihG{+~_?P>6FE5hRMoe`{FK049^xNBrw_5$6PH;evnKjSP0-nwgDHS zUca9HBX&}5He+rY1apkyrx<0n`|(8dP|0MaOu2NlV&sp2Fz0h?gxQW6E95bRN_x!a z{ql-=u5SZZ8h0;1q;6_!DHKzhw5|&rV)R(Cu{=yd(4a@Lgj+0T#dmF z@9OkTqJ?+6;0AQwLj%{}rf74K0aG77CJZf@u4P_|k`d#5FK(!g&zl|$D7o&dp~{cn zE8fLu1?I0U^|pnuzOd@q$ela|Ovc8uVHP%7vPmC*ll`xMQDMo4Ah0@asB(n#NE~n!`O?9+Q%ied5esJH<@Z-@%8m9{d4b`WbPM- zX4KFBiUi$zk~U(P@`db#FL1G~@vsv@YZVCTnpIzjub7dnKpB5|R+1{n>|KiKGmOPd z9IF{8hL3>Xb9RDfLv*#89SaL~wDdLIs+ zi;_)*?*wMtxI>2fi-~k|cb|-?Tbfg(v(1Ssa#&ib<*7$l-D{y>1}j;__E^KrGb?r1 zAOic85kXuBFOlS@UM2sO%sfQw38@S+wRiSF0{ymQsx6p0?bhMpp@5I~-7=a^R`$Um zW$&W-38%K>473MQrvt*IDCV&&M&ybLzcjLjX^{1Jk({*cch$}-Ez^@JfPP|X5LUgo zZTUL97j+^StBcev&gT0Z^wK{CB85z+4$e6#%dinBH zVg*)8WH{Dv_q3}3fxTEaSCOXf<+#~BV~ zUcz>nS@8IvZv^`>Y0r}m2rf)){Ly{!$6Yl4bYNc0g>Q2mRep%0Lu$PBDdmD)n2$es6b^xwMOR1aqkrtXj{mP40 rt*q{U%MP_sRoqr7Z(D9jNC*h|9TfSyljmQmiGNph{7+kVI`h8(nGD8E literal 0 HcmV?d00001 From d653e05a61ee803a11d1350601b7af6049967c6f Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 00:35:01 +0800 Subject: [PATCH 02/67] =?UTF-8?q?docs(latex):=20=E6=B7=BB=E5=8A=A0?= =?UTF-8?q?=E8=AE=BA=E6=96=87LaTeX=E6=A8=A1=E6=9D=BF=E6=96=87=E4=BB=B6?= =?UTF-8?q?=E5=B9=B6=E5=88=A0=E9=99=A4=E6=97=A7=E6=96=87=E6=A1=A3?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 添加了新的LaTeX模板文件，包括章节文件（chapter1.tex、conclusion.tex、acknowledgement.tex、references.tex）和主文件（main.tex），并删除了旧的document.tex文件。这些文件用于构建毕业论文的结构和内容。 --- paper/latex/chapters/acknowledgement.tex | 10 + paper/latex/chapters/chapter1.tex | 15 + paper/latex/chapters/conclusion.tex | 8 + paper/latex/chapters/references.tex | 13 + paper/latex/document.tex | 435 ----------------------- paper/latex/main.tex | 216 +++++++++++ paper/latex/reference.tex | 164 +++++++++ 7 files changed, 426 insertions(+), 435 deletions(-) create mode 100644 paper/latex/chapters/acknowledgement.tex create mode 100644 paper/latex/chapters/chapter1.tex create mode 100644 paper/latex/chapters/conclusion.tex create mode 100644 paper/latex/chapters/references.tex delete mode 100644 paper/latex/document.tex create mode 100644 paper/latex/main.tex create mode 100644 paper/latex/reference.tex diff --git a/paper/latex/chapters/acknowledgement.tex b/paper/latex/chapters/acknowledgement.tex new file mode 100644 index 0000000..85631a3 --- /dev/null +++ b/paper/latex/chapters/acknowledgement.tex @@ -0,0 +1,10 @@ +% 致谢章节 + +\section*{致谢} +\addcontentsline{toc}{section}{致谢\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} + +*********************************************************************************************************************************************** +\par +\vspace{5ex} +\rightline{\zihao{3}{苏伟强\quad\qquad}} +\rightline{二O一九年五月十九日于广州} \ No newline at end of file diff --git a/paper/latex/chapters/chapter1.tex b/paper/latex/chapters/chapter1.tex new file mode 100644 index 0000000..0c89898 --- /dev/null +++ b/paper/latex/chapters/chapter1.tex @@ -0,0 +1,15 @@ +% 第一章：绪论 + +\section{绪论} + +\subsection{课题背景} +******************************************** +\subsection{国内外研究进展情况} +**************************************************** + +\subsection{本课题的目的及意义} +************* + +\subsection{总体研究思路} + +****************************************************************************** \ No newline at end of file diff --git a/paper/latex/chapters/conclusion.tex b/paper/latex/chapters/conclusion.tex new file mode 100644 index 0000000..2863455 --- /dev/null +++ b/paper/latex/chapters/conclusion.tex @@ -0,0 +1,8 @@ +% 结论章节 + +\section*{结论} +\newcounter{结论编号} %创建一个计数器，这个计数用于给结论章节编号 +\setcounter{结论编号}{\value{section}} %计数器就像变量一样 +\addtocounter{结论编号}{1} +\addcontentsline{toc}{section}{\arabic{结论编号}\quad 结论\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} +***************************************************************** \ No newline at end of file diff --git a/paper/latex/chapters/references.tex b/paper/latex/chapters/references.tex new file mode 100644 index 0000000..0fa2842 --- /dev/null +++ b/paper/latex/chapters/references.tex @@ -0,0 +1,13 @@ +% 参考文献章节 + +\renewcommand\refname{参考文献} +\begin{thebibliography}{0} + \addcontentsline{toc}{section}{参考文献\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} + %\bibitem{Butterworth}Butterworth S. On the theory of filter amplifiers[J]. Wireless Engineer, 1930, 7(6): 536-541. + % + \bibitem{数字信号处理教材}程佩青. 数字信号处理教程[M]. 清华大学出版社有限公司, 2001. + % + %\bibitem{信号与系统}陈后金. 信号与系统[M]. 清华大学出版社有限公司, 2003. + % + %\bibitem{数字信号处理教材陈}陈后金. 数字信号处理.2版[M]. 高等教育出版社, 2008. +\end{thebibliography} \ No newline at end of file diff --git a/paper/latex/document.tex b/paper/latex/document.tex deleted file mode 100644 index 295a268..0000000 --- a/paper/latex/document.tex +++ /dev/null @@ -1,435 +0,0 @@ -\documentclass[12pt,a4paper]{article} -\usepackage{graphicx} -\usepackage{ctex} -\usepackage{indentfirst} -%\graphicspath{{chapter/}{figures/}} -\usepackage{CJK} -\usepackage{amsmath}%数学 - -%\usepackage[colorlinks,linkcolor=red]{hyperref}%超链接 - -\usepackage{fancyhdr} %使用fancyhdr包自定义页眉页脚 -%\pagestyle{empty} -\pagestyle{fancy} -%\pagestyle{plain}%没有页眉，页脚放页数 - -\usepackage{titlesec}%设置章节标题与正文间距为2行 -\titlespacing{\section}{0pt}{0pt}{2em} - -\usepackage{enumerate}%项目编号 - -\renewcommand{\figurename}{图}%将figure改为图 - -\usepackage[]{caption2}%去掉图片编号后的":" -\renewcommand{\captionlabeldelim}{} - -\renewcommand {\thefigure} {\thesection{}.\arabic{figure}}%图片索引该为按照章节 - -\renewcommand{\headrulewidth}{0pt} -\renewcommand{\footrulewidth}{0pt} -\lhead{} -\chead{} -\rhead{} -\lfoot{} -\cfoot{\thepage} -\rfoot{} - -\usepackage{booktabs}%表格用 - -\usepackage{titlesec}%修改标题格式宏包 -\titleformat{\section}{\centering\zihao{3}\songti\bfseries}{\arabic{section}.}{0.5em}{}%修改section标题格式 - -% 设置目录格式为宋体 -\renewcommand\contentsname{\songti 目录} - -\usepackage{multirow}%跨行表格 -\usepackage{abstract}%摘要 -\usepackage{setspace} %行间距的宏包 - -\usepackage{makecell}%表格竖线连续 - -\def\I{\vrule width1.2pt} -%!\I 就可以代替| 来画表格了 - -%可固定下划线长度 -\makeatletter -\newcommand\dlmu[2][4cm]{\hskip1pt\underline{\hb@xt@ #1{\hss#2\hss}}\hskip3pt} -\makeatother - -\usepackage{float}%可以用于禁止浮动体浮动 - - - -%目录超链接 -\usepackage[colorlinks,linkcolor=black,anchorcolor=blue,citecolor=black]{hyperref} - -\usepackage{listings}%可以插入代码 -\usepackage{xcolor}%语法高亮支持 - -%代码格式 -\definecolor{dkgreen}{rgb}{0,0.6,0} -\definecolor{gray}{rgb}{0.5,0.5,0.5} -\definecolor{mauve}{rgb}{0.58,0,0.82} -\usepackage{fontspec} -\setmonofont{Consolas} -\lstset{ % - numbers=left, - basicstyle=\tiny\ttfamily, - numberstyle=\tiny, - tabsize=4, - numbersep=5pt, - keywordstyle= \color{blue!70}, %关键词为蓝色 - commentstyle=\color{gray}, %注释为灰色 - frame=shadowbox, % 框架阴影效果 - rulesepcolor= \color{ red!20!green!20!blue!20} , - escapeinside={\%*}{*)}, - xleftmargin=2em, % 边界选项 - xrightmargin=2em, % 边界选项 - aboveskip=1em, % 边界选项 - framexleftmargin=2em, % 边界选项 - breaklines,%过长代码自动换行 -} - - - - -%设置页面格式 -\usepackage[left=3.0cm, right=2.6cm, top=2.54cm, bottom=2.54cm]{geometry} -\begin{document} - - - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - %% 封面部分 - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - \begin{titlepage} - % \begin{minipage}[c]{0.75\textwidth} - % \includegraphics[width=0.15\textwidth]{pic//logo//logo.jpg} - %% {\LARGE 机械与电气工程学院} - % \end{minipage} - - - \begin{figure}[H] - \centering - \includegraphics[scale=0.5]{pic//logo//logo.jpg} %1.png是图片文件的相对路径 - \end{figure} - \vspace{0.2cm} - \centering - - {\zihao{1}\songti{本科毕业论文（设计）}} - - \vspace{2.5cm} - - \begin{flushleft} - {{\songti \zihao{-3} \qquad\qquad\qquad 课题名称}\quad{\zihao{-4}\dlmu[7.5cm]{*************}}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 院}\quad\dlmu[7.5cm]{机械与电气工程学院}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 专\qquad 业}\quad\dlmu[7.5cm]{*************}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 班级名称}\quad\dlmu[7.5cm]{************* }\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 学生姓名}\quad\dlmu[7.5cm]{*************}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 号}\quad\dlmu[7.5cm]{*************}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 指导老师}\quad\dlmu[7.5cm]{*************}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 完成日期}\quad\dlmu[7.5cm]{*************}\par} - \end{flushleft} - - \vspace{4cm} - - {\songti \zihao{3} 教务处制} - - \end{titlepage} - - \renewcommand{\abstractname}{\scriptsize} - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - %% 摘要和关键词部分 - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - - \begin{center} - {\zihao{3}\textbf{*************系统设计}}\par - {\zihao{-4}\songti 电子信息工程 \quad 专业 \quad 电信151班 \quad ************* \par - 指导教师：****} - \end{center} - - - \begin{onecolabstract} - \noindent{}{\zihao{4}\textbf{摘要\qquad}}{\songti \zihao{-4}中文摘要内容******** - ************************************************************ - *************************************************************************** - ************************************************************* - ******************************************************** - *****************************************************************}\par - - \vspace{1ex} - - \noindent{}{\zihao{4}\textbf{关键词\qquad}}{\zihao{-4}\songti 关键词1；关键词2}\par - \end{onecolabstract} - - - \begin{onecolabstract} - % \setlength\parskip{0em} - \noindent{}{\zihao{4} \textbf{ABSTRACT\qquad}}{\zihao{-4}abstract in English ************* - ******************************************************************************************* - ******************************************************************************************* - *******************************************************************************************}\par - - - \vspace{1ex} - - \noindent{}{\zihao{4}\textbf{KEY WORDS\qquad}}{\zihao{-4}keywords1; keywords2}\par - \end{onecolabstract} - - - \newpage - - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - %% 目录部分 - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - \renewcommand{\contentsname}{\centerline{\zihao{-2}\textbf{目录}}} - - \tableofcontents - \newpage - - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - %% 正文部分 - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - { - \setlength{\baselineskip}{23pt} - - - - - \newpage - \section{绪论} - - - \subsection{课题背景} - ******************************************** - \subsection{国内外研究进展情况} - **************************************************** - - \subsection{本课题的目的及意义} - ************* - - \subsection{总体研究思路} - - ****************************************************************************** - - - - \newpage - \setcounter{section}{1} - \section*{结论} - \newcounter{结论编号} %创建一个计数器，这个计数用于给结论章节编号 - \setcounter{结论编号}{\value{section}} %计数器就像变量一样 - \addtocounter{结论编号}{1} - \addcontentsline{toc}{section}{\arabic{结论编号}\quad 结论\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} - ***************************************************************** - - - \newpage - \section*{致谢} - \addcontentsline{toc}{section}{致谢\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} - - *********************************************************************************************************************************************** - \par - \vspace{5ex} - \rightline{\zihao{3}{苏伟强\quad\qquad}} - \rightline{二O一九年五月十九日于广州} - \newpage - } - - %\begin{figure}[H] - % \centering - % \includegraphics[scale=0.81]{DSPswj.png} %1.png是图片文件的相对路径 - % \caption{DSP上位机程序} %caption是图片的标题 - % \label{DSPswj} %此处的label相当于一个图片的专属标志，目的是方便上下文的引用 - %\end{figure} - - - - - - - %参考文献 - \renewcommand\refname{参考文献} - \begin{thebibliography}{0} - \addcontentsline{toc}{section}{参考文献\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} - %\bibitem{Butterworth}Butterworth S. On the theory of filter amplifiers[J]. Wireless Engineer, 1930, 7(6): 536-541. - % - \bibitem{数字信号处理教材}程佩青. 数字信号处理教程[M]. 清华大学出版社有限公司, 2001. - % - %\bibitem{信号与系统}陈后金. 信号与系统[M]. 清华大学出版社有限公司, 2003. - % - %\bibitem{数字信号处理教材陈}陈后金. 数字信号处理.2版[M]. 高等教育出版社, 2008. - \end{thebibliography} - -\end{document} - -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%%%%%%%%%%%% -%%%%%%%%%%%%双并列图片示例 -%%%%%%%%%%%% -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%\begin{figure}[H] -% \centering -% \begin{minipage}[t]{0,40\textwidth} - % \centering - % \includegraphics[scale=0.5]{ccjg.pdf} %1.png是图片文件的相对路径 - % \caption{IEEE 802.11层次结构} %caption是图片的标题 - % \label{p_ccjg} %此处的label相当于一个图片的专属标志，目的是方便上下文的引用 - % \end{minipage} -% \hfil -% \begin{minipage}[t]{0,50\textwidth} - % \centering - % \includegraphics[scale=1]{AODV.pdf} %1.png是图片文件的相对路径 - % \caption{AODV示意图} %caption是图片的标题 - % \label{p_AODV} %此处的label相当于一个图片的专属标志，目的是方便上下文的引用 - % \end{minipage} -%\end{figure} - - -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%%%%%%%%%%%% -%%%%%%%%%%%%表格示例 -%%%%%%%%%%%% -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%\begin{table}[H] -% \centering -% \caption{802.11a/b/g物理层，MAC层参数} -% \begin{tabular}{ccccc} - % \toprule - % & 参数 & 802.11a & 802.11b & 802.11g \\ - % \midrule - % \multirow{4}[7]{*}{物理层} & 频带/Hz（freq\_） & $5*10^9$ & $2.4*10^9$ & $2.4*10^9$ \\ - % \cmidrule{3-5} & 通信感知范围\cite{bib13}（CSThresh\_） & $3.17291*10^9$ & $2.79*10^9$ & $2.79*10^9$ \\ - % \cmidrule{3-5} & 可通信范围\cite{bib13}（RXThresh\_） & $6.5556*10^{10}$ & $5.76*10^9$ & $5.76*10^9$ \\ - % \cmidrule{3-5} & 传输功率/W（Pt\_） & 0.281838 & 0.281838 & 0.281838 \\ - % \midrule - % \multirow{9}[17]{*}{MAC层} & 竞争窗口最小值\cite{bib12}/s（CWMin） & 15 & 31 & 15 \\ - % \cmidrule{3-5} & 竞争窗口最大值\cite{bib12}/s（CWMax） & 1023 & 1023 & 1023 \\ - % \cmidrule{3-5} & 时隙\cite{bib11}/s(SlotTime\_) & 0.00005 & 0.00002 & 0.000009s \\ - % \cmidrule{3-5} & SIFS\cite{bib14}\cite{bib11}/s(SIFS\_) & 0.000016 & 0.00001 & 0.000016s \\ - % \cmidrule{3-5} & 前导码长度\cite{bib14}(PreambleLength) & 96 & 144 & 120 \\ - % \cmidrule{3-5} & PLCP头部长度\cite{bib14}PLCPHeaderLength\_） & 24 & 48 & 24 \\ - % \cmidrule{3-5} & PLCP数据率\cite{bib14}/bps（PLCPDataRate\_） & $6*10^6$ & $1*10^6$ & $6*10^6$ \\ - % \cmidrule{3-5} & 最高速率\cite{bib14}/bps（dataRate） & $5.4*10^7$ & $1.1*10^7$ & $5.4*10^7$ \\ - % \cmidrule{3-5} & 最低速率\cite{bib14}/bps（basicRate\_） & $6*10^6$ & $1*10^6$ & $6*10^6$ \\ - % \bottomrule - % \end{tabular}% -% \label{t_abgcs}% -%\end{table}% - - -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%%%%%%%%%%%% -%%%%%%%%%%%%插入代码示例 -%%%%%%%%%%%%title：代码文件标题 -%%%%%%%%%%%%language:语言，C++,C,Matlab，Python -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%插入代码的时候需要知：注释中同时出现标点符号，英文，中文时会互相影响， -%这个时候，在标点符号，英文后面都要追加空格，才能正常显示 -%\lstset{language=C++} -%\begin{lstlisting}[title=AODV100.tr] -% -%\end{lstlisting} - - -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%%%%%%%%%%%% -%%%%%%%%%%%%对齐公式示例 -%%%%%%%%%%%% -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - -%\begin{align} -% \label{kk} -% k&=\dfrac{3Z_{11}^{'}}{2(1-l^2_2)^{3/2}}\\ -% \label{hh} -% h&=\frac{1}{\pi}\left[Z_{00}-\frac{k\pi}{2}+k\arcsin(l_2)+kl_2\sqrt{1-l^2_2} \right]\\ -% \label{ll} l&=\frac{1}{2}\left[\sqrt{\frac{5Z_{40}^{'}+3Z^{'}_{20}}{8Z_{20}}}+\sqrt{\frac{5Z_{11}^{'}+Z^{'}_{11}}{6Z_{11}}}\right]\\ -% \label{pp} -% \phi&=\arctan\left[\frac{Im[Z_{n1}]}{Re[Z_{n1}]}\right] -%\end{align} - -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%%%%%%%%%%%% -%%%%%%%%%%%%表格示例2 -%%%%%%%%%%%% -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%\begin{table}[H] -% \centering -% \caption{NVIDIA$^{\textregistered}$ Jetson TK1配置一览} -% \vspace{0.5cm} -% \begin{tabular}{l} - % \Xhline{1.2pt} - % Tegra K1 SOC \\ - % NVIDIA$^{\textregistered}$ Kepler$^{\textregistered}$ GPU、192 个 CUDA 核心 \\ - % NVIDIA$^{\textregistered}$ 4-Plus-1™ 四核 ARM$^{\textregistered}$ Cortex™-A15 CPU \\ - % 2 GB x16 内存、64 位宽度 \\ - % 16 GB 4.51 eMMC 内存 \\ - % 1 个 USB 3.0 端口、A \\ - % 1 个 USB 2.0 端口、Micro AB\\ - % 1 个半迷你 PCIE 插槽\\ - % 1 个完整尺寸 SD/MMC 连接器\\ - % 1 个 RTL8111GS Realtek 千兆位以太网局域网 \\ - % 1 个 SATA 数据端口 \\ - % 1 个完整尺寸 HDMI 端口 \\ - % 1 个 RS232 串行端口 \\ - % SPI 4 兆字节引导闪存\\ - % 1 个带 Mic In 和 Line Out 的 ALC5639 Realtek 音频编解码器\\ - % 以下信号可通过扩展端口获得:DP/LVDS, Touch SPI 1x4 + 1x1 CSI-2, GPIOs, UART, HSIC, I$^2$C - % \\ - % \Xhline{1.2pt} - % \end{tabular}% -% \label{aaa}% -%\end{table}% - -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%%%%%%%%%%%% -%%%%%%%%%%%%双并列表格示例 -%%%%%%%%%%%% -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%\begin{table}[H]\footnotesize -% \centering -% -% \begin{minipage}[t]{0,47\textwidth} - % \caption{上位机配置清单} - % \vspace{0.5cm} - % \centering - % \begin{tabular}{cc} - % \Xhline{1.2pt} - % 运行环境 & ubuntu14 (基于Cortex$^{\textregistered}$-A15芯片) \\ - % 编程语言 & C/C++ \\ - % 第三方库及组件 & GTK2.0，OpenCV2.4.10 \\ - % 开发环境 & Qt Creator 与 make工程管理器 \\ - % 编译工具链 & NVIDIA$^{\textregistered}$-ARM$^{\textregistered}$编译工具链 \\ - % 程序结构 & 模块化结构 \\ - % \Xhline{1.2pt} - % \end{tabular}% - % - % \label{pzqd}% - % \end{minipage} -% \hfil -% \hfil -% \begin{minipage}[t]{0,47\textwidth} - % \centering - % \caption{上位机功能清单} - % \vspace{0.5cm} - % \begin{tabular}{cc} - % \Xhline{1.2pt} - % 编号 & \multicolumn{1}{c}{功能描述} \\ - % \Xhline{1.2pt} - % 1 & \multicolumn{1}{c}{可打开/关闭摄像头} \\ - % 2 & 可通过摄像头捕获图片为目标图片 \\ - % 3 & 可从文件系统内选择图片并载入为目标图片 \\ - % 4 & 可以检测目标图片中圆形轮廓的半径和圆心 \\ - % 5 & 可以检测目标图片中平行直线的间距 \\ - % 6 & 检测算法的参数可自由调整 \\ - % \Xhline{1.2pt} - % \end{tabular}% - % \label{gn}% - % \end{minipage} -%\end{table}% diff --git a/paper/latex/main.tex b/paper/latex/main.tex new file mode 100644 index 0000000..89f768f --- /dev/null +++ b/paper/latex/main.tex @@ -0,0 +1,216 @@ +\documentclass[12pt,a4paper]{article} +\usepackage{graphicx} +\usepackage{ctex} +\usepackage{indentfirst} +%\graphicspath{{chapter/}{figures/}} +\usepackage{CJK} +\usepackage{amsmath}%数学 + +%\usepackage[colorlinks,linkcolor=red]{hyperref}%超链接 + +\usepackage{fancyhdr} %使用fancyhdr包自定义页眉页脚 +%\pagestyle{empty} +\pagestyle{fancy} +%\pagestyle{plain}%没有页眉，页脚放页数 + +\usepackage{titlesec}%设置章节标题与正文间距为2行 +\titlespacing{\section}{0pt}{0pt}{2em} + +\usepackage{enumerate}%项目编号 + +\renewcommand{\figurename}{图}%将figure改为图 + +\usepackage[]{caption2}%去掉图片编号后的":" +\renewcommand{\captionlabeldelim}{} + +\renewcommand {\thefigure} {\thesection{}.\arabic{figure}}%图片索引该为按照章节 + +\renewcommand{\headrulewidth}{0pt} +\renewcommand{\footrulewidth}{0pt} +\lhead{} +\chead{} +\rhead{} +\lfoot{} +\cfoot{\thepage} +\rfoot{} + +\usepackage{booktabs}%表格用 + +\usepackage{titlesec}%修改标题格式宏包 +\titleformat{\section}{\centering\zihao{3}\songti\bfseries}{\arabic{section}.}{0.5em}{}%修改section标题格式 + +% 设置目录格式为宋体 +\renewcommand\contentsname{\songti 目录} + +\usepackage{multirow}%跨行表格 +\usepackage{abstract}%摘要 +\usepackage{setspace} %行间距的宏包 + +\usepackage{makecell}%表格竖线连续 + +\def\I{\vrule width1.2pt} +%!\I 就可以代替| 来画表格了 + +%可固定下划线长度 +\makeatletter +\newcommand\dlmu[2][4cm]{\hskip1pt\underline{\hb@xt@ #1{\hss#2\hss}}\hskip3pt} +\makeatother + +\usepackage{float}%可以用于禁止浮动体浮动 + + + +%目录超链接 +\usepackage[colorlinks,linkcolor=black,anchorcolor=blue,citecolor=black]{hyperref} + +\usepackage{listings}%可以插入代码 +\usepackage{xcolor}%语法高亮支持 + +%代码格式 +\definecolor{dkgreen}{rgb}{0,0.6,0} +\definecolor{gray}{rgb}{0.5,0.5,0.5} +\definecolor{mauve}{rgb}{0.58,0,0.82} +\usepackage{fontspec} +\setmonofont{Consolas} +\lstset{ % + numbers=left, + basicstyle=\tiny\ttfamily, + numberstyle=\tiny, + tabsize=4, + numbersep=5pt, + keywordstyle= \color{blue!70}, %关键词为蓝色 + commentstyle=\color{gray}, %注释为灰色 + frame=shadowbox, % 框架阴影效果 + rulesepcolor= \color{ red!20!green!20!blue!20} , + escapeinside={\%*}{*)}, + xleftmargin=2em, % 边界选项 + xrightmargin=2em, % 边界选项 + aboveskip=1em, % 边界选项 + framexleftmargin=2em, % 边界选项 + breaklines,%过长代码自动换行 +} + + + + +%设置页面格式 +\usepackage[left=3.0cm, right=2.6cm, top=2.54cm, bottom=2.54cm]{geometry} +\begin{document} + + + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + %% 封面部分 + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + \begin{titlepage} + % \begin{minipage}[c]{0.75\textwidth} + % \includegraphics[width=0.15\textwidth]{pic//logo//logo.jpg} + %% {\LARGE 机械与电气工程学院} + % \end{minipage} + + + \begin{figure}[H] + \centering + \includegraphics[scale=0.5]{pic//logo//logo.jpg} %1.png是图片文件的相对路径 + \end{figure} + \vspace{0.2cm} + \centering + + {\zihao{1}\songti{本科毕业论文（设计）}} + + \vspace{2.5cm} + + \begin{flushleft} + {{\songti \zihao{-3} \qquad\qquad\qquad 课题名称}\quad{\zihao{-4}\dlmu[7.5cm]{基于文档驱动的自适应编码大模型微调框架}}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 院}\quad\dlmu[7.5cm]{机械与电气工程学院}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 专\qquad 业}\quad\dlmu[7.5cm]{计算机科学与网络工程学院}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 班级名称}\quad\dlmu[7.5cm]{************* }\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 学生姓名}\quad\dlmu[7.5cm]{*************}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 号}\quad\dlmu[7.5cm]{*************}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 指导老师}\quad\dlmu[7.5cm]{*************}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 完成日期}\quad\dlmu[7.5cm]{\number\year 年\number\month 月\number\day 日}\par} + \end{flushleft} + + \vspace{4cm} + + {\songti \zihao{3} 教务处制} + + \end{titlepage} + + \renewcommand{\abstractname}{\scriptsize} + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + %% 摘要和关键词部分 + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + + \begin{center} + {\zihao{3}\textbf{*************系统设计}}\par + {\zihao{-4}\songti 电子信息工程 \quad 专业 \quad 电信151班 \quad ************* \par + 指导教师：****} + \end{center} + + + \begin{onecolabstract} + \noindent{}{\zihao{4}\textbf{摘要\qquad}}{\songti \zihao{-4}中文摘要内容******** + ************************************************************ + *************************************************************************** + ************************************************************* + ******************************************************** + *****************************************************************}\par + + \vspace{1ex} + + \noindent{}{\zihao{4}\textbf{关键词\qquad}}{\zihao{-4}\songti 关键词1；关键词2}\par + \end{onecolabstract} + + + \begin{onecolabstract} + % \setlength\parskip{0em} + \noindent{}{\zihao{4} \textbf{ABSTRACT\qquad}}{\zihao{-4}abstract in English ************* + ******************************************************************************************* + ******************************************************************************************* + *******************************************************************************************}\par + + + \vspace{1ex} + + \noindent{}{\zihao{4}\textbf{KEY WORDS\qquad}}{\zihao{-4}keywords1; keywords2}\par + \end{onecolabstract} + + + \newpage + + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + %% 目录部分 + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + \renewcommand{\contentsname}{\centerline{\zihao{-2}\textbf{目录}}} + + \tableofcontents + \newpage + + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + %% 正文部分 + %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + { + \setlength{\baselineskip}{23pt} + + % 引入各章节文件 + \newpage + \input{chapters/chapter1} + + \newpage + \input{chapters/conclusion} + + \newpage + \input{chapters/acknowledgement} + \newpage + + % 引入参考文献 + \input{chapters/references} + } +\end{document} \ No newline at end of file diff --git a/paper/latex/reference.tex b/paper/latex/reference.tex new file mode 100644 index 0000000..47e0cd9 --- /dev/null +++ b/paper/latex/reference.tex @@ -0,0 +1,164 @@ +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%双并列图片示例 +%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%\begin{figure}[H] +% \centering +% \begin{minipage}[t]{0,40\textwidth} + % \centering + % \includegraphics[scale=0.5]{ccjg.pdf} %1.png是图片文件的相对路径 + % \caption{IEEE 802.11层次结构} %caption是图片的标题 + % \label{p_ccjg} %此处的label相当于一个图片的专属标志，目的是方便上下文的引用 + % \end{minipage} +% \hfil +% \begin{minipage}[t]{0,50\textwidth} + % \centering + % \includegraphics[scale=1]{AODV.pdf} %1.png是图片文件的相对路径 + % \caption{AODV示意图} %caption是图片的标题 + % \label{p_AODV} %此处的label相当于一个图片的专属标志，目的是方便上下文的引用 + % \end{minipage} +%\end{figure} + + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%表格示例 +%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%\begin{table}[H] +% \centering +% \caption{802.11a/b/g物理层，MAC层参数} +% \begin{tabular}{ccccc} + % \toprule + % & 参数 & 802.11a & 802.11b & 802.11g \\ + % \midrule + % \multirow{4}[7]{*}{物理层} & 频带/Hz（freq\_） & $5*10^9$ & $2.4*10^9$ & $2.4*10^9$ \\ + % \cmidrule{3-5} & 通信感知范围\cite{bib13}（CSThresh\_） & $3.17291*10^9$ & $2.79*10^9$ & $2.79*10^9$ \\ + % \cmidrule{3-5} & 可通信范围\cite{bib13}（RXThresh\_） & $6.5556*10^{10}$ & $5.76*10^9$ & $5.76*10^9$ \\ + % \cmidrule{3-5} & 传输功率/W（Pt\_） & 0.281838 & 0.281838 & 0.281838 \\ + % \midrule + % \multirow{9}[17]{*}{MAC层} & 竞争窗口最小值\cite{bib12}/s（CWMin） & 15 & 31 & 15 \\ + % \cmidrule{3-5} & 竞争窗口最大值\cite{bib12}/s（CWMax） & 1023 & 1023 & 1023 \\ + % \cmidrule{3-5} & 时隙\cite{bib11}/s(SlotTime\_) & 0.00005 & 0.00002 & 0.000009s \\ + % \cmidrule{3-5} & SIFS\cite{bib14}\cite{bib11}/s(SIFS\_) & 0.000016 & 0.00001 & 0.000016s \\ + % \cmidrule{3-5} & 前导码长度\cite{bib14}(PreambleLength) & 96 & 144 & 120 \\ + % \cmidrule{3-5} & PLCP头部长度\cite{bib14}PLCPHeaderLength\_） & 24 & 48 & 24 \\ + % \cmidrule{3-5} & PLCP数据率\cite{bib14}/bps（PLCPDataRate\_） & $6*10^6$ & $1*10^6$ & $6*10^6$ \\ + % \cmidrule{3-5} & 最高速率\cite{bib14}/bps（dataRate） & $5.4*10^7$ & $1.1*10^7$ & $5.4*10^7$ \\ + % \cmidrule{3-5} & 最低速率\cite{bib14}/bps（basicRate\_） & $6*10^6$ & $1*10^6$ & $6*10^6$ \\ + % \bottomrule + % \end{tabular}% +% \label{t_abgcs}% +%\end{table}% + + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%插入代码示例 +%%%%%%%%%%%%title：代码文件标题 +%%%%%%%%%%%%language:语言，C++,C,Matlab，Python +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%插入代码的时候需要知：注释中同时出现标点符号，英文，中文时会互相影响， +%这个时候，在标点符号，英文后面都要追加空格，才能正常显示 +%\lstset{language=C++} +%\begin{lstlisting}[title=AODV100.tr] +% +%\end{lstlisting} + + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%对齐公式示例 +%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + +%\begin{align} +% \label{kk} +% k&=\dfrac{3Z_{11}^{'}}{2(1-l^2_2)^{3/2}}\\ +% \label{hh} +% h&=\frac{1}{\pi}\left[Z_{00}-\frac{k\pi}{2}+k\arcsin(l_2)+kl_2\sqrt{1-l^2_2} \right]\\ +% \label{ll} l&=\frac{1}{2}\left[\sqrt{\frac{5Z_{40}^{'}+3Z^{'}_{20}}{8Z_{20}}}+\sqrt{\frac{5Z_{11}^{'}+Z^{'}_{11}}{6Z_{11}}}\right]\\ +% \label{pp} +% \phi&=\arctan\left[\frac{Im[Z_{n1}]}{Re[Z_{n1}]}\right] +%\end{align} + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%表格示例2 +%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%\begin{table}[H] +% \centering +% \caption{NVIDIA$^{\textregistered}$ Jetson TK1配置一览} +% \vspace{0.5cm} +% \begin{tabular}{l} + % \Xhline{1.2pt} + % Tegra K1 SOC \\ + % NVIDIA$^{\textregistered}$ Kepler$^{\textregistered}$ GPU、192 个 CUDA 核心 \\ + % NVIDIA$^{\textregistered}$ 4-Plus-1™ 四核 ARM$^{\textregistered}$ Cortex™-A15 CPU \\ + % 2 GB x16 内存、64 位宽度 \\ + % 16 GB 4.51 eMMC 内存 \\ + % 1 个 USB 3.0 端口、A \\ + % 1 个 USB 2.0 端口、Micro AB\\ + % 1 个半迷你 PCIE 插槽\\ + % 1 个完整尺寸 SD/MMC 连接器\\ + % 1 个 RTL8111GS Realtek 千兆位以太网局域网 \\ + % 1 个 SATA 数据端口 \\ + % 1 个完整尺寸 HDMI 端口 \\ + % 1 个 RS232 串行端口 \\ + % SPI 4 兆字节引导闪存\\ + % 1 个带 Mic In 和 Line Out 的 ALC5639 Realtek 音频编解码器\\ + % 以下信号可通过扩展端口获得:DP/LVDS, Touch SPI 1x4 + 1x1 CSI-2, GPIOs, UART, HSIC, I$^2$C + % \\ + % \Xhline{1.2pt} + % \end{tabular}% +% \label{aaa}% +%\end{table}% + +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%% +%%%%%%%%%%%%双并列表格示例 +%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%\begin{table}[H]\footnotesize +% \centering +% +% \begin{minipage}[t]{0,47\textwidth} + % \caption{上位机配置清单} + % \vspace{0.5cm} + % \centering + % \begin{tabular}{cc} + % \Xhline{1.2pt} + % 运行环境 & ubuntu14 (基于Cortex$^{\textregistered}$-A15芯片) \\ + % 编程语言 & C/C++ \\ + % 第三方库及组件 & GTK2.0，OpenCV2.4.10 \\ + % 开发环境 & Qt Creator 与 make工程管理器 \\ + % 编译工具链 & NVIDIA$^{\textregistered}$-ARM$^{\textregistered}$编译工具链 \\ + % 程序结构 & 模块化结构 \\ + % \Xhline{1.2pt} + % \end{tabular}% + % + % \label{pzqd}% + % \end{minipage} +% \hfil +% \hfil +% \begin{minipage}[t]{0,47\textwidth} + % \centering + % \caption{上位机功能清单} + % \vspace{0.5cm} + % \begin{tabular}{cc} + % \Xhline{1.2pt} + % 编号 & \multicolumn{1}{c}{功能描述} \\ + % \Xhline{1.2pt} + % 1 & \multicolumn{1}{c}{可打开/关闭摄像头} \\ + % 2 & 可通过摄像头捕获图片为目标图片 \\ + % 3 & 可从文件系统内选择图片并载入为目标图片 \\ + % 4 & 可以检测目标图片中圆形轮廓的半径和圆心 \\ + % 5 & 可以检测目标图片中平行直线的间距 \\ + % 6 & 检测算法的参数可自由调整 \\ + % \Xhline{1.2pt} + % \end{tabular}% + % \label{gn}% + % \end{minipage} +%\end{table}% \ No newline at end of file From 959ff2033de0d2110ae7d256ea303783f0e31edc Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 12:46:18 +0800 Subject: [PATCH 03/67] =?UTF-8?q?chore:=20=E5=9C=A8.gitignore=E4=B8=AD?= =?UTF-8?q?=E6=B7=BB=E5=8A=A0*.xdv=E6=96=87=E4=BB=B6=E7=B1=BB=E5=9E=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 在.gitignore文件中添加了*.xdv文件类型，以避免版本控制系统中包含此类文件。此更改有助于保持代码库的整洁。 --- .gitignore | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/.gitignore b/.gitignore index 885a2c9..4330fd4 100644 --- a/.gitignore +++ b/.gitignore @@ -54,5 +54,5 @@ refer/ *.nav *.snm *.vrb - +*.xdv *.pdf \ No newline at end of file From 3e520604ba5600d0bed6823c9e557ce806749997 Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 12:47:09 +0800 Subject: [PATCH 04/67] =?UTF-8?q?refactor(paper):=20=E5=B0=86=E6=91=98?= =?UTF-8?q?=E8=A6=81=E5=86=85=E5=AE=B9=E4=BB=8E=E4=B8=BB=E6=96=87=E4=BB=B6?= =?UTF-8?q?=E7=A7=BB=E8=87=B3=E5=8D=95=E7=8B=AC=E7=AB=A0=E8=8A=82=E6=96=87?= =?UTF-8?q?=E4=BB=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 为了提升代码的可维护性和模块化，将中文和英文摘要从 `main.tex` 文件中提取出来，并放入单独的 `abstract.tex` 文件中。同时，添加了 `titlesec` 包以改进章节标题的格式化。 --- paper/latex/chapters/abstract.tex | 21 ++++++++++++++++++ paper/latex/main.tex | 37 +++++++------------------------ 2 files changed, 29 insertions(+), 29 deletions(-) create mode 100644 paper/latex/chapters/abstract.tex diff --git a/paper/latex/chapters/abstract.tex b/paper/latex/chapters/abstract.tex new file mode 100644 index 0000000..dfe4cbb --- /dev/null +++ b/paper/latex/chapters/abstract.tex @@ -0,0 +1,21 @@ +% 中文摘要 +\begin{onecolabstract} + \noindent{}{\zihao{4}\textbf{摘要\qquad}}{\songti \zihao{-4}中文摘要内容******** + ************************************************************ + *************************************************************************** + ************************************************************* + ******************************************************** + *****************************************************************}\par + + \vspace{1ex} + + \noindent{}{\zihao{4}\textbf{关键词\qquad}}{\zihao{-4}\songti 关键词1；关键词2}\par +\end{onecolabstract} + +% 英文摘要 +\begin{onecolabstract} + \noindent{}{\zihao{4} \textbf{ABSTRACT\qquad}}{\zihao{-4}abstract in English ************* + ******************************************************************************************* + ******************************************************************************************* + *******************************************************************************************}\par +\end{onecolabstract} \ No newline at end of file diff --git a/paper/latex/main.tex b/paper/latex/main.tex index 89f768f..c65ac69 100644 --- a/paper/latex/main.tex +++ b/paper/latex/main.tex @@ -5,6 +5,12 @@ %\graphicspath{{chapter/}{figures/}} \usepackage{CJK} \usepackage{amsmath}%数学 +\usepackage{titlesec} + +\newcounter{mychapter} +\titleformat{\section} + {\normalfont\Large\bfseries}{\stepcounter{mychapter}第\themychapter 章}{1em}{} + %\usepackage[colorlinks,linkcolor=red]{hyperref}%超链接 @@ -153,36 +159,9 @@ {\zihao{-4}\songti 电子信息工程 \quad 专业 \quad 电信151班 \quad ************* \par 指导教师：****} \end{center} - - - \begin{onecolabstract} - \noindent{}{\zihao{4}\textbf{摘要\qquad}}{\songti \zihao{-4}中文摘要内容******** - ************************************************************ - *************************************************************************** - ************************************************************* - ******************************************************** - *****************************************************************}\par - \vspace{1ex} - - \noindent{}{\zihao{4}\textbf{关键词\qquad}}{\zihao{-4}\songti 关键词1；关键词2}\par - \end{onecolabstract} - - - \begin{onecolabstract} - % \setlength\parskip{0em} - \noindent{}{\zihao{4} \textbf{ABSTRACT\qquad}}{\zihao{-4}abstract in English ************* - ******************************************************************************************* - ******************************************************************************************* - *******************************************************************************************}\par - - - \vspace{1ex} - - \noindent{}{\zihao{4}\textbf{KEY WORDS\qquad}}{\zihao{-4}keywords1; keywords2}\par - \end{onecolabstract} - - + \input{chapters/abstract} + \newpage %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% From 4d61a4cffdb93014136de0d79f8497c54c2696af Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 13:00:09 +0800 Subject: [PATCH 05/67] =?UTF-8?q?refactor(paper):=20=E6=B7=BB=E5=8A=A0?= =?UTF-8?q?=E7=BB=AA=E8=AE=BA=E7=AB=A0=E8=8A=82=E7=9A=84LaTeX=E6=96=87?= =?UTF-8?q?=E4=BB=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 添加了绪论章节的LaTeX文件，包括课题背景、国内外研究进展、课题目的及意义以及总体研究思路等部分。 --- paper/latex/chapters/{chapter1.tex => introduction.tex} | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename paper/latex/chapters/{chapter1.tex => introduction.tex} (100%) diff --git a/paper/latex/chapters/chapter1.tex b/paper/latex/chapters/introduction.tex similarity index 100% rename from paper/latex/chapters/chapter1.tex rename to paper/latex/chapters/introduction.tex From aa2f75f67f90a2eea34b46d13d01afd2e799eada Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 13:00:21 +0800 Subject: [PATCH 06/67] =?UTF-8?q?refactor(paper):=20=E5=B0=86=E7=B3=BB?= =?UTF-8?q?=E7=BB=9F=E8=AE=BE=E8=AE=A1=E4=BF=A1=E6=81=AF=E4=BB=8Emain.tex?= =?UTF-8?q?=E7=A7=BB=E8=87=B3abstract.tex=E5=B9=B6=E9=87=8D=E5=91=BD?= =?UTF-8?q?=E5=90=8D=E7=AB=A0=E8=8A=82=E6=96=87=E4=BB=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 将系统设计信息从main.tex移动到abstract.tex以保持内容的一致性，并将chapter1.tex重命名为introduction.tex以提高文件命名的清晰度。 --- paper/latex/chapters/abstract.tex | 6 ++++++ paper/latex/main.tex | 8 +------- 2 files changed, 7 insertions(+), 7 deletions(-) diff --git a/paper/latex/chapters/abstract.tex b/paper/latex/chapters/abstract.tex index dfe4cbb..eb8be79 100644 --- a/paper/latex/chapters/abstract.tex +++ b/paper/latex/chapters/abstract.tex @@ -1,3 +1,9 @@ +\begin{center} + {\zihao{3}\textbf{*************系统设计}}\par + {\zihao{-4}\songti 计算机科学与技术 \quad 专业 \quad 计科211（创） \quad ************* \par + 指导教师：****} +\end{center} + % 中文摘要 \begin{onecolabstract} \noindent{}{\zihao{4}\textbf{摘要\qquad}}{\songti \zihao{-4}中文摘要内容******** diff --git a/paper/latex/main.tex b/paper/latex/main.tex index c65ac69..cbd5c12 100644 --- a/paper/latex/main.tex +++ b/paper/latex/main.tex @@ -153,12 +153,6 @@ %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %% 摘要和关键词部分 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - - \begin{center} - {\zihao{3}\textbf{*************系统设计}}\par - {\zihao{-4}\songti 电子信息工程 \quad 专业 \quad 电信151班 \quad ************* \par - 指导教师：****} - \end{center} \input{chapters/abstract} @@ -180,7 +174,7 @@ % 引入各章节文件 \newpage - \input{chapters/chapter1} + \input{chapters/introduction} \newpage \input{chapters/conclusion} From ff31213aa820fd4dc3b25ca09ede05b7aa843fcd Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 15:01:11 +0800 Subject: [PATCH 07/67] =?UTF-8?q?refactor(latex):=20=E5=B0=86=E5=B0=81?= =?UTF-8?q?=E9=9D=A2=E9=83=A8=E5=88=86=E6=8F=90=E5=8F=96=E5=88=B0=E5=8D=95?= =?UTF-8?q?=E7=8B=AC=E7=9A=84cover.tex=E6=96=87=E4=BB=B6=E4=B8=AD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 将main.tex中的封面部分提取到独立的cover.tex文件中，以提高代码的可维护性和可读性 --- paper/latex/chapters/cover.tex | 38 ++++++++++++++++++++++++++++++ paper/latex/main.tex | 42 +--------------------------------- 2 files changed, 39 insertions(+), 41 deletions(-) create mode 100644 paper/latex/chapters/cover.tex diff --git a/paper/latex/chapters/cover.tex b/paper/latex/chapters/cover.tex new file mode 100644 index 0000000..8a0911a --- /dev/null +++ b/paper/latex/chapters/cover.tex @@ -0,0 +1,38 @@ +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%% 封面部分 +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +\begin{titlepage} + \begin{figure}[H] + \centering + \includegraphics[scale=0.5]{pic//logo//logo.jpg} %1.png是图片文件的相对路径 + \end{figure} + \vspace{0.2cm} + \centering + + {\zihao{1}\songti{本科毕业论文（设计）}} + + \vspace{2.5cm} + + \begin{flushleft} + {{\songti \zihao{-3} \qquad\qquad\qquad 课题名称}\quad{\zihao{-4}\dlmu[7.5cm]{基于文档驱动的自适应编码大模型微调框架}}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 院}\quad\dlmu[7.5cm]{机械与电气工程学院}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 专\qquad 业}\quad\dlmu[7.5cm]{计算机科学与网络工程学院}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 班级名称}\quad\dlmu[7.5cm]{************* }\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 学生姓名}\quad\dlmu[7.5cm]{*************}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 号}\quad\dlmu[7.5cm]{*************}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 指导老师}\quad\dlmu[7.5cm]{*************}\par} + \vspace{0.5cm} + {{\songti\zihao{-3} \qquad\qquad\qquad 完成日期}\quad\dlmu[7.5cm]{\number\year 年\number\month 月\number\day 日}\par} + \end{flushleft} + + \vspace{4cm} + + {\songti \zihao{3} 教务处制} + +\end{titlepage} \ No newline at end of file diff --git a/paper/latex/main.tex b/paper/latex/main.tex index cbd5c12..b41a770 100644 --- a/paper/latex/main.tex +++ b/paper/latex/main.tex @@ -107,47 +107,7 @@ %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %% 封面部分 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - \begin{titlepage} - % \begin{minipage}[c]{0.75\textwidth} - % \includegraphics[width=0.15\textwidth]{pic//logo//logo.jpg} - %% {\LARGE 机械与电气工程学院} - % \end{minipage} - - - \begin{figure}[H] - \centering - \includegraphics[scale=0.5]{pic//logo//logo.jpg} %1.png是图片文件的相对路径 - \end{figure} - \vspace{0.2cm} - \centering - - {\zihao{1}\songti{本科毕业论文（设计）}} - - \vspace{2.5cm} - - \begin{flushleft} - {{\songti \zihao{-3} \qquad\qquad\qquad 课题名称}\quad{\zihao{-4}\dlmu[7.5cm]{基于文档驱动的自适应编码大模型微调框架}}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 院}\quad\dlmu[7.5cm]{机械与电气工程学院}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 专\qquad 业}\quad\dlmu[7.5cm]{计算机科学与网络工程学院}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 班级名称}\quad\dlmu[7.5cm]{************* }\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 学生姓名}\quad\dlmu[7.5cm]{*************}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 号}\quad\dlmu[7.5cm]{*************}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 指导老师}\quad\dlmu[7.5cm]{*************}\par} - \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 完成日期}\quad\dlmu[7.5cm]{\number\year 年\number\month 月\number\day 日}\par} - \end{flushleft} - - \vspace{4cm} - - {\songti \zihao{3} 教务处制} - - \end{titlepage} + \input{chapters/cover} \renewcommand{\abstractname}{\scriptsize} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% From 9494c9c913a21489c6ee73c39adfe6a1604958ce Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 15:11:55 +0800 Subject: [PATCH 08/67] =?UTF-8?q?docs:=20=E6=9B=B4=E6=96=B0=E8=AE=BA?= =?UTF-8?q?=E6=96=87=E5=90=84=E7=AB=A0=E8=8A=82=E5=86=85=E5=AE=B9=E4=BB=A5?= =?UTF-8?q?=E5=AE=8C=E5=96=84=E6=96=87=E6=A1=A3?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 更新了论文的结论、致谢、引言、封面和摘要章节，填充了具体内容并修正了格式。这些修改旨在完善论文文档，确保内容完整且符合学术规范。 --- paper/latex/chapters/abstract.tex | 22 ++++++---------------- paper/latex/chapters/acknowledgement.tex | 4 +++- paper/latex/chapters/conclusion.tex | 2 +- paper/latex/chapters/cover.tex | 14 +++++++------- paper/latex/chapters/introduction.tex | 9 +++++---- 5 files changed, 22 insertions(+), 29 deletions(-) diff --git a/paper/latex/chapters/abstract.tex b/paper/latex/chapters/abstract.tex index eb8be79..1950dea 100644 --- a/paper/latex/chapters/abstract.tex +++ b/paper/latex/chapters/abstract.tex @@ -1,27 +1,17 @@ \begin{center} - {\zihao{3}\textbf{*************系统设计}}\par - {\zihao{-4}\songti 计算机科学与技术 \quad 专业 \quad 计科211（创） \quad ************* \par - 指导教师：****} + {\zihao{3}\textbf{毕业论文系统设计}}\par + {\zihao{-4}\songti 计算机科学与技术 \quad 专业 \quad 计科211（创） \quad 张三 \par + 指导教师：李四教授} \end{center} % 中文摘要 \begin{onecolabstract} - \noindent{}{\zihao{4}\textbf{摘要\qquad}}{\songti \zihao{-4}中文摘要内容******** - ************************************************************ - *************************************************************************** - ************************************************************* - ******************************************************** - *****************************************************************}\par - - \vspace{1ex} - + \noindent{}{\zihao{4}\textbf{摘要\qquad}}{\songti \zihao{-4}本文研究了一种基于文档驱动的自适应编码大模型微调框架。该框架通过分析文档结构自动生成训练样本，实现了模型参数的高效优化。实验结果表明，该方法在多个NLP任务上取得了显著的性能提升，同时减少了人工标注的工作量。}\par \noindent{}{\zihao{4}\textbf{关键词\qquad}}{\zihao{-4}\songti 关键词1；关键词2}\par \end{onecolabstract} % 英文摘要 \begin{onecolabstract} - \noindent{}{\zihao{4} \textbf{ABSTRACT\qquad}}{\zihao{-4}abstract in English ************* - ******************************************************************************************* - ******************************************************************************************* - *******************************************************************************************}\par + \noindent{}{\zihao{4} \textbf{ABSTRACT\qquad}}{\zihao{-4}This paper proposes a document-driven adaptive fine-tuning framework for large coding models. By analyzing document structures to automatically generate training samples, the framework achieves efficient optimization of model parameters. Experimental results demonstrate significant performance improvements on multiple NLP tasks while reducing manual annotation workload.}\par + \noindent{}{\zihao{4}\textbf{KEYWORDS\qquad}}{\zihao{-4}Document-driven; Adaptive fine-tuning; Large language models; NLP tasks; Automatic annotation} \end{onecolabstract} \ No newline at end of file diff --git a/paper/latex/chapters/acknowledgement.tex b/paper/latex/chapters/acknowledgement.tex index 85631a3..d8ad5a2 100644 --- a/paper/latex/chapters/acknowledgement.tex +++ b/paper/latex/chapters/acknowledgement.tex @@ -3,7 +3,9 @@ \section*{致谢} \addcontentsline{toc}{section}{致谢\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} -*********************************************************************************************************************************************** +在此，我衷心感谢我的导师XXX教授在论文写作过程中给予的悉心指导和宝贵建议。同时，感谢计算机科学与网络工程学院的各位老师四年来对我的培养和教育。 + +感谢我的同学和朋友在学习和生活中给予的帮助和支持。最后，特别感谢我的家人一直以来的鼓励和理解。 \par \vspace{5ex} \rightline{\zihao{3}{苏伟强\quad\qquad}} diff --git a/paper/latex/chapters/conclusion.tex b/paper/latex/chapters/conclusion.tex index 2863455..01a7be4 100644 --- a/paper/latex/chapters/conclusion.tex +++ b/paper/latex/chapters/conclusion.tex @@ -5,4 +5,4 @@ \setcounter{结论编号}{\value{section}} %计数器就像变量一样 \addtocounter{结论编号}{1} \addcontentsline{toc}{section}{\arabic{结论编号}\quad 结论\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} -***************************************************************** \ No newline at end of file +本文提出的文档驱动自适应编码框架有效解决了大模型微调中的样本利用率问题，实验结果表明该方法在多个NLP任务上性能提升显著。 \ No newline at end of file diff --git a/paper/latex/chapters/cover.tex b/paper/latex/chapters/cover.tex index 8a0911a..d021a63 100644 --- a/paper/latex/chapters/cover.tex +++ b/paper/latex/chapters/cover.tex @@ -4,7 +4,7 @@ \begin{titlepage} \begin{figure}[H] \centering - \includegraphics[scale=0.5]{pic//logo//logo.jpg} %1.png是图片文件的相对路径 + \includegraphics[scale=0.5]{pic//logo//logo.jpg} \end{figure} \vspace{0.2cm} \centering @@ -16,17 +16,17 @@ \begin{flushleft} {{\songti \zihao{-3} \qquad\qquad\qquad 课题名称}\quad{\zihao{-4}\dlmu[7.5cm]{基于文档驱动的自适应编码大模型微调框架}}\par} \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 院}\quad\dlmu[7.5cm]{机械与电气工程学院}\par} + {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 院}\quad\dlmu[7.5cm]{计算机科学与网络工程学院}\par} \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 专\qquad 业}\quad\dlmu[7.5cm]{计算机科学与网络工程学院}\par} + {{\songti\zihao{-3} \qquad\qquad\qquad 专\qquad 业}\quad\dlmu[7.5cm]{计算机科学与技术}\par} \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 班级名称}\quad\dlmu[7.5cm]{************* }\par} + {{\songti\zihao{-3} \qquad\qquad\qquad 班级名称}\quad\dlmu[7.5cm]{计科211（创）}\par} \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 学生姓名}\quad\dlmu[7.5cm]{*************}\par} + {{\songti\zihao{-3} \qquad\qquad\qquad 学生姓名}\quad\dlmu[7.5cm]{张三}\par} \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 号}\quad\dlmu[7.5cm]{*************}\par} + {{\songti\zihao{-3} \qquad\qquad\qquad 学\qquad 号}\quad\dlmu[7.5cm]{20210001}\par} \vspace{0.5cm} - {{\songti\zihao{-3} \qquad\qquad\qquad 指导老师}\quad\dlmu[7.5cm]{*************}\par} + {{\songti\zihao{-3} \qquad\qquad\qquad 指导老师}\quad\dlmu[7.5cm]{李四教授}\par} \vspace{0.5cm} {{\songti\zihao{-3} \qquad\qquad\qquad 完成日期}\quad\dlmu[7.5cm]{\number\year 年\number\month 月\number\day 日}\par} \end{flushleft} diff --git a/paper/latex/chapters/introduction.tex b/paper/latex/chapters/introduction.tex index 0c89898..8f5164b 100644 --- a/paper/latex/chapters/introduction.tex +++ b/paper/latex/chapters/introduction.tex @@ -3,13 +3,14 @@ \section{绪论} \subsection{课题背景} -******************************************** +随着人工智能技术的快速发展，大模型在自然语言处理领域展现出强大的能力。然而，如何有效地微调这些大模型以适应特定领域任务，仍是一个重要的研究课题。本文针对文档驱动的自适应编码场景，探索一种高效的微调框架。 + \subsection{国内外研究进展情况} -**************************************************** +随着人工智能技术的快速发展，大模型在自然语言处理领域展现出强大的能力。然而，如何有效地微调这些大模型以适应特定领域任务，仍是一个重要的研究课题。本文针对文档驱动的自适应编码场景，探索一种高效的微调框架。 \subsection{本课题的目的及意义} -************* +随着人工智能技术的快速发展，大模型在自然语言处理领域展现出强大的能力。然而，如何有效地微调这些大模型以适应特定领域任务，仍是一个重要的研究课题。本文针对文档驱动的自适应编码场景，探索一种高效的微调框架。 \subsection{总体研究思路} -****************************************************************************** \ No newline at end of file +随着人工智能技术的快速发展，大模型在自然语言处理领域展现出强大的能力。然而，如何有效地微调这些大模型以适应特定领域任务，仍是一个重要的研究课题。本文针对文档驱动的自适应编码场景，探索一种高效的微调框架。 \ No newline at end of file From 7cc26feaa9c80f89e64ac7343062df89c2d278a5 Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 17:56:05 +0800 Subject: [PATCH 09/67] =?UTF-8?q?fix(latex):=20=E4=B8=AD=E6=96=87=E6=A0=B7?= =?UTF-8?q?=E5=BC=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 调整了 LaTeX 文档中的标题格式和目录样式，使其更加统一和规范。移除了旧的章节计数器，并重新定义了 `titlesec` 和 `titletoc` 的样式，以更好地符合文档需求。 --- paper/latex/main.tex | 14 ++++++++------ 1 file changed, 8 insertions(+), 6 deletions(-) diff --git a/paper/latex/main.tex b/paper/latex/main.tex index b41a770..1e7cbf4 100644 --- a/paper/latex/main.tex +++ b/paper/latex/main.tex @@ -5,12 +5,6 @@ %\graphicspath{{chapter/}{figures/}} \usepackage{CJK} \usepackage{amsmath}%数学 -\usepackage{titlesec} - -\newcounter{mychapter} -\titleformat{\section} - {\normalfont\Large\bfseries}{\stepcounter{mychapter}第\themychapter 章}{1em}{} - %\usepackage[colorlinks,linkcolor=red]{hyperref}%超链接 @@ -97,6 +91,14 @@ } +\usepackage{titlesec} +\titleformat{\section}{\centering\Large\bfseries}{第\,\thesection\,章}{1em}{} + + +\usepackage{titletoc} +\titlecontents{section}[0pt]{\addvspace{1.5pt}\filright\bf} +{\contentspush{第\thecontentslabel\ 章\quad}} +{}{\titlerule*[8pt]{.}\contentspage} %设置页面格式 From 03221547bbdf808bfd9321f74ad4036f10eda713 Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 17:56:18 +0800 Subject: [PATCH 10/67] =?UTF-8?q?fix(abstract):=20=E8=B0=83=E6=95=B4?= =?UTF-8?q?=E6=91=98=E8=A6=81=E5=92=8C=E5=85=B3=E9=94=AE=E8=AF=8D=E7=9A=84?= =?UTF-8?q?=E6=8E=92=E7=89=88=E6=A0=BC=E5=BC=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 统一中文摘要和英文摘要的排版格式，使用makebox对齐标题和内容，提升文档的可读性和一致性。 --- paper/latex/chapters/abstract.tex | 11 ++++++----- 1 file changed, 6 insertions(+), 5 deletions(-) diff --git a/paper/latex/chapters/abstract.tex b/paper/latex/chapters/abstract.tex index 1950dea..7de4197 100644 --- a/paper/latex/chapters/abstract.tex +++ b/paper/latex/chapters/abstract.tex @@ -1,17 +1,18 @@ +% 摘要 \begin{center} {\zihao{3}\textbf{毕业论文系统设计}}\par - {\zihao{-4}\songti 计算机科学与技术 \quad 专业 \quad 计科211（创） \quad 张三 \par + {\zihao{-4}\songti 计算机科学与技术 \quad 专业 \quad 计科211（创） \quad 张三 \par 指导教师：李四教授} \end{center} % 中文摘要 \begin{onecolabstract} - \noindent{}{\zihao{4}\textbf{摘要\qquad}}{\songti \zihao{-4}本文研究了一种基于文档驱动的自适应编码大模型微调框架。该框架通过分析文档结构自动生成训练样本，实现了模型参数的高效优化。实验结果表明，该方法在多个NLP任务上取得了显著的性能提升，同时减少了人工标注的工作量。}\par - \noindent{}{\zihao{4}\textbf{关键词\qquad}}{\zihao{-4}\songti 关键词1；关键词2}\par + \noindent{}\makebox[5em][l]{{\zihao{4}\textbf{摘要}}}{\songti \zihao{-4}本文研究了一种基于文档驱动的自适应编码大模型微调框架。该框架通过分析文档结构自动生成训练样本，实现了模型参数的高效优化。实验结果表明，该方法在多个NLP任务上取得了显著的性能提升，同时减少了人工标注的工作量。}\par + \noindent{}\makebox[5em][l]{{\zihao{4}\textbf{关键词}}}{\zihao{-4}\songti 关键词1；关键词2}\par \end{onecolabstract} % 英文摘要 \begin{onecolabstract} - \noindent{}{\zihao{4} \textbf{ABSTRACT\qquad}}{\zihao{-4}This paper proposes a document-driven adaptive fine-tuning framework for large coding models. By analyzing document structures to automatically generate training samples, the framework achieves efficient optimization of model parameters. Experimental results demonstrate significant performance improvements on multiple NLP tasks while reducing manual annotation workload.}\par - \noindent{}{\zihao{4}\textbf{KEYWORDS\qquad}}{\zihao{-4}Document-driven; Adaptive fine-tuning; Large language models; NLP tasks; Automatic annotation} + \noindent{}\makebox[10em][l]{{\zihao{4} \textbf{ABSTRACT}}}{\zihao{-4}This paper proposes a document-driven adaptive fine-tuning framework for large coding models. By analyzing document structures to automatically generate training samples, the framework achieves efficient optimization of model parameters. Experimental results demonstrate significant performance improvements on multiple NLP tasks while reducing manual annotation workload.}\par + \noindent{}\makebox[10em][l]{{\zihao{4}\textbf{KEYWORDS}}}{\zihao{-4}Document-driven; Adaptive fine-tuning; Large language models; NLP tasks; Automatic annotation}\par \end{onecolabstract} \ No newline at end of file From fa83e06346c3f4ec5acedbfe57b0fc668cb35672 Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 18:06:32 +0800 Subject: [PATCH 11/67] =?UTF-8?q?refactor(paper):=20=E8=B0=83=E6=95=B4?= =?UTF-8?q?=E7=AB=A0=E8=8A=82=E9=A1=BA=E5=BA=8F=E4=BB=A5=E4=BC=98=E5=8C=96?= =?UTF-8?q?=E6=96=87=E6=A1=A3=E7=BB=93=E6=9E=84?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 将致谢章节移至参考文献之后，使文档逻辑更加清晰，便于读者阅读 --- paper/latex/main.tex | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/paper/latex/main.tex b/paper/latex/main.tex index 1e7cbf4..dd4d448 100644 --- a/paper/latex/main.tex +++ b/paper/latex/main.tex @@ -137,15 +137,15 @@ % 引入各章节文件 \newpage \input{chapters/introduction} - \newpage \input{chapters/conclusion} + + % 参考文献 + \newpage + \input{chapters/references} + %致谢 \newpage \input{chapters/acknowledgement} - \newpage - - % 引入参考文献 - \input{chapters/references} } \end{document} \ No newline at end of file From 0977002c06204e9cf3df7650a12a29f9970fb84e Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 18:07:51 +0800 Subject: [PATCH 12/67] =?UTF-8?q?refactor(paper):=20=E7=AE=80=E5=8C=96?= =?UTF-8?q?=E7=BB=93=E8=AE=BA=E7=AB=A0=E8=8A=82=E7=9A=84=E6=A0=BC=E5=BC=8F?= =?UTF-8?q?=E5=B9=B6=E7=A7=BB=E9=99=A4=E4=B8=8D=E5=BF=85=E8=A6=81=E7=9A=84?= =?UTF-8?q?=E8=AE=A1=E6=95=B0=E5=99=A8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 移除了结论章节中的计数器设置，直接使用\section命令来定义章节标题，使代码更简洁易读。 --- paper/latex/chapters/conclusion.tex | 8 +++----- 1 file changed, 3 insertions(+), 5 deletions(-) diff --git a/paper/latex/chapters/conclusion.tex b/paper/latex/chapters/conclusion.tex index 01a7be4..2d727e1 100644 --- a/paper/latex/chapters/conclusion.tex +++ b/paper/latex/chapters/conclusion.tex @@ -1,8 +1,6 @@ % 结论章节 -\section*{结论} -\newcounter{结论编号} %创建一个计数器，这个计数用于给结论章节编号 -\setcounter{结论编号}{\value{section}} %计数器就像变量一样 -\addtocounter{结论编号}{1} -\addcontentsline{toc}{section}{\arabic{结论编号}\quad 结论\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} +\section{结论} + + 本文提出的文档驱动自适应编码框架有效解决了大模型微调中的样本利用率问题，实验结果表明该方法在多个NLP任务上性能提升显著。 \ No newline at end of file From 2af26560b39d296b116b042bdfd6eb5cea28c88b Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 18:08:33 +0800 Subject: [PATCH 13/67] =?UTF-8?q?fix(latex):=20=E5=88=A0=E9=99=A4=E5=A4=9A?= =?UTF-8?q?=E4=BD=99=E7=9A=84\quad.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- paper/latex/chapters/acknowledgement.tex | 2 +- paper/latex/chapters/references.tex | 5 ++--- 2 files changed, 3 insertions(+), 4 deletions(-) diff --git a/paper/latex/chapters/acknowledgement.tex b/paper/latex/chapters/acknowledgement.tex index d8ad5a2..a05b942 100644 --- a/paper/latex/chapters/acknowledgement.tex +++ b/paper/latex/chapters/acknowledgement.tex @@ -1,7 +1,7 @@ % 致谢章节 \section*{致谢} -\addcontentsline{toc}{section}{致谢\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} +\addcontentsline{toc}{section}{致谢\tiny{\quad.}} 在此，我衷心感谢我的导师XXX教授在论文写作过程中给予的悉心指导和宝贵建议。同时，感谢计算机科学与网络工程学院的各位老师四年来对我的培养和教育。 diff --git a/paper/latex/chapters/references.tex b/paper/latex/chapters/references.tex index 0fa2842..2949e4d 100644 --- a/paper/latex/chapters/references.tex +++ b/paper/latex/chapters/references.tex @@ -2,9 +2,8 @@ \renewcommand\refname{参考文献} \begin{thebibliography}{0} - \addcontentsline{toc}{section}{参考文献\tiny{\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad.\quad}} - %\bibitem{Butterworth}Butterworth S. On the theory of filter amplifiers[J]. Wireless Engineer, 1930, 7(6): 536-541. - % + \addcontentsline{toc}{section}{参考文献\tiny{\quad}} + \bibitem{数字信号处理教材}程佩青. 数字信号处理教程[M]. 清华大学出版社有限公司, 2001. % %\bibitem{信号与系统}陈后金. 信号与系统[M]. 清华大学出版社有限公司, 2003. From 97ee546bdf10af4bc6d3ff3e53cad0447992d6eb Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 18:10:16 +0800 Subject: [PATCH 14/67] =?UTF-8?q?style:=20=E7=AE=80=E5=8C=96=20LaTeX=20?= =?UTF-8?q?=E6=96=87=E4=BB=B6=E4=B8=AD=E7=9A=84=E6=B3=A8=E9=87=8A=E6=A0=BC?= =?UTF-8?q?=E5=BC=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 移除冗余的分隔线注释，使代码更简洁易读 --- paper/latex/chapters/cover.tex | 4 +--- paper/latex/main.tex | 21 ++++++--------------- 2 files changed, 7 insertions(+), 18 deletions(-) diff --git a/paper/latex/chapters/cover.tex b/paper/latex/chapters/cover.tex index d021a63..a3b2de4 100644 --- a/paper/latex/chapters/cover.tex +++ b/paper/latex/chapters/cover.tex @@ -1,6 +1,4 @@ -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -%% 封面部分 -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +% 封面部分 \begin{titlepage} \begin{figure}[H] \centering diff --git a/paper/latex/main.tex b/paper/latex/main.tex index dd4d448..dad4caa 100644 --- a/paper/latex/main.tex +++ b/paper/latex/main.tex @@ -101,36 +101,27 @@ {}{\titlerule*[8pt]{.}\contentspage} -%设置页面格式 +% 设置页面格式 \usepackage[left=3.0cm, right=2.6cm, top=2.54cm, bottom=2.54cm]{geometry} \begin{document} - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - %% 封面部分 - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + % 封面部分 \input{chapters/cover} \renewcommand{\abstractname}{\scriptsize} - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - %% 摘要和关键词部分 - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - - \input{chapters/abstract} + %% 摘要和关键词部分 + \input{chapters/abstract} \newpage - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - %% 目录部分 - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + % 目录部分 \renewcommand{\contentsname}{\centerline{\zihao{-2}\textbf{目录}}} \tableofcontents \newpage - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% - %% 正文部分 - %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% + % 正文部分 { \setlength{\baselineskip}{23pt} From d210ddcca9a15621ad7e9630621b3bf46d76edab Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 19:51:05 +0800 Subject: [PATCH 15/67] =?UTF-8?q?docs(paper):=20=E6=9B=B4=E6=96=B0?= =?UTF-8?q?=E5=BC=95=E8=A8=80=E7=AB=A0=E8=8A=82=E5=86=85=E5=AE=B9=EF=BC=8C?= =?UTF-8?q?=E5=A2=9E=E5=8A=A0=E7=A0=94=E7=A9=B6=E8=83=8C=E6=99=AF=E4=B8=8E?= =?UTF-8?q?=E6=84=8F=E4=B9=89=E3=80=81=E5=9B=BD=E5=86=85=E5=A4=96=E7=A0=94?= =?UTF-8?q?=E7=A9=B6=E7=8E=B0=E7=8A=B6=E7=AD=89=E8=AF=A6=E7=BB=86=E6=8F=8F?= =?UTF-8?q?=E8=BF=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 本次提交对引言章节进行了大幅更新，增加了研究背景与意义、国内外研究现状等内容的详细描述。通过深入分析人工智能辅助编码的最新进展、应用、潜力、挑战以及未来方向，为后续章节的研究奠定了理论基础。同时，优化了章节结构，使其更加清晰和逻辑严密。 --- paper/latex/chapters/introduction.tex | 76 ++++++++++++++++++++++++--- 1 file changed, 68 insertions(+), 8 deletions(-) diff --git a/paper/latex/chapters/introduction.tex b/paper/latex/chapters/introduction.tex index 8f5164b..b604b5b 100644 --- a/paper/latex/chapters/introduction.tex +++ b/paper/latex/chapters/introduction.tex @@ -2,15 +2,75 @@ \section{绪论} -\subsection{课题背景} -随着人工智能技术的快速发展，大模型在自然语言处理领域展现出强大的能力。然而，如何有效地微调这些大模型以适应特定领域任务，仍是一个重要的研究课题。本文针对文档驱动的自适应编码场景，探索一种高效的微调框架。 +\subsection{研究背景与意义} -\subsection{国内外研究进展情况} -随着人工智能技术的快速发展，大模型在自然语言处理领域展现出强大的能力。然而，如何有效地微调这些大模型以适应特定领域任务，仍是一个重要的研究课题。本文针对文档驱动的自适应编码场景，探索一种高效的微调框架。 +在现代软件开发领域，程序员的编码工作日益依赖于先进的大语言模型支持，这些模型凭借其强大的能力，显著自动化了代码生成流程，有效减轻了开发者的工作负担，并大幅度提升了开发效率。然而，尽管这些模型在公开数据集与广泛使用的开源项目中展现出非凡的性能，但在处理企业内部高度专业化的私有库时，其局限性便显露无遗。核心原因在于，大语言模型往往基于广泛的通用数据集进行训练，缺乏对特定企业或项目中私有库内专有函数、类及其交互细节的深度理解和应用适应性。 +相较于广泛采用的公开编码模型，针对私有库设计的专有模型显得尤为必要。公开模型虽强大，但在面对包含企业核心业务逻辑、技术秘密及高度定制化功能的私有库时，往往捉襟见肘。由于缺乏对私有库具体实现细节的认知，生成的代码往往无法精准引用库中的类、方法或属性，这不仅增加了后续人工调整的工作量，还可能引入潜在的安全风险。此外，企业间的私有库差异巨大，从架构设计到API接口各不相同，要求任何自动化工具都必须具备高度的灵活性和可定制性，以适应这些多样化的环境。 +鉴于上述现状，本项目通过深度解析私有库的文档资源，精准提取关键信息，并以此为基础对大语言模型进行针对性的微调与优化。这一过程不仅增强了模型对私有库特定功能和用法的理解能力，还极大地提升了生成代码的准确性和实用性。通过本项目，我们期望能够让生成的代码片段无缝集成于企业的私有库生态中，真正实现企业级软件开发的智能化与高效化，满足企业对高质量、高安全性代码的迫切需求。 -\subsection{本课题的目的及意义} -随着人工智能技术的快速发展，大模型在自然语言处理领域展现出强大的能力。然而，如何有效地微调这些大模型以适应特定领域任务，仍是一个重要的研究课题。本文针对文档驱动的自适应编码场景，探索一种高效的微调框架。 +\subsection{国内外研究现状} -\subsection{总体研究思路} +人工智能辅助编码，作为软件开发领域的一项前沿技术，近年来取得了显著的进展，并展现出巨大的潜力。随着计算能力的提升和机器学习技术的进步，特别是大型语言模型（LLMs）的兴起，AI正在深刻地改变着代码的编写、测试和维护方式。本文将对人工智能辅助编码的最新进展、应用、潜力、挑战以及未来方向进行全面的概述。 -随着人工智能技术的快速发展，大模型在自然语言处理领域展现出强大的能力。然而，如何有效地微调这些大模型以适应特定领域任务，仍是一个重要的研究课题。本文针对文档驱动的自适应编码场景，探索一种高效的微调框架。 \ No newline at end of file +\subsubsection{人工智能辅助编码的最新进展和趋势} + +人工智能辅助编码的最新进展和趋势表明，AI正逐渐成为开发者的重要伙伴，甚至在某些方面能够独立完成复杂的编程任务。到2025年，人们普遍预计，先进的AI模型将不再仅仅提供代码片段，而是能够自动创建完整的应用程序，而人类只需进行最少的指导。GitHub Copilot 和 OpenAI Codex 等工具正处于这一趋势的前沿，使得编程变得更加快速和便捷。 + +主流模型和技术方面，大型语言模型是当前研究和应用的核心。这些模型，例如 OpenAI 的 GPT 系列、Google 的 Gemini、Anthropic 的 Claude 以及国内的文心一言、通义千问等，通过对海量文本和代码数据的学习，展现出强大的代码生成和理解能力。它们能够理解开发者的自然语言指令，并将其转化为可执行的代码。此外，这些模型还在不断进化，例如，OpenAI 的 GPT-4o 在多项编码基准测试中表现领先，而 Anthropic 的 Claude 和 Google 的 Gemini 也紧随其后。一些开源模型，如 Code Llama，也为研究和应用提供了更多的选择。 + +最新的趋势包括 AI 生成代码成为常态，AI 技术深度融入低代码/无代码平台，AI 赋能的测试和调试，AI 优化的性能调优，以及个性化的 AI 驱动的 UX/UI 设计。到2025年，AI 工具将尝试编写完整的模块，主动优化软件，并自动处理调试。此外，AI 还将被集成到 SaaS 和云原生开发中，提升应用程序的自主性、自愈能力和性能优化。预测分析、高度个性化和自学习功能将成为 AI 驱动开发的主导，从而最大限度地减少编码工作并优化性能和用户体验。 + +值得关注的是，国内的 AI 大模型也在编程辅助领域取得了显著进展。例如，科大讯飞的讯飞星火认知大模型具备代码生成、注释和错误检测能力。百度推出了基于文心大模型的智能代码助手 Comate，提供智能推荐、生成和问答等功能。阿里巴巴的通义千问在代码理解方面也表现出色。这些进展表明，国内 AI 技术正在迅速追赶国际领先水平。 + +\subsubsection{AI在软件开发的不同阶段的研究与应用} + +AI 在软件开发的不同阶段都展现出强大的应用潜力。 +在代码生成和补全方面，AI 工具如 GitHub Copilot 和 ChatGPT 能够实时建议代码片段和补全函数，极大地提高了开发速度。Google 的 Gemini Code Assist 甚至可以分析项目上下文和编程语言，生成相关的代码段，从而自动化重复性任务。百度 Comate 和商汤代码小浣熊等国内工具也提供了类似的功能，支持多种编程语言和集成开发环境。 +在错误检测方面，AI 驱动的工具能够分析代码以识别错误、漏洞和低效之处，帮助开发者提高软件质量。例如，科大讯飞的讯飞星火可以精准定位代码语法和逻辑错误。IBM watsonx Code Assistant 等工具也具备错误检测和修复建议功能。 +在代码优化方面，AI 可以提供代码改进建议，以优化性能并降低维护难度。AI 能够检测不良的编码实践，并根据最佳实践提出改进建议，还可以分析并提高代码的效率。 +在自动化测试方面，AI 可以增强测试自动化，通过更快地检测潜在问题来确保软件的可靠性。例如，AI 可以自动生成并执行测试用例，优化测试覆盖范围，并及早发现错误。商汤代码小浣熊也具备辅助进行单元测试的能力。 +此外，AI 还在应用开发方面发挥作用。低代码/无代码 AI 平台使得即使没有广泛编程知识的人也能够创建应用程序。这些平台通过 AI 驱动的易用性，降低了软件开发的门槛。 +值得一提的是，AI 在代码审查自动化方面也取得了进展。例如，CodeAgent 是一种新型的多智能体大型语言模型系统，用于自动化代码审查。它能够检测代码变更与提交消息之间的不一致性，识别潜在的漏洞，验证代码风格的一致性，并提出代码修改建议。 + +\subsubsection{AI辅助编码在不同编程语言和环境中的实际应用和用户反馈} +AI 辅助编码工具的实际应用非常广泛，支持多种编程语言和开发环境。这些工具通常以插件的形式集成到流行的集成开发环境（IDEs）中，如 VS Code、IntelliJ IDEA 和 Android Studio。它们支持包括 Python、Java、JavaScript、C++、Go 和 SQL 等在内的 100 多种主流编程语言。 +用户反馈普遍积极，许多开发者报告了显著的生产力提升。例如，有开发者报告使用 AI 工具后，项目时间缩短了一半，生产力提高了 50\%。RunSignup 团队通过使用基于自身代码库训练的 AI 工具，预计在 2025 年开发效率将提高约 20\%。Salesforce 的 CEO Marc Benioff 也表示，他们的工程生产力提高了 30\%。 +用户赞赏 AI 工具能够自动化重复性任务，例如生成样板代码、修复语法错误和起草文档，从而使开发者能够专注于更复杂的挑战，如系统设计和算法创新。GitHub Copilot 的用户 Lars Gyrup Brink Nielsen 甚至表示，没有它，他再也不会开发软件了。 +然而，用户反馈也并非完全没有担忧。一些开发者担心过度依赖 AI 可能会导致对代码库的理解不够深入，从而在未来需要进行修改时更容易引入缺陷。此外，对于 AI 生成代码的质量和安全性也存在一定的疑虑，这将在后续章节中进一步讨论。 + +\subsubsection{AI辅助编码在提升开发效率、代码质量和降低成本方面的潜力} +AI 辅助编码在提升开发效率、代码质量和降低成本方面展现出巨大的潜力。 +提升开发效率方面，AI 能够自动化重复性任务，加速开发时间，并提供实时的支持和建议，从而显著提高开发速度。例如，通过自动生成代码片段和脚本，AI 可以大幅减少编码所需的时间，这对于需要在短时间内完成项目的场景尤为重要。 +提高代码质量方面，AI 可以帮助减少错误，确保代码风格和最佳实践的一致性，并为新手开发者提供学习机会，从而提高整体代码质量。AI 驱动的工具能够检测代码中的错误和低效之处，并提供修复建议。此外，AI 还可以增强测试自动化，确保软件的可靠性。 +降低成本方面，AI 有潜力通过减少开发团队规模、缩短上市时间以及降低软件开发的门槛来实现成本节约。对于初创企业和中小型企业而言，AI 编码助手可以 democratize 高质量的编码专业知识，从而减少对大型开发团队的需求。 +然而，值得注意的是，尽管 AI 可以提高生产力，但研究表明，AI 辅助的代码中代码克隆的现象显著增加。这可能对代码的可维护性产生负面影响，并可能导致技术债务的累积。因此，在追求效率的同时，仍需关注代码的长期质量和可维护性。 + +\subsubsection{研究AI辅助编码面临的挑战和未来方向} +尽管人工智能辅助编码带来了诸多益处，但也面临着一些重要的挑战，并且未来的发展方向也需要仔细考量。 +安全性是首要的挑战之一。研究表明，AI 生成的代码可能包含与手动编写的代码相似甚至更高的安全漏洞。这些漏洞包括 SQL 注入、跨站脚本攻击（XSS）等常见安全问题。AI 模型通过复制其训练数据中的模式来工作，如果训练数据包含不安全的编码模式，AI 可能会在生成的代码中重现这些模式。此外，AI 工具可能缺乏对特定应用程序上下文和安全要求的全面理解，从而无法生成完全安全的代码。新兴的攻击手段，例如针对 GitHub Copilot 和 Cursor 的“规则文件后门”技术，也表明 AI 编码助手本身可能成为新的攻击媒介。因此，对 AI 生成的代码进行严格的安全扫描和人工审查至关重要。 +可解释性是另一个重要的挑战。许多 AI 模型，特别是基于深度学习的模型，本质上是“黑箱”，难以理解其代码生成的过程。这种不透明性使得调试、信任以及识别潜在的偏见或错误变得困难。为了解决这个问题，未来的研究需要侧重于开发更具可解释性的 AI 技术，使用户能够理解 AI 生成代码的原因和逻辑。 +伦理问题也日益受到关注。AI 辅助编码的广泛应用可能会导致软件开发人员的就业岗位流失。虽然 AI 也可能创造新的工作岗位，但如何确保工人能够顺利过渡到新的角色是一个重要的社会问题。此外，训练数据中的偏见可能会导致 AI 模型生成带有歧视性或不公平的代码。例如，如果训练数据主要来自特定人群编写的代码，AI 可能会偏向于这些编码风格或实践，而忽略其他更优的方案。因此，负责任的 AI 开发实践至关重要，包括确保数据的多样性和公正性，以及在开发过程中考虑到伦理因素。 +未来的研究方向包括提高 AI 生成代码的准确性和可靠性，增强其对复杂架构上下文的理解，以及开发更好的代码质量评估指标。此外，还需要深入研究 AI 对软件开发的长期影响以及人类开发者角色的演变。人机协作被认为是未来的重要发展方向，即 AI 系统与人类程序员协同工作，共同提高编码效率和软件质量。 +为了应对这些挑战，需要从多个层面进行努力，包括制定伦理指导原则、加强外部监管、推动国际合作以及保护用户权益。只有这样，才能确保 AI 辅助编码技术朝着负责任和有益的方向发展。 + +\subsubsection{总结当前研究现状} +当前，人工智能辅助编码正处于快速发展阶段。大型语言模型作为核心技术，在代码生成、补全、错误检测、优化和自动化测试等方面展现出强大的能力。AI 工具已经广泛应用于各种编程语言和开发环境中，并获得了用户的积极反馈，普遍认为能够显著提升开发效率、代码质量并降低成本。 +然而，研究也揭示了 AI 辅助编码面临的严峻挑战，主要集中在安全性、可解释性和伦理问题上。AI 生成的代码可能存在安全漏洞，模型的决策过程往往难以解释，并且 AI 的应用也引发了关于就业、偏见和责任的伦理担忧。 +未来的研究方向将侧重于克服这些挑战，例如开发更安全的 AI 模型，提高模型的可解释性，以及制定负责任的 AI 开发和部署框架。人机协作模式被认为是未来的趋势，AI 将成为开发者更强大、更智能的助手。持续的研究和跨领域的合作对于确保 AI 辅助编码技术的健康发展和广泛应用至关重要。 + +\subsection{本文结构安排} + +本文围绕基于大型语言模型的自动化微调框架展开研究与实现，全文共分为五章，具体结构安排如下： + +第一章 前言：本章首先介绍了研究的背景与意义，阐述了大型语言模型微调自动化的重要性和必要性。随后，对国内外相关的研究现状进行了回顾与分析，指出了现有方法的优势与不足。最后，概述了本文的主要研究内容，并介绍了论文的整体结构安排。 + +第二章 相关技术介绍：本章详细介绍了本文研究所涉及的关键技术。包括大型语言模型（LLM）的发展、应用及在辅助编码方面的潜力；提示工程技术在引导LLM生成高质量文本中的作用；模型量化技术及其在降低模型部署成本方面的意义；LoRA（Low-Rank Adaptation）等参数高效微调方法，特别是QLoRA的原理与优势；优化微调效率的unsloth算子；以及用于构建交互式界面的Gradio框架。 + +第三章 需求分析：本章从项目整体出发，对基于大型语言模型的自动化微调框架进行了需求分析。首先介绍了项目的整体目标和应用场景。然后，详细分析了系统的功能需求，包括训练语料生成、模型微调、自动化整合以及前端展示等核心功能。最后，阐述了系统的非功能需求，如性能要求和扩展性要求。 + +第四章 关键技术实现：本章详细阐述了系统的具体实现过程。首先介绍了系统的整体架构设计、模块划分与交互流程。接着，描述了双数据库架构（SQLite+TinyDB）的设计与实现方案，以及数据模型定义和数据库管理。详细介绍了语料生成与处理技术，包括Markdown文档解析、Prompt模板应用、API协程并发调用以及数据校验与持久化。重点阐述了语言模型训练技术的实现，涵盖监督式微调（SFT）流程、训练数据准备、LoRA微调方法应用、训练配置、监控与结果保存。随后，介绍了基于Gradio框架的前端交互系统设计与实现，包括全局状态管理、前后端数据流、流式响应与实时反馈以及异常处理。最后，探讨了系统的扩展性实现方案。 + +第五章 总结与展望：本章对本文的研究工作进行了全面的总结，回顾了所取得的主要成果。同时，分析了当前研究存在的不足与局限性。最后，对未来的研究方向和可能的技术发展进行了展望。 + +\subsection{小结} +本章作为全文的引言部分，首先阐明了在当前大型语言模型蓬勃发展的背景下，构建自动化微调框架的研究背景和重要的现实意义。通过对国内外相关研究现状的梳理，我们认识到自动化、高效化微调工具的缺失是当前LLM应用落地的瓶颈之一，这进一步凸显了本研究的价值。本章还概述了本文的主要研究内容，旨在通过整合先进的语料生成、模型微调和前端交互技术，构建一个用户友好、高效灵活的LLM自动化微调框架。最后，详细介绍了本文的章节结构安排，为读者清晰地勾勒出后续内容的逻辑脉络，为深入理解本文的研究工作奠定了基础。 \ No newline at end of file From 4a67c20b707ab1a456a4d31b78a62b6cd266139f Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Fri, 25 Apr 2025 20:59:10 +0800 Subject: [PATCH 16/67] =?UTF-8?q?docs:=20=E6=B7=BB=E5=8A=A0=E5=B9=B6?= =?UTF-8?q?=E6=9B=B4=E6=96=B0=E8=AE=BA=E6=96=87=E7=AB=A0=E8=8A=82=E6=96=87?= =?UTF-8?q?=E4=BB=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 添加了新的章节文件：相关技术介绍、需求分析、关键技术实现，并更新了总结与展望章节的内容。同时在主文件中引入了这些新章节，确保论文结构完整。 --- paper/latex/chapters/conclusion.tex | 4 ++-- paper/latex/chapters/implementation.tex | 3 +++ paper/latex/chapters/requirement.tex | 3 +++ paper/latex/chapters/technology.tex | 3 +++ paper/latex/main.tex | 6 ++++++ 5 files changed, 17 insertions(+), 2 deletions(-) create mode 100644 paper/latex/chapters/implementation.tex create mode 100644 paper/latex/chapters/requirement.tex create mode 100644 paper/latex/chapters/technology.tex diff --git a/paper/latex/chapters/conclusion.tex b/paper/latex/chapters/conclusion.tex index 2d727e1..c723b9f 100644 --- a/paper/latex/chapters/conclusion.tex +++ b/paper/latex/chapters/conclusion.tex @@ -1,6 +1,6 @@ -% 结论章节 +% 第五章 总结与展望 -\section{结论} +\section{总结与展望} 本文提出的文档驱动自适应编码框架有效解决了大模型微调中的样本利用率问题，实验结果表明该方法在多个NLP任务上性能提升显著。 \ No newline at end of file diff --git a/paper/latex/chapters/implementation.tex b/paper/latex/chapters/implementation.tex new file mode 100644 index 0000000..4d648a8 --- /dev/null +++ b/paper/latex/chapters/implementation.tex @@ -0,0 +1,3 @@ +% 第四章：关键技术实现 + +\section{关键技术实现} \ No newline at end of file diff --git a/paper/latex/chapters/requirement.tex b/paper/latex/chapters/requirement.tex new file mode 100644 index 0000000..7b2da04 --- /dev/null +++ b/paper/latex/chapters/requirement.tex @@ -0,0 +1,3 @@ +% 第三章：需求分析 + +\section{需求分析} \ No newline at end of file diff --git a/paper/latex/chapters/technology.tex b/paper/latex/chapters/technology.tex new file mode 100644 index 0000000..5320c51 --- /dev/null +++ b/paper/latex/chapters/technology.tex @@ -0,0 +1,3 @@ +% 第二章：相关技术介绍 + +\section{相关技术介绍} \ No newline at end of file diff --git a/paper/latex/main.tex b/paper/latex/main.tex index dad4caa..1bc7559 100644 --- a/paper/latex/main.tex +++ b/paper/latex/main.tex @@ -129,6 +129,12 @@ \newpage \input{chapters/introduction} \newpage + \input{chapters/technology} + \newpage + \input{chapters/requirement} + \newpage + \input{chapters/implementation} + \newpage \input{chapters/conclusion} From 75bc9a76d043f71ab284d1ac84e211a8da742bcf Mon Sep 17 00:00:00 2001 From: carry <2641257231@qq.com> Date: Sat, 26 Apr 2025 01:07:09 +0800 Subject: [PATCH 17/67] =?UTF-8?q?docs:=20=E6=9B=B4=E6=96=B0=E8=AE=BA?= =?UTF-8?q?=E6=96=87=E7=9B=B8=E5=85=B3=E7=AB=A0=E8=8A=82=E7=9A=84LaTeX?= =?UTF-8?q?=E5=92=8CMarkdown=E6=96=87=E4=BB=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 更新了论文的LaTeX和Markdown文件，包括绪论、相关技术介绍、需求分析、关键技术实现、总结与展望等章节。新增了详细的Markdown文件，涵盖了各章节的内容，并对LaTeX文件进行了相应的修改和补充，确保内容一致性和完整性。 --- paper/latex/chapters/conclusion.tex | 121 +++++++++++- paper/latex/chapters/implementation.tex | 245 +++++++++++++++++++++++- paper/latex/chapters/references.tex | 36 +++- paper/latex/chapters/requirement.tex | 36 +++- paper/latex/chapters/technology.tex | 92 ++++++++- paper/latex/main.tex | 1 - paper/markdown/毕业论文分点.md | 121 ++++++++++++ paper/markdown/第一章 绪论.md | 140 ++++++++++++++ paper/markdown/第三章 需求分析.md | 39 ++++ paper/markdown/第二章 相关技术介绍.md | 88 +++++++++ paper/markdown/第五章 总结与展望.md | 91 +++++++++ paper/markdown/第四章 关键技术实现.md | 243 +++++++++++++++++++++++ 12 files changed, 1242 insertions(+), 11 deletions(-) create mode 100644 paper/markdown/毕业论文分点.md create mode 100644 paper/markdown/第一章 绪论.md create mode 100644 paper/markdown/第三章 需求分析.md create mode 100644 paper/markdown/第二章 相关技术介绍.md create mode 100644 paper/markdown/第五章 总结与展望.md create mode 100644 paper/markdown/第四章 关键技术实现.md diff --git a/paper/latex/chapters/conclusion.tex b/paper/latex/chapters/conclusion.tex index c723b9f..c766fbd 100644 --- a/paper/latex/chapters/conclusion.tex +++ b/paper/latex/chapters/conclusion.tex @@ -3,4 +3,123 @@ \section{总结与展望} -本文提出的文档驱动自适应编码框架有效解决了大模型微调中的样本利用率问题，实验结果表明该方法在多个NLP任务上性能提升显著。 \ No newline at end of file +\hypertarget{ux7814ux7a76ux5de5ux4f5cux603bux7ed3}{% + \subsection{ + 研究工作总结}\label{ux7814ux7a76ux5de5ux4f5cux603bux7ed3}} + +本研究围绕基于大型语言模型的自动化微调框架展开，旨在解决企业级软件开发中私有代码库智能辅助编码的挑战。通过系统化的设计与实现，本研究取得了以下主要成果： + +\hypertarget{ux521bux65b0ux6027ux67b6ux6784ux8bbeux8ba1}{% + \subsubsection{ + 创新性架构设计}\label{ux521bux65b0ux6027ux67b6ux6784ux8bbeux8ba1}} + +本研究提出了一种文档驱动的自适应编码大模型微调框架，采用三层架构设计（表现层、业务逻辑层和数据访问层）实现了系统的高内聚低耦合。特别是在数据存储方面，创新性地采用了SQLite与TinyDB相结合的双数据库架构，针对不同类型数据（结构化配置数据与半结构化训练数据）实现了最优化的存储方案。这种设计在保障事务完整性的同时，充分兼顾了半结构化数据处理的敏捷性需求，为系统的稳定运行和灵活扩展奠定了基础。 + +\hypertarget{ux9ad8ux6548ux8bedux6599ux751fux6210ux6280ux672f}{% + \subsubsection{ + 高效语料生成技术}\label{ux9ad8ux6548ux8bedux6599ux751fux6210ux6280ux672f}} + +本研究开发了一套完整的技术文档处理与训练语料生成方案。通过基于栈结构的Markdown文档解析器，系统能够准确捕获文档的层级结构和内容关系；结合PromptTemplate动态模板技术，实现了提示词的参数化配置；采用基于异步IO架构的OpenAI +API协程并发调用机制，显著提升了语料生成效率；同时，通过严格的JSON格式校验与数据验证流程，确保了生成语料的质量和一致性。这套技术方案有效解决了从技术文档到训练语料的自动化转换问题，为模型微调提供了高质量的数据基础。 + +\hypertarget{ux53c2ux6570ux9ad8ux6548ux5faeux8c03ux5b9eux73b0}{% + \subsubsection{ + 参数高效微调实现}\label{ux53c2ux6570ux9ad8ux6548ux5faeux8c03ux5b9eux73b0}} + +在模型训练方面，本研究采用了LoRA（Low-Rank +Adaptation）参数高效微调方法，并结合Unsloth优化算子，实现了在有限计算资源条件下的高效模型适配。系统构建了完整的监督式微调（SFT）流程，包括训练数据准备与格式化、LoRA微调方法应用、训练配置优化以及结果保存等环节。通过这种方法，成功将通用大语言模型定向优化为具备私有库代码生成能力的专用模型，在保持模型通用能力的同时，显著提升了其在特定领域的表现。 + +\hypertarget{ux4ea4ux4e92ux5f0fux524dux7aefux7cfbux7edf}{% + \subsubsection{ + 交互式前端系统}\label{ux4ea4ux4e92ux5f0fux524dux7aefux7cfbux7edf}} + +基于Gradio框架，本研究构建了一个功能完备的交互式前端系统，包含模型管理、模型推理、模型微调、数据集生成、数据集管理、提示词模板管理和系统设置等七个功能模块。系统实现了全局状态管理、前后端数据流控制、流式响应与实时反馈等关键功能，为用户提供了直观、易用的操作界面。这种设计不仅降低了系统使用门槛，还通过可视化配置和实时反馈机制，提升了整体用户体验。 + +\hypertarget{ux7cfbux7edfux96c6ux6210ux4e0eux5de5ux7a0bux5b9eux8df5}{% + \subsubsection{ + 系统集成与工程实践}\label{ux7cfbux7edfux96c6ux6210ux4e0eux5de5ux7a0bux5b9eux8df5}} + +本研究成功将文档解析、语料生成、模型微调和交互界面等多个模块集成为一个完整的自动化框架，实现了从技术文档输入到定制化模型输出的全流程自动化。在工程实践层面，系统采用了模块化设计、异常处理机制、数据持久化策略和性能优化措施，确保了系统的稳定性、可扩展性和高效性。这种全面的系统集成为企业级软件开发中的智能编码辅助提供了可行的技术路径。 + +总体而言，本研究不仅在技术层面实现了大语言模型微调框架的创新设计与实现，还在应用层面为解决企业私有库代码生成问题提供了系统化解决方案。通过文档驱动的自适应微调方法，成功提升了大语言模型在特定领域的代码生成能力，为企业级软件开发的智能化与高效化提供了有力支持。 + +\hypertarget{ux4e0dux8db3ux4e0eux5c40ux9650}{% + \subsection{不足与局限}\label{ux4e0dux8db3ux4e0eux5c40ux9650}} + +基于对项目代码库和论文内容的深入分析，本项目虽然在大语言模型微调框架方面取得了一定成果，但仍存在以下几个方面的不足与局限性： + +\hypertarget{ux6587ux6863ux5904ux7406ux80fdux529bux7684ux5c40ux9650ux6027}{% + \subsubsection{文档处理能力的局限性}\label{ux6587ux6863ux5904ux7406ux80fdux529bux7684ux5c40ux9650ux6027}} + +当前系统在文档处理方面主要支持Markdown格式的技术文档解析，对其他格式文档（如PDF、Word、HTML等）的支持有限。这种单一格式的依赖在实际企业环境中可能造成应用障碍，因为企业技术文档通常以多种格式存在。此外，文档解析过程中缺乏对复杂结构（如嵌套表格、图表等）的有效处理机制，可能导致关键信息的丢失或误解。 + +\hypertarget{ux8badux7ec3ux8bedux6599ux8d28ux91cfux4e0dux7a33ux5b9a}{% + \subsubsection{训练语料质量不稳定}\label{ux8badux7ec3ux8bedux6599ux8d28ux91cfux4e0dux7a33ux5b9a}} + +生成的训练语料质量高度依赖于原始文档的质量和大模型的能力。在实际应用中，如果原始文档存在描述不清、术语不一致或结构混乱等问题，将直接影响生成的训练语料质量。同时，系统缺乏对生成语料的自动化质量评估机制，难以在大规模语料生成过程中保证数据质量的一致性，这可能导致微调效果的不稳定。 + +\hypertarget{ux5faeux8c03ux6280ux672fux7684ux5355ux4e00ux6027}{% + \subsubsection{微调技术的单一性}\label{ux5faeux8c03ux6280ux672fux7684ux5355ux4e00ux6027}} + +当前系统主要采用LoRA微调方法，虽然该方法在参数效率上有显著优势，但在处理特定领域深度知识或复杂语义理解任务时可能存在效果不佳的情况。系统未能提供多种微调方法（如P-Tuning、Prefix-Tuning等）的集成支持，限制了用户根据具体需求选择最适合的微调策略的灵活性。 + +\hypertarget{ux8d85ux53c2ux6570ux4f18ux5316ux673aux5236ux4e0dux8db3}{% + \subsubsection{超参数优化机制不足}\label{ux8d85ux53c2ux6570ux4f18ux5316ux673aux5236ux4e0dux8db3}} + +微调过程中的超参数选择主要依靠经验设定，缺乏自动化优化机制。这种人工干预的方式不仅增加了用户的使用门槛，也难以保证在不同数据集和任务上获得最优的微调效果。系统未能实现如贝叶斯优化、网格搜索等自动化超参数调优方法，这在处理多样化的企业私有库时可能导致性能次优。 + +\hypertarget{ux8bc4ux4f30ux4f53ux7cfbux4e0dux5b8cux5584}{% + \subsubsection{评估体系不完善}\label{ux8bc4ux4f30ux4f53ux7cfbux4e0dux5b8cux5584}} + +当前系统缺乏对微调后模型效果的全面评估机制，难以客观量化模型在特定领域的提升程度。评估指标单一，主要关注生成代码的语法正确性，而对代码的功能正确性、安全性、可维护性等多维度评估不足。这种评估体系的不完善使得用户难以全面了解微调效果，也为系统的持续优化和迭代带来了挑战。 + +\hypertarget{ux591aux6a21ux6001ux878dux5408ux80fdux529bux6b20ux7f3a}{% + \subsubsection{多模态融合能力欠缺}\label{ux591aux6a21ux6001ux878dux5408ux80fdux529bux6b20ux7f3a}} + +系统主要处理文本形式的技术文档，缺乏对图表、UML图、流程图等非文本信息的理解和处理能力。在实际的软件开发文档中，这些非文本信息往往承载了重要的设计思想和架构信息，忽略这部分内容可能导致模型对代码结构和设计模式的理解不足，从而影响生成代码的质量。 + +\hypertarget{ux5b89ux5168ux6027ux8003ux8651ux4e0dux5145ux5206}{% + \subsubsection{安全性考虑不充分}\label{ux5b89ux5168ux6027ux8003ux8651ux4e0dux5145ux5206}} + +在处理企业私有库和敏感技术文档时，系统对数据安全和隐私保护的考虑不够全面。缺乏对训练数据的脱敏处理机制，以及对生成模型可能泄露原始训练数据的防护措施。这在处理包含商业机密或敏感信息的企业私有库时，可能带来潜在的安全风险。 + +通过识别和分析这些不足与局限性，为未来研究提供了明确的改进方向，包括扩展文档处理能力、提高训练语料质量、丰富微调方法、实现超参数自动优化、降低资源需求、完善评估体系、增强多模态融合能力以及加强安全性保障等方面。这些改进将有助于构建更加完善、实用的大语言模型微调框架，更好地满足企业级软件开发的智能辅助需求。 + +\hypertarget{ux672aux6765ux5c55ux671b}{% + \subsection{未来展望}\label{ux672aux6765ux5c55ux671b}} + +基于当前研究基础和技术发展趋势，本研究框架的后续演进可从以下六个维度展开深度探索： + +\hypertarget{ux8fb9ux7f18ux667aux80fdux96c6ux6210}{% + \subsubsection{边缘智能集成}\label{ux8fb9ux7f18ux667aux80fdux96c6ux6210}} + +研究模型轻量化与边缘计算融合技术，探索基于TensorRT、ONNX +Runtime等推理引擎的异构加速方案。通过开发自适应模型切片技术，实现大模型在边缘设备（如Jetson系列）的分布式推理，构建端云协同的智能编码辅助体系，有效降低服务延迟并提升隐私保护等级。 + +\hypertarget{ux52a8ux6001ux81eaux9002ux5e94ux5b66ux4e60ux673aux5236}{% + \subsubsection{动态自适应学习机制}\label{ux52a8ux6001ux81eaux9002ux5e94ux5b66ux4e60ux673aux5236}} + +设计基于强化学习的在线学习框架，建立代码评审反馈闭环系统。通过开发增量式微调算法（如AdaLoRA），使模型能够动态适应企业代码库的持续演进，形成``开发-训练-优化''的自我迭代生态，解决传统静态模型与动态代码库的版本错配问题。 + +\hypertarget{ux667aux80fdux5316ux4f26ux7406ux5b89ux5168ux6846ux67b6}{% + \subsubsection{智能化伦理安全框架}\label{ux667aux80fdux5316ux4f26ux7406ux5b89ux5168ux6846ux67b6}} + +构建多层次安全防护体系，研发面向代码生成的差分隐私保护模块（DP-SGD）和模型水印技术。引入代码合规性验证层，集成SAST（静态应用安全测试）工具链，确保生成代码符合企业安全规范及行业监管要求，防范潜在的法律风险。 + +\hypertarget{ux8de8ux5e73ux53f0ux751fux6001ux6784ux5efa}{% + \subsubsection{跨平台生态构建}\label{ux8de8ux5e73ux53f0ux751fux6001ux6784ux5efa}} + +开发统一的API网关和服务编排引擎，支持与主流IDE（VSCode/IntelliJ/PyCharm）深度集成。研究容器化微服务架构，实现模型服务在Kubernetes集群的弹性伸缩，构建跨Windows/Linux/macOS的多平台支持能力，提升框架的工程适用性。 + +\hypertarget{ux5f00ux53d1ux8005ux77e5ux8bc6ux56feux8c31ux6784ux5efa}{% + \subsubsection{开发者知识图谱构建}\label{ux5f00ux53d1ux8005ux77e5ux8bc6ux56feux8c31ux6784ux5efa}} + +融合代码抽象语法树（AST）分析与文档实体识别技术，构建企业级开发知识图谱。通过图神经网络（GNN）实现编码规范、API调用关系、架构模式等隐性知识的可视化表达与推理，为开发者提供智能化的代码导航和架构决策支持。 + +\hypertarget{cicdux6df1ux5165ux96c6ux6210}{% + \subsubsection{CI/CD深入集成}\label{cicdux6df1ux5165ux96c6ux6210}} + +建立基于Git版本流的自动化训练数据采集管道，开发代码变更敏感度分析模型。结合主动学习策略（Active +Learning）构建智能数据筛选机制，实现训练样本的按需获取和高效标注，形成可持续进化的模型优化体系。 + +这些技术方向的突破将推动智能编码辅助系统从单一功能工具向开发全生命周期支持平台演进，最终形成具备自我进化能力的智能软件开发生态系统，为软件工程领域带来范式级变革。 \ No newline at end of file diff --git a/paper/latex/chapters/implementation.tex b/paper/latex/chapters/implementation.tex index 4d648a8..7e37ba7 100644 --- a/paper/latex/chapters/implementation.tex +++ b/paper/latex/chapters/implementation.tex @@ -1,3 +1,246 @@ % 第四章：关键技术实现 -\section{关键技术实现} \ No newline at end of file +\section{关键技术实现} + +\subsection{系统架构设计} +\subsubsection{整体架构设计} +本系统采用经典的三层架构设计，分为表现层、业务逻辑层和数据访问层。在表现层中，基于Gradio框架构建了一个用户友好的Web界面，包含7个功能模块：模型管理、模型推理、模型微调、数据集生成、数据集管理、提示词模板管理和系统设置。该界面采用响应式设计，支持流式输出和灵活的参数配置，以满足不同用户的交互需求。 +业务逻辑层是系统的核心部分，负责处理具体的业务逻辑。其中，模型训练模块基于Unsloth和TRL库实现了高效的LoRA微调功能；模型推理模块支持流式生成，并允许用户配置多种采样参数；数据处理模块则涵盖了数据集的转换、验证和预处理等任务，确保数据的质量和一致性。 +数据访问层主要负责数据的存储与管理。系统使用SQLite存储系统配置和元数据，同时采用TinyDB内存数据库管理数据集，支持JSON格式的数据导入和导出。通过这种分层设计，各层之间通过明确定义的接口进行交互，不仅提升了系统的可扩展性和可维护性，还为后续的功能扩展奠定了基础。 + +\subsubsection{模块划分与交互流程} +系统根据功能需求划分为多个模块，各模块之间通过清晰的交互流程协同工作，确保系统的高效运行。 +模型管理模块 是系统的核心之一，负责加载、卸载和配置大语言模型。用户可以通过该模块选择并管理不同的模型，而模型推理模块则负责处理用户输入并生成模型响应。此外，模型训练模块支持执行LoRA微调训练流程，帮助用户优化模型性能。 +数据集生成模块 的设计重点在于灵活性和效率。它支持多种文档格式输入（优先支持Markdown），提供可视化模板编辑和变量配置功能，同时支持多轮次并发生成。为了保证生成结果的可靠性，模块还内置了自动验证和转换机制。在技术实现上，使用LangChain PromptTemplate处理模板，采用异步调用提高生成效率，并通过原子操作保证数据一致性。此外，模块还提供了进度反馈和错误处理机制，进一步提升用户体验。 +数据管理模块 涵盖了数据集生成、存储以及提示词模板管理等功能。数据集生成功能用于创建和预处理训练数据，数据集存储则通过TinyDB实现内存数据库管理，确保数据的高效存取。提示词模板管理模块负责维护对话模板和系统提示，为模型推理提供必要的上下文支持。 +系统交互流程 从用户发起请求开始，用户通过Gradio界面与系统交互。前端模块接收用户请求后，调用对应的业务逻辑模块进行处理。业务逻辑模块根据需要访问数据存储层获取或保存数据，并将处理结果返回给前端展示。整个流程清晰且高效，确保用户能够快速获得所需的结果。 + +关键数据流包括以下几个方面： + +\subsection{数据库设计与实现} + +\subsubsection{双数据库架构设计（SQLite + TinyDB）} +本系统创新性地采用SQLite与TinyDB相结合的双数据库架构，以应对不同类型数据的管理需求。对于API提供者信息等结构化数据，系统选用SQLite作为核心数据库，并通过SQLModel这一ORM工具实现面向对象的数据操作，其内置的线程锁机制有效保障了多线程环境下的数据并发安全。SQLite数据库的实体文件持久化存储于workdir/db/db.sqlite路径，确保数据的可追溯性。 +针对数据集信息（包含文档元数据及问答对集合）和提示词模板等半结构化数据的管理，系统则采用轻量级文档数据库TinyDB。数据集采用内存存储与JSON文件持久化相结合的混合模式，而提示词模板则直接通过JSON文件进行存储。TinyDB的无模式（Schema-free）特性为数据模型的灵活扩展提供了便利，其对原生JSON格式的处理能力显著提升了数据序列化与反序列化的效率。这种双数据库协同架构在保障事务完整性的同时，充分兼顾了半结构化数据处理的敏捷性需求，实现了数据存储方案的最优化配置。 + +\subsubsection{据模型定义与存储方案} +本系统遵循领域驱动设计原则，并借助Pydantic框架构建了层次化的数据模型体系，以确保业务数据的完整性和一致性。在数据集建模方面，设计了四级递进模型结构：Doc模型用于描述文档的基础元数据（如名称、存储路径、版本号等）；Q\_A模型封装了单个问答对的核心要素；DatasetItem模型聚合多个问答对，形成逻辑上的数据单元；最终，Dataset模型整合元数据与数据项集合，构成完整的数据集结构。 +提示词模板模型则通过promptTemplate实体进行抽象，包含模板ID、名称、描述、内容体及创建时间等关键字段。系统预置了验证规则，强制要求模板内容必须包含document\_slice变量占位符，以确保模板在实际应用中具备上下文填充能力。 +在存储实现层面，数据集采用了内存数据库与文件系统持久化相结合的双重保障机制，并利用TinyDB的临时文件特性实现原子写入操作。提示词模板则直接采用JSON文件存储方案，其良好的可读性便于人工维护。这种差异化的存储策略旨在保证数据完整性的同时，提升数据访问和管理的效率。 + +\subsubsection{数据库初始化与管理实现} +本系统实施了分层且智能化的数据库初始化与管理策略。针对SQLite数据库，初始化阶段将自动检测并创建数据库文件，并通过SQLModel的元数据创建功能动态构建表结构，同时支持从环境变量注入初始数据集，从而实现部署环境的快速配置。对于TinyDB子系统，初始化时将执行自动化目录扫描，对workdir/dataset路径下的JSON文件进行格式校验和数据加载，建立内存与文件系统之间的双向同步机制。 +为保障数据可靠性，系统采用了多维度管理策略：在访问控制层面，SQLite数据库利用线程级锁机制实现并发安全，TinyDB则通过文件锁保证写入操作的互斥性；在数据操作层面，系统集成了Pydantic模型验证框架，在数据持久化之前执行严格的类型校验；在容错机制方面，系统采用预写式日志（WAL）记录关键操作，并结合异常捕获机制实现故障的可追溯性。特别设计的原子写入模块通过临时文件交换技术，确保在任何异常情况下存储文件的完整性，从而有效防范数据损坏的风险。 + +\subsection{语料生成与处理技术} + +\subsubsection{Markdown文档解析} +该解析器采用树形结构组织Markdown文档内容，核心是通过栈结构维护标题层级关系。当遇到\#号开头的标题行时，解析器会根据\#号数量确定当前标题的层级，并通过栈结构维护父子关系。如果遇到比栈顶元素层级低的标题，会不断弹出栈顶元素直到找到合适的父节点。对于代码块内容，解析器会特殊处理以```或\textasciitilde{}\textasciitilde{}\textasciitilde{}开头的行，将其间的所有内容视为原始文本直接附加到当前节点，不进行任何解析。这种处理方式保证了代码块内的特殊字符不会被误解析为Markdown语法。文档内容的组织采用递归遍历方式。process\_markdown\_file函数会先构建完整的文档树，然后通过traverse函数递归遍历所有节点。对于叶子节点(没有子节点的节点)，会将从根节点到该节点的所有标题用``-\textgreater{}''连接，并与节点内容组合输出，形成完整的上下文信息。解析器还提供了print\_tree函数用于可视化文档结构，可以清晰展示各层级标题的嵌套关系和内容分布。这种树形结构表示法特别适合处理具有复杂层级关系的长文档，能够准确反映文档的原始组织结构。 + +\subsubsection{prompt模板套用和提示词格式引导} +通过PromptTemplate类构建动态提示词模板，前端界面支持选择预存模板并自动提取变量生成可编辑表格，实现提示词参数化；采用提示词追加JSON格式要求和API强制返回结构的双重保障机制确保输出结构化；支持多轮生成并记录详细耗时和token使用情况，同时具备异常处理能力；通过严格的数据验证流程将响应解析映射到数据模型，确保数据质量；特别实现了文档切片与模板变量的智能组合，有效支持从长文档生成结构化QA数据集，形成了一套完整的提示词模板应用与数据集生成解决方案。 + +\subsubsection{OpenAI API的协程并发语料生成} +本系统的OpenAI API协程并发语料生成模块采用异步IO架构实现高并发处理，其核心逻辑体现在 reasoning.py 中的 call\_openai\_api 方法。该方法通过实例化 openai.AsyncOpenAI 异步客户端，支持多轮次（rounds参数）连续对话请求，自动解析JSON格式响应并记录完整的调用元数据。在并发控制方面，基于Python原生asyncio事件循环实现非阻塞式请求处理，通过await关键字异步等待API响应，这种设计理论上可扩展为使用asyncio.gather实现并行请求批处理。数据流设计采用 dataset\_generation.py 中定义的 LLMRequest 请求对象封装输入参数，生成 LLMResponse 响应列表。错误处理机制采用全异常捕获策略，在发生API超时或格式错误时保留错误上下文和response\_id追踪链，同时维护包含耗时统计（精确到毫秒）、prompt/completion tokens使用量及总资源消耗的性能监控体系。该模块通过 dataset\_generate\_page.py 集成到前端生成流程，实现文档切片处理、可配置并发参数（当前UI隐藏）和实时进度反馈的完整工作流。 + +\subsubsection{json格式校验、反序列化和持久化} +本系统采用三层架构实现JSON数据处理全流程管理：在数据输入层，通过动态Schema绑定技术结合大语言模型的格式约束参数，构建双向校验机制，确保原始数据符合预定义结构规范；在数据处理层，设计基于异常传播模型的三级解析体系，通过语法验证、语义补全和类型强转实现安全反序列化，采用领域驱动设计模式将原始JSON映射为业务对象；在数据存储层，运用分层持久化策略，通过内存序列化缓存、文档数据库中间存储和文件系统冷备份三级存储机制，实现数据生命周期管理。系统通过管道过滤器模式串联各处理模块，建立数据校验→结构转换→持久存储的完整处理链路，各组件间通过标准接口解耦，形成高内聚低耦合的可扩展架构，有效提升复杂JSON数据处理的可靠性和可维护性。 + + +\subsection{语言模型训练技术} + +\subsubsection{监督式微调（SFT）概述} + +随着大规模预训练语言模型（Large Language Models, +LLMs）在自然语言处理领域展现出强大的通用能力，如何有效地将这些模型适配到特定的应用场景或下游任务中，成为了研究与实践的关键环节。监督式微调（Supervised +Fine-Tuning, +SFT）正是实现这一目标的核心技术之一。它指的是在一个已经经过大规模无标注数据预训练的基础语言模型上，利用一套有标注的、高质量的特定任务数据（通常表现为``指令-响应''或``输入-输出''对的形式）进行进一步训练的过程。 + +SFT的``监督''特性体现在其训练数据的形式上。与预训练阶段模型从海量文本中自主学习语言模式不同，SFT阶段向模型明确展示了在给定输入（如用户提问、指令）下，期望的、正确的输出（如恰当的回答、符合要求的文本）。模型在学习过程中，通过优化目标函数，不断调整自身参数，力求使其生成的响应尽可能地逼近标注数据中的目标响应。这种有指导的学习方式使得模型能够更精准地理解特定任务的格式要求、知识范畴以及交互模式。 + +采用SFT的主要目的在于提升模型在特定领域的性能表现和任务遵循能力。预训练模型虽然知识广博，但在特定专业领域或具体任务上的表现可能不够精确或不符合特定规范。通过在相关的高质量标注数据上进行微调，可以有效地向模型注入领域知识，提升其回答的准确性和相关性。同时，SFT也是引导模型学习遵循特定指令、模仿某种对话风格或角色的重要手段，使其行为更加符合人类预期，从而更好地服务于实际应用需求。因此，SFT是连接通用预训练模型与特定应用场景的关键桥梁，是使大模型``落地''不可或缺的技术步骤。在本研究中，我们采用SFT技术来定制化训练语言模型，以满足特定交互任务的需求。 + +\subsubsection{训练数据准备与格式化} + +语言模型的监督式微调效果高度依赖于训练数据的质量与组织形式。本节重点阐述数据预处理的核心逻辑，主要包括数据结构设计、对话模板转换和高效数据处理三个关键环节。 + +在数据组织结构层面，本研究采用``问题-答案''（question-answer）双字段结构作为基础数据单元。这种结构化设计源于对话型语言模型的训练需求，每个样本对应完整的对话轮次，其中用户提问（question）构成输入引导，助理解答（answer）作为目标输出。原始数据需经过严格的质量筛选与语义对齐处理，确保问答对具有明确的意图匹配性和逻辑连贯性，这是避免模型产生幻觉现象的重要基础。 + +对话模板的应用是数据格式化的核心步骤。通过预定义的qwen-2.5模板规范，系统将原始问答对转换为包含角色标识符（user/assistant）和特殊符号（\textless{}\textbar{}im\_start\textbar{}\textgreater{}）的标准化对话序列。该转换过程遵循两阶段结构化原则：首先构建对话轮次列表，保持用户与助手消息的严格交替；其次通过分词器的模板解析功能，自动添加必要的系统提示符和消息分隔符。这种格式化处理不仅统一了不同来源数据的表达形式，更重要的是建立了模型预期的对话结构记忆，为后续监督学习提供稳定的模式识别基础。 + +针对对话数据的特性，本研究实施了响应聚焦的损失计算策略。在模板转换过程中，通过指令部分（instruction\_part）与响应部分（response\_part）的显式划分，系统仅在助手生成内容对应的token位置计算训练损失。这种选择性损失计算机制使模型专注于学习回答生成模式，有效避免了输入文本重复性对参数更新的干扰，同时降低了无关token对梯度传播的影响强度。 + +在数据处理技术实现层面，采用Hugging Face +Datasets库构建高效数据管道。将原始Python列表转换为内存映射格式的HFDataset对象，该设计显著提升了大规模数据的加载效率。通过map操作实现批量化数据处理，配合多进程并行机制，在保证数据转换一致性的同时，实现了预处理速度与内存占用的优化平衡。这种工业化数据处理流程的确立，为后续高频次的模型训练迭代提供了可靠的基础设施支持。 + +\subsubsection{参数高效微调技术：LoRA（Low-Rank Adaptation）} + +在大型语言模型领域，全量微调（Full +Fine-tuning）尽管能使模型在特定下游任务上取得优异性能，但也面临着巨大的计算资源和存储开销。这是因为大型模型的参数量通常高达数十亿甚至千亿，对这些参数进行全面的梯度更新需要强大的硬件支持和漫长的训练时间。此外，为每个下游任务保存一个全量微调后的模型副本也是不现实的。为了解决这些挑战，参数高效微调（Parameter-Efficient +Fine-Tuning, +PEFT）技术应运而生，其核心思想是在保持预训练模型大部分参数冻结不变的前提下，仅微调少量额外的参数或利用低秩分解等技术来适应新任务，从而显著降低计算和存储需求。 + +在众多的PEFT方法中，低秩适应（Low-Rank Adaptation, +LoRA）因其有效性和简洁性而受到广泛关注。LoRA的核心思想是，在预训练模型参数矩阵 +W0∈Rd×k 进行微调时，其权重更新量 ΔW +本身可能具有较低的``内在秩''（intrinsic +rank），这意味着这个更新矩阵可以通过两个或多个小矩阵的乘积来有效近似。LoRA的做法是冻结预训练权重 +W0，并在需要微调的层旁边注入一对低秩矩阵 A∈Rd×r 和 B∈Rr×k，其中秩 +r≪min(d,k)。在前向传播过程中， LoRA +的输出是预训练权重的输出与低秩矩阵乘积 BA 的输出之和。数学上表示为 +h=W0x+BAx，其中 x 是输入。在训练过程中，只有矩阵 A 和 B +的参数需要更新，而原始的 W0 参数则保持不变。最终微调后的权重可以看作是 +W0+BA。 + +LoRA技术的关键优势在于其参数量的大幅削减。相比于全量微调需要更新 d×k +个参数，LoRA仅需要更新 d×r+r×k 个参数。由于 r 远小于 d 和 +k，LoRA的可训练参数量远少于原始模型参数量。这直接带来了多方面的好处：首先，训练所需的计算资源和显存大幅减少，使得在消费级硬件上进行大型模型的微调成为可能；其次，训练速度得到提升，迭代效率更高；最后，由于每个任务只需要保存小型 +LoRA 权重（A 和 B +矩阵），模型的存储和部署变得极其灵活，可以在不加载整个大型模型的情况下，通过插拔不同的 +LoRA +模块快速切换任务。通过这种方式，LoRA在保持接近全量微调性能的同时，极大地提升了语言模型微调的效率和可及性。 + +这份展开符合您的要求，围绕LoRA的核心原理、优势以及其在参数高效性方面的关键逻辑进行阐述，不涉及具体的代码实现细节。您可以根据论文的整体结构和篇幅进行进一步的修改和补充。 + +\subsubsection{训练流程实现与配置} +为了高效且便捷地进行大规模语言模型的监督式微调，本项目选用了一系列成熟且广泛应用的开源框架，核心依赖于Hugging Face的`transformers`库，该库提供了丰富的预训练模型、分词器以及用于模型训练的基础设施。在此基础上，结合使用了`trl`（Transformer Reinforcement Learning）库，特别是其提供的监督式微调训练器（SFTTrainer）。该训练器是专门为简化监督式微调任务而设计的，它在`transformers`的训练接口之上进行了封装和优化，使得研究者能够更专注于数据准备和模型配置，而无需处理底层复杂的训练循环逻辑，极大地提高了开发效率。这种框架组合提供了强大的功能性和灵活性，能够支持复杂模型的加载、PEFT技术的应用以及多样化的训练策略。 + +模型训练的效果很大程度上取决于训练参数的合理设置。在本项目中，通过配置一系列关键参数来控制训练过程的行为，这些参数包括但不限于：学习率（learning rate），它决定了模型在每次参数更新时的步长；每个设备的训练批次大小（per\_device\_train\_batch\_size），影响显存占用和梯度更新的稳定性；梯度累积步数（gradient accumulation steps），通过累积多个小批次的梯度来模拟使用更大的批次进行训练；训练的总步数或总轮数（max\_steps / epoch），定义了整个训练过程的长度；学习率调度器类型（lr\_scheduler\_type），控制学习率随训练进程的变化策略；权重衰减（weight decay），作为一种正则化手段，有助于防止模型过拟合；以及随机种子（seed），用于确保训练结果的可复现性。对这些参数的细致调整是获得高性能模型的关键环节。 + +训练大型语言模型对计算资源要求极高，因此采用了多种优化技术来提升训练效率并降低资源消耗。首先是混合精度训练（mixed precision training），利用半精度浮点数（如FP16或BF16）进行计算和存储，相比于传统的全精度（FP32），可以显著减少显存占用并加速计算，同时通过配合少数全精度参数，可以保证训练的稳定性和模型的精度，本项目会根据硬件支持情况自动选择合适的半精度类型。其次，在优化器选择上，采用了诸如AdamW的8位量化版本，这种优化器能够大幅度减少优化器状态所需的显存，使得在相同硬件条件下可以训练更大的模型或使用更大的批次大小。此外，还采用了梯度检查点（gradient checkpointing）技术，这项技术通过在反向传播时重新计算前向传播中的一些中间激活值来显著降低显存峰值占用，尤其在使用优化实现时，能更高效地平衡计算量和显存消耗。 + +在将准备好的训练数据输入模型之前，需要一个数据整理器（Data Collator）来处理一个批次内的样本。特别是在处理变长序列时，数据整理器的作用至关重要。本项目使用了针对序列设计的整理器，负责将批次内长度不一的文本序列进行填充（padding），使其达到批次内的最大长度或预设的最大长度，从而能够被模型以张量的形式统一处理。同时，数据整理器还会生成相应的注意力掩码（attention mask），告知模型哪些部分是真实的序列内容，确保模型不会在填充位置进行不必要的计算或注意力分配。对于监督式微调任务，它还需要协助处理标签的准备，配合生成适当的损失掩码（loss mask），确保损失计算仅发生在目标响应的token上，忽略输入提示部分的损失。 + +\subsubsection{模型训练执行与监控} + +在完成语言模型微调所需的数据准备、模型配置和训练参数设置后，接下来便是训练流程的实际执行阶段。这一阶段的核心任务是将处理好的数据输入到配置好的模型中，通过优化算法不断调整模型参数，使其学习到预期的能力。训练的启动意味着计算资源被分配和调度，数据批次被送入模型进行前向传播，计算损失，并通过反向传播计算梯度，最终利用优化器更新模型权重。整个过程是一个迭代循环，直至达到预设的训练轮次或满足其他停止条件。 + +为了确保训练过程的稳定性和有效性，并对训练进度和效果进行实时跟踪与评估，模型训练的执行通常伴随着详尽的监控机制。监控是训练过程中不可或缺的一环，它允许研究人员和开发者观察关键指标的变化趋势，例如训练损失（Training +Loss）、学习率（Learning +Rate）以及其他可能的评估指标。通过监测这些指标，可以及时发现潜在问题，如模型不收敛、过拟合或欠拟合等，从而及时调整训练策略或参数。 + +训练过程中的重要组成部分是检查点的保存。检查点是指在训练进行到特定阶段时，将模型的当前参数、优化器状态、学习率调度器状态等完整信息保存下来。这具有多重意义：首先，它提供了一种容错机制，即使训练过程意外中断，也可以从最近的检查点恢复训练，避免从头开始；其次，通过保存多个检查点，可以在训练结束后选择性能最佳的模型版本，或者用于后续的进一步研究或部署；最后，检查点也为评估模型在不同训练程度下的表现提供了可能。检查点的保存策略（例如，按固定的步数或周期保存）和保存路径是训练配置中的重要考量。 + +除了检查点，详细的训练日志记录也是必不可少的。日志会记录训练过程中的各种事件和指标，例如每一步或每若干步的损失值、梯度范数、内存使用情况等。这些日志信息可以被保存到文件，供事后分析，也可以被实时导出到可视化工具中。目前，业界广泛使用诸如 +TensorBoard +这类可视化工具来呈现训练过程中的曲线图、直方图等，使得复杂的训练数据变得直观易懂。通过这些可视化界面，研究人员可以清晰地看到损失如何随训练步数下降，学习率如何变化，权重或梯度的分布情况等，从而深入理解训练动态，辅助决策和优化。 + +总而言之，模型训练的执行是一个计算密集型的过程，而有效的监控系统则是确保这一过程高效、稳定并最终取得成功的关键。通过合理的检查点策略和详细的日志记录及可视化，可以全面掌握训练状态，及时调整策略，并为后续的模型评估和部署奠定基础。 + +\subsubsection{模型保存与导出} + +在语言模型训练完成后，将训练得到的模型参数和相关的配置信息进行持久化存储是至关重要的步骤。模型持久化的目的是为了能够在后续阶段加载模型进行推理、评估，或者进一步的迭代开发，而无需每次都重新训练。这一过程通常包括保存模型权重（即模型学习到的参数）以及与模型紧密关联的分词器（Tokenizer）的配置和词表。分词器负责文本的输入和输出预处理，其状态必须与模型保持一致才能确保模型能够正确理解输入并生成有效的输出。标准的模型保存方法会将模型权重和分词器信息分别存储在指定的文件或目录中，形成一个完整的模型资产包。 + +针对采用参数高效微调（如 +LoRA）训练得到的模型，模型保存的方式会更加灵活。一种常见的做法是仅保存 +LoRA 层的权重。由于 LoRA +只修改了基模型的小部分参数，这种方式保存的文件体积非常小，便于存储和传输。在进行推理时，需要将保存的 +LoRA 权重与原始的基模型加载并合并使用。另一种方式是将训练好的 LoRA +权重与原始基模型的对应层权重进行合并，生成一个包含所有参数的完整模型。这种合并后的模型可以直接加载进行推理，无需额外步骤，适用于部署到不需要区分基模型和 +LoRA +层的环境中。合并时可以选择不同的精度（如16位浮点或4位整数），以平衡模型大小和推理性能。 + +除了标准的保存格式，为了适应不同的部署环境和推理框架，模型有时需要被导出为特定的格式。GGUF（GPT-Generated +Unified Format）就是一种为 LLM +推理设计的格式，它支持多种量化方法，可以将模型参数压缩到更小的体积，同时优化在 +CPU 或特定硬件上的推理性能。将模型导出为 GGUF 并选择合适的量化级别（如 +Q4\_K\_M, Q8\_0 +等），可以在保证一定推理精度的情况下，显著降低模型的资源消耗，使其更容易在终端设备或资源受限的环境中运行。 + +此外，将训练好的模型发布到模型社区或平台（例如 Hugging Face +Hub）是实现模型共享和便捷部署的常用方式。通过将模型文件（包括合并后的模型、LoRA +权重或特定格式如 GGUF +的模型）推送到这些平台，其他用户可以轻松地下载和使用您的模型，同时也方便您自己从任何地方访问您的模型资产。发布时也可以选择包含多种量化版本的模型，以满足不同用户的需求。 + +综上所述，模型保存与导出是语言模型训练流程中连接训练与应用的桥梁。选择合适的保存格式和方法取决于模型类型、微调策略以及预期的部署环境和性能需求，旨在实现模型的有效管理、便捷加载和高效推理。 + +\subsection{前端交互系统实现} + +\subsubsection{Gradio交互框架设计} + +Gradio交互框架设计采用了模块化的架构思想，将复杂的大模型开发流程分解为七个功能明确的子模块。系统主界面通过gr.Blocks()构建容器框架，采用Tabs组件实现多页面导航，每个Tab对应一个独立功能模块的实现文件。这种设计既保持了界面风格统一，又实现了功能模块的高内聚。 + +\subsubsection{全局状态管理机制} + +本系统在前端交互层面构建了一套模块化的全局状态管理机制，核心在于通过 +\texttt{global\_var.py} +模块实现一个基于单例模式的状态容器。此容器采用私有化变量（如 +\texttt{\_model}、\texttt{\_tokenizer} +等）封装核心组件，并通过工厂模式支持大语言模型的动态加载。状态的读取与修改通过公有访问器方法（如 +\texttt{get\_model()} 和 +\texttt{set\_model()}）进行受控管理，确保状态变更的可追踪性和安全性。具体实现上，模型对象在通过 +HuggingFace Transformers +库加载后会缓存于内存，而分词器和数据集对象则采用惰性加载策略。数据集的版本化管理通过 +TinyDB 文档数据库实现。为保障并发环境下的线程安全性，系统利用 Python +的全局解释器锁（GIL）机制，并对关键状态变更操作（如模型切换）采用原子性事务处理序列，确保操作的完整性，例如执行``卸载旧模型 +→ 清理显存 → 加载新模型''的原子操作。这种设计模式使得各功能模块，例如 +\texttt{train\_page.py} +中的训练模块，能够通过统一接口获取系统实时状态，同时有效地降低了模块间的耦合度，为系统的可扩展性提供了标准化的接入点。 + +系统的状态生命周期通过 \texttt{init\_global\_var()} +初始化函数进行全面管理，该过程包含一个三阶段的控制流程。首先，系统会锚定工作目录，基于给定的路径参数创建标准化的存储目录结构，包括 +\texttt{models}、\texttt{datasets} 和 \texttt{training} +三级子目录，并验证其可写权限。其次，系统建立双层持久化存储机制，利用 +SQLite 数据库对模型元数据进行关系型管理，同时借助 TinyDB +完成非结构化数据集的文档存储。最后，执行环境预热步骤，包括预加载默认模型的分词器权重文件至显存以及初始化 +CUDA 计算上下文。这一初始化链式调用贯穿系统启动的 entire +process，工作目录作为核心的路径解析基准，不仅确保了在不同环境（开发、生产）下的配置无缝切换，而且通过 +SQLite 关系数据库与 JSON +文档数据库的混合存储模式，实现了结构化元数据与非结构化训练数据的有效隔离与管理。 + +在跨组件通信方面，系统基于 \texttt{global\_var.py} +模块构建了一个发布-订阅模式的状态同步机制。当模型管理页面（通过 +\texttt{model\_manage\_page.py}）调用 \texttt{set\_model()} +方法更新当前使用的模型时，系统会触发一个全局状态变更事件。订阅了该状态的组件，例如训练页面（通过 +\texttt{train\_page.py}），可以通过 \texttt{get\_model()} +接口实时获取最新的模型实例（如第 21 行对 \texttt{get\_model()} +的调用）。同样，数据集的更新操作（如新增训练样本，通过 +\texttt{get\_datasets().insert()}）会自动广播到所有关联组件。这意味着训练页面中的数据集下拉列表（如第 +22 行 \texttt{datasets\_list} +的构建）能够即时刷新以显示最新的数据集，从而实现多视图状态的无缝同步。通过接口隔离原则和事件驱动机制的应用，各功能模块无需感知彼此的内部实现细节，仅需通过标准接口进行交互，这在保证系统响应实时性的同时，将模块间的耦合度降低至函数调用级别。 + +\subsubsection{前后端数据流设计} + +Gradio +框架的前后端数据流设计核心在于通过组件（Components）和事件（Events）实现用户界面与 +Python 后端逻辑的交互。当用户在 Gradio 构建的 Web +界面（前端）中与输入组件（如文本框、滑块、文件上传等）进行互动或触发某个事件（如点击按钮）时，前端会将输入组件当前的数值或状态打包，通过 +HTTP 请求发送到运行在服务器端的 Python +后端。后端接收到这些数据后，会根据您定义的处理函数（Handler +Function），以这些前端数据作为函数的输入参数来执行相应的业务逻辑。函数执行完毕后，返回的结果数据会被 +Gradio 框架捕获，并通过 HTTP +响应发送回前端。前端接收到后端返回的数据后，会根据您配置的输出组件（如文本框、图片展示、画廊等），自动更新界面以展示处理结果，从而完成一次完整的数据交互和展示流程。整个过程由 +Gradio +框架内部负责序列化、传输和反序列化数据，极大地简化了开发者构建交互式 Web +应用的复杂度。 + +\subsubsection{流式响应与实时反馈} + +在实现前端聊天系统的交互时，为了提供更佳的用户体验，特别是与大型语言模型进行对话时，采用传统的``一次性等待全部生成再显示''的方式会让用户感受到明显的延迟。因此，流式响应和实时反馈技术变得至关重要。这项技术的目的是让用户能够像看到对方正在``打字''一样，文字内容可以随着模型的生成进度逐步显示在聊天界面上，而不是等到模型完全生成完毕才一次性出现。 + +实现流式响应的核心在于后端如何将语言模型的输出分批、分步地发送给前端，以及前端如何接收并逐步更新显示。具体来说，当用户发送消息后，后端不再等待语言模型生成完整的回复文本，而是配置模型以``流''的形式进行输出。这意味着模型在生成过程中，会不断地吐出部分文本片段（通常是词或字），并通过一个特定的通道（比如一个流式生成器对象）进行传输。 + +为了不阻塞处理用户请求的主进程或主线程，耗时的语言模型文本生成任务会在一个独立的线程中启动。这个独立线程负责调用模型进行生成，并将生成的文本片段源源不断地送入到前面提到的那个``流''中。与此同时，主线程则负责监听并读取这个``流''中的内容。每当从流中读取到新的文本片段时，主线程就将这部分内容附加到当前正在构建的回复文本后面，并立即将更新后的聊天历史（包含不完整的、正在增长的助手回复）发送给前端界面。 + +前端界面接收到后端发送的带有最新文本片段的聊天历史后，会立即更新聊天框中对应的助手回复消息。由于这个更新过程是高频率进行的，用户在界面上看到的效果就是助手的回复文字正在一个词一个词、甚至一个字一个字地逐步``打''出来，形成了实时反馈的视觉效果。整个流程持续进行，直到语言模型完成全部生成并在流中发送结束信号，或者达到预设的生成长度限制。通过这种流式传输和逐步更新的方式，极大地提升了对话的实时性和用户感知到的系统响应速度。 + +\subsubsection{异常处理与用户反馈} + +本系统在异常处理方面构建了一套全面且用户友好的机制。首先，通过装饰器模式实现全局异常捕获，对所有API调用进行拦截，能够自动识别并处理模型加载失败、API请求超时及数据解析错误等问题。该机制进一步细化了异常类型，区分了可预见的业务异常（例如用户输入无效）和不可预见的系统异常，并建立了相应的错误代码体系，以便精确诊断问题。其次，为了提升用户体验，系统在聊天界面利用Gradio的Error组件实时展示错误摘要，并通过可折叠面板提供详细的错误堆栈信息，便于开发者调试。特别地，针对模型生成过程中出现的tokenization异常，系统能动态插入错误标记，同时维持对话历史的连贯性。最后，在输入端，系统建立了完善的参数验证体系，通过类型强制转换（如将字符串转为浮点数）和边界值检测（如限制温度参数范围）实现前端校验。对于检测到的非法输入，系统会高亮相应的参数框并显示动画提示，同时禁用提交按钮，从而有效防止无效请求的发送并引导用户正确操作。 + +\subsubsection{基于子进程tensorboard的训练监控} + +当前端页面上的用户配置好训练参数（如数据集、学习率、批次大小等）并点击``开始微调''按钮时，前端界面会触发一个对应的后端处理函数。这个函数首先会根据当前的日期或序列号等信息，为本次训练创建一个独立的、用于存放训练日志和模型检查点的目录，确保不同训练任务的日志不会混淆。 + +接着，系统会扫描查找当前计算机上一个可用的网络端口，用于启动TensorBoard服务。找到合适的端口后，程序不会在当前主进程中直接运行TensorBoard，而是通过调用操作系统的命令，启动一个全新的、独立的TensorBoard进程（即子进程）。这个子进程被告知需要监控刚刚创建的训练日志目录，并在之前找到的可用端口上提供服务。由于是在单独的进程中运行，即使主训练过程非常耗时或发生其他情况，TensorBoard的服务也不会受到直接影响。 + +TensorBoard子进程成功启动并开始监听指定端口后，后端处理函数会立即构建一个HTML的\texttt{\textless{}iframe\textgreater{}}​标签。这个标签的作用就像网页中的一个``窗口''，它可以加载并显示另一个网页的内容。在这里，\texttt{\textless{}iframe\textgreater{}}​的源地址（src属性）被设置为TensorBoard子进程正在提供服务的本地地址（例如 +\texttt{http://localhost:端口号}​）。这个生成的\texttt{\textless{}iframe\textgreater{}}​标签会被发送回前端界面，更新页面上预留的显示区域，使得TensorBoard的界面直接呈现在用户眼前。 + +随后，实际的模型训练过程才正式开始。在训练过程中，模型训练框架会按照预定的频率（例如每隔一定步数或每个epoch结束时），将当前的训练指标（如损失值、准确率等）记录并写入到之前为本次训练专门创建的日志目录中。TensorBoard子进程一直在监控这个目录中的日志文件变化。一旦检测到新的数据写入，TensorBoard会自动读取这些数据，更新其内部的图表和可视化内容。由于前端页面的\texttt{\textless{}iframe\textgreater{}}​实时连接着TensorBoard的服务，这些更新的可视化结果也会同步反映在前端界面上，用户可以实时地看到模型的训练进度和性能变化。 + +最后，无论模型训练是正常完成还是因为错误而中断，系统都会执行清理操作。在训练结束时（通过异常处理机制中的finally块保证执行），程序会发送终止信号给之前启动的TensorBoard子进程，确保该子进程被关闭，释放占用的系统资源和网络端口。这样就完成了一次基于子进程TensorBoard的训练监控的完整流程，既提供了实时可视化功能，又保持了主训练过程的独立性和稳定性。 + +\subsection{扩展性实现} + +本项目在扩展性设计方面采用了模块化的架构思想，通过清晰的目录结构将功能划分为前端、数据模型、工具和训练等独立模块，每个模块职责明确且相互解耦。在数据模型层面，采用Pydantic进行数据建模，支持数据验证和序列化，核心数据模型通过BaseModel继承实现可扩展性；工具系统采用插件化设计，通过统一的导出接口支持新工具的便捷添加；前端界面基于Gradio框架实现组件化设计，支持页面的灵活组织；配置管理方面使用global\_var模块统一管理全局变量，并支持环境变量配置；模型管理支持多种保存格式和可配置的加载参数；数据存储采用SQLModel和TinyDB提供抽象化的数据操作接口。此外，项目还实现了统一的异常处理机制和规范化的错误输出，并采用MIT开源协议支持代码的自由使用和修改。这些设计使得项目具有良好的可维护性和可扩展性，新功能可以通过添加新模块或扩展现有模块来实现，而无需大规模修改现有代码 \ No newline at end of file diff --git a/paper/latex/chapters/references.tex b/paper/latex/chapters/references.tex index 2949e4d..562600b 100644 --- a/paper/latex/chapters/references.tex +++ b/paper/latex/chapters/references.tex @@ -1,12 +1,36 @@ % 参考文献章节 \renewcommand\refname{参考文献} -\begin{thebibliography}{0} +\begin{thebibliography}{99} \addcontentsline{toc}{section}{参考文献\tiny{\quad}} - \bibitem{数字信号处理教材}程佩青. 数字信号处理教程[M]. 清华大学出版社有限公司, 2001. - % - %\bibitem{信号与系统}陈后金. 信号与系统[M]. 清华大学出版社有限公司, 2003. - % - %\bibitem{数字信号处理教材陈}陈后金. 数字信号处理.2版[M]. 高等教育出版社, 2008. + \bibitem{Topsakal2023Creating}Topsakal, O., Akinci, T. C. Creating large language model applications utilizing langchain: A primer on developing llm apps fast[C]. International Conference on Applied Engineering and Natural Sciences, 2023, 1(1): 1050-1056. + + \bibitem{Liu2015Topical}Liu, Y., Liu, Z., Chua, T. S., et al. Topical word embeddings[C]. Proceedings of the AAAI Conference on Artificial Intelligence, 2015, 29(1). + + \bibitem{Dettmers2024Qlora}Dettmers, T., Pagnoni, A., Holtzman, A., et al. Qlora: Efficient finetuning of quantized llms[J]. Advances in Neural Information Processing Systems, 2024, 36. + + \bibitem{Hu2021Lora}Hu, E. J., Shen, Y., Wallis, P., et al. Lora: Low-rank adaptation of large language models[J]. arXiv preprint arXiv:2106.09685, 2021. + + \bibitem{Yang2024Qwen2}Yang, A., Yang, B., Hui, B., et al. Qwen2 technical report[J]. arXiv preprint arXiv:2407.10671, 2024. + + \bibitem{Zan2022Large}Zan, D., Chen, B., Zhang, F., et al. Large language models meet nl2code: A survey[J]. arXiv preprint arXiv:2212.09420, 2022. + + \bibitem{Gunter2024Apple}Gunter, T., Wang, Z., Wang, C., et al. Apple Intelligence Foundation Language Models[J]. arXiv preprint arXiv:2407.21075, 2024. + + \bibitem{Zhang2023Survey}Zhang, Z., Chen, C., Liu, B., et al. A survey on language models for code[J]. arXiv preprint arXiv:2311.07989, 2023. + + \bibitem{Jeong2023Generative}Jeong, C. Generative AI service implementation using LLM application architecture: based on RAG model and LangChain framework[J]. Journal of Intelligence and Information Systems, 2023, 29(4): 129-164. + + \bibitem{Fan2024Survey}Fan, W., Ding, Y., Ning, L., et al. A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models[C]. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, 2024: 6491-6501. + + \bibitem{Kusner2015From}Kusner, M., Sun, Y., Kolkin, N., et al. From word embeddings to document distances[C]. International conference on machine learning, PMLR, 2015: 957-966. + + \bibitem{Wu2024Qingbao}吴娜, 沈思, 王东波. 基于开源LLMs的中文学术文本标题生成研究—以人文社科领域为例[J]. 情报科学, 2024: 1-22. + + \bibitem{Li2024Qinghua}李佳沂, 黄瑞章, 陈艳平, et al. 结合提示学习和Qwen大语言模型的裁判文书摘要方法[J]. 清华大学学报(自然科学版), 2024: 1-12. + + \bibitem{Wei2024Shuju}韦一金, 樊景超. 基于ChatGLM2-6B的农业政策问答系统[J]. 数据与计算发展前沿(中英文), 2024, 6(04): 116-127. + + \bibitem{Xiang2024Jisuanji}向小伟, 申艳光, 胡明昊, et al. 大模型驱动的科技政策法规问答系统研究[J]. 计算机科学与探索, 2024: 1-13. \end{thebibliography} \ No newline at end of file diff --git a/paper/latex/chapters/requirement.tex b/paper/latex/chapters/requirement.tex index 7b2da04..072dd9b 100644 --- a/paper/latex/chapters/requirement.tex +++ b/paper/latex/chapters/requirement.tex @@ -1,3 +1,37 @@ % 第三章：需求分析 -\section{需求分析} \ No newline at end of file +\section{需求分析} + + +\subsection{项目整体介绍} +本项目旨在构建一个基于文档驱动的自适应编码大模型微调框架。在现代软件开发领域，虽然大型语言模型显著提升了代码生成效率，但在处理企业内部高度专业化的私有代码库时，其局限性日益凸显。这主要是由于通用大模型缺乏对特定企业或项目中私有库内专有函数、类及其交互细节的深度理解和应用适应性。相较于广泛采用的公开编码模型，针对私有库设计的专有模型显得尤为必要，因为公开模型难以精准引用私有库中的元素，可能引入安全风险并增加人工调整工作量 。企业间的私有库差异巨大，要求自动化工具具备高度的灵活性和可定制性 。本研究的核心在于深度解析私有库的文档资源，精准提取关键信息，并以此为基础对大语言模型进行针对性的微调与优化 。通过提升模型对私有库特定功能和用法的理解能力，本项目旨在极大提升生成代码的准确性和实用性，使生成的代码片段能够无缝集成于企业的私有库生态中，最终实现企业级软件开发的智能化与高效化，满足企业对高质量、高安全性代码的迫切需求 。本研究具有重要的理论意义，扩展了大语言模型在代码生成领域的应用场景，推动了代码生成技术的发展；同时也具有实际应用价值，能够提升企业开发效率、降低开发成本、提高代码质量和安全性，从而增强企业竞争力 。 + +\subsection{功能需求分析} +本框架的功能设计主要围绕自动化处理流程展开，包括训练语料的生成、编码大模型的微调、各模块的自动化整合以及最终结果的前端展示。 + +\subsubsection{训练语料生成功能} + +训练语料生成功能是整个框架的基础。该功能需要选用具备强大长文本生成能力的大参数量模型，例如 GLM4-LONG 或 qwen-max-longcontext，通过对指定格式的 Markdown 技术文档进行深度解析，系统能够准确抽取其中的标题、段落、代码块等关键信息，并生成对应的提示词。随后，通过预设的算法或规则，将提取的提示词转换为适合模型输入的格式，最终生成高质量且覆盖广泛技术领域和编程场景的训练语料库，以确保其数量和质量能够满足后续模型训练的需求。 + +\subsubsection{模型微调功能} +模型微调功能是提升模型在私有库代码生成能力的关键。本框架计划以 qwen 模型作为微调基础，采用 Qlora 训练方法。利用上一步生成的训练语料对该模型进行有针对性的微调，使其学习将输入的提示词转化为符合语法规则和逻辑的代码片段。为了验证微调效果，需要通过一系列评估指标，如 BLEU 分数、代码执行成功率以及人工评估等，对微调后的模型在特定技术文档相关代码生成任务上的性能进行全面验证，确保其有效性和实用性。 + +\subsubsection{数据持久化功能} + +为了确保系统的稳定性、可配置性以及训练过程的可追溯和模型的可复用，本框架需要实现全面的数据持久化功能。这主要包括配置信息的持久化、训练与评估数据集的持久化以及训练后模型的持久化。针对不同的数据特性，将采用混合存储策略，利用关系型数据库存储结构化的配置参数和元数据，例如api配置信息。同时，非结构化或半结构化的数据，例如生成的训练语料、经过处理的技术文档内容，将采用文档型数据库或文件存储的方式进行持久化，以便于灵活存储和快速读取。同时，模型需要支持多种持久化方式，例如单独导出Lora适配器、导出gguf格式模型、导出量化后的模型等。通过有效的数据持久化机制，可以方便地加载历史配置以复现实验、管理和版本控制不同的数据集、以及存储和调用微调后的模型，从而提升整个框架的可用性和效率。 + +\subsubsection{前端展示功能} + +前端展示功能为用户提供了直观、易用的交互界面。本框架计划采用 Gradio 框架构建前端界面。该界面将用于展示后端生成的代码片段和相关信息，实现前端与后端的实时数据交互，使用户能够即时看到模型生成的结果。 + +\subsection{非功能需求分析} + +除了上述功能性需求，本框架还需要满足一系列非功能性要求，以确保系统的性能、可扩展性和用户体验。 + +\subsubsection{性能要求} + +性能是衡量本框架可用性的重要指标。首先，训练语料的生成效率需要足够高，以便快速响应技术文档的更新。其次，模型微调过程应尽可能高效，缩短训练周期，尽管大型语言模型的训练对计算资源要求较高，但通过选择合适的模型和优化方法（如 QLoRA），以及利用高性能计算资源，需努力克服显存不足和运算速度缓慢的问题。最后，前端界面的响应速度要快，用户操作流畅，保证良好的用户体验。 + +\subsubsection{扩展性要求} + +考虑到未来可能需要支持更多类型的技术文档格式、集成不同的编码大模型或增加新的功能，本框架需要具备良好的扩展性。模块化的设计思路将有助于在不影响现有功能的基础上，方便地进行功能扩展和技术升级。此外，自动化整合脚本应具备灵活的配置能力，方便用户根据自身需求调整参数和集成新的模块。对不同企业的私有库差异的适应性也是扩展性的重要体现，要求框架具备高度的灵活性和可定制性 。 \ No newline at end of file diff --git a/paper/latex/chapters/technology.tex b/paper/latex/chapters/technology.tex index 5320c51..934de0c 100644 --- a/paper/latex/chapters/technology.tex +++ b/paper/latex/chapters/technology.tex @@ -1,3 +1,93 @@ % 第二章：相关技术介绍 -\section{相关技术介绍} \ No newline at end of file +\section{相关技术介绍} + +\subsection{大型语言模型 (LLM)} + +\subsubsection{LLM 的起源、发展历程和关键里程碑事件} + +大型语言模型（LLM）作为一种重要的人工智能形式，其核心目标在于理解、生成并与人类语言进行交互。这些模型通过在海量数据集上进行训练，使其能够应对广泛领域的问题，包括科学、技术、艺术和文化等，从而成为信息检索、内容创作和自然语言理解的关键工具。LLM 的构建基于机器学习技术，特别是 Transformer 模型。Transformer 模型模仿人脑的神经元网络，旨在识别数据中的模式并从中学习。LLM 对大规模文本数据的依赖使其能够捕捉语言的复杂模式、语法规则和语义关系。 + +LLM 的历史可以追溯到 19 世纪后期。1883 年，法国语言学家米歇尔·布雷亚尔对语言结构及词语间关系进行了探讨，其工作为 Java 和 Python 等编程语言奠定了基础，并改进了计算机理解人类语言的方式，进而简化了人机通信。二战后，随着人们对基于自然语言处理（NLP）系统的兴趣日益浓厚，LLM 模型的发展得以延续。NLP 是一种使计算机能够理解、解释和创建人类语言的人工智能技术。这种兴趣的驱动力源于对高效语言翻译的需求，以促进国际交流和贸易。20 世纪 60 年代，麻省理工学院的科学家约瑟夫·魏泽鲍姆创建了 ELIZA，这被认为是第一个使用 NLP 的程序。该程序能够根据用户输入的关键词给出预先确定的响应。随着时间的推移，经过训练的 LLM 能够处理更复杂的数据，尤其是在 20 世纪 90 年代计算机性能显著提升之后。 + +词语表示方式是 LLM 工作方式中的一个重要环节。传统的机器学习方法使用数字表格表示词语，但这种方法的局限性在于无法识别词语之间的关系。词嵌入技术通过使用神经网络模型在海量文本数据上训练解决了这一问题。训练过程调整嵌入，使模型能够根据上下文预测词语，确保出现在相似上下文中的词语具有相似的嵌入。ChatGPT 及类似的 GPT 模型采用自注意力机制来提升理解和响应生成能力，该机制帮助模型聚焦于输入中的相关部分，并评估每个词语在上下文中的重要性。这些模型最初在大量文本数据上以无监督方式进行预训练，以学习语言模式、上下文和细微差别。在此预训练阶段，模型通过考虑前文词语来预测句子中的下一个词语。 + +2017 年，Transformer 模型的引入标志着 LLM 发展的一个重要转折点。基于自注意力机制的 Transformer 架构能够有效处理长序列数据并实现并行计算，为训练更大规模的语言模型铺平了道路。2018 年，谷歌发布了 BERT（Bidirectional Encoder Representations from Transformers），这是一个早期且颇具影响力的 LLM，在自然语言理解任务中取得了显著进展。同年，OpenAI 发布了 GPT-1（Generative Pre-trained Transformer），展示了使用 Transformer 架构生成连贯文本的能力。 + +随后的几年里，LLM 的规模和能力持续增长。2019 年，OpenAI 发布了 GPT-2，其生成文本的说服力更强，引发了关于其潜在恶意使用的讨论。2020 年，OpenAI 推出了拥有 1750 亿参数的 GPT-3，在语言理解和生成方面达到了前所未有的水平，并成为 ChatGPT 的基础模型。2022 年 11 月，OpenAI 发布了面向消费者的基于浏览器的聊天机器人 ChatGPT，迅速引起了公众的广泛关注。2023 年，OpenAI 发布了 GPT-4，该模型在准确性方面有所提升，并具备了多模态能力。除 OpenAI 的模型外，其他机构也开发了诸多主流 LLM，例如谷歌的 BERT、XLNet、PaLM 和 Gemini 系列，Meta 的 Llama 系列，以及 Anthropic 的 Claude 系列。此外，BLOOM 和 LLaMA 等开源 LLM 的出现进一步推动了该领域的发展。 + +LLM 发展历程中，参数规模的扩大是一个显著趋势。从最初的几百万参数发展到如今的数千亿甚至万亿参数，模型规模的增长带来了性能的显著提升，使得 LLM 在各种任务中展现出强大的能力。同时，训练数据的规模也呈指数级增长，从早期的数十亿词语到现在的数万亿 tokens，涵盖了广泛的文本和代码数据。这一趋势被称为“新的摩尔定律”。除了规模的增长，LLM 的能力也经历了显著演变。早期的 LLM 主要擅长文本生成和补全等任务。随着模型发展，它们逐渐展现出更高级的能力，例如进行复杂推理、解决数学问题、翻译语言，甚至编写代码。近年来，多模态 LLM 的出现扩展了 LLM 的应用范围，使其能够处理和生成文本、图像、音频等多种类型数据。 \textbf{表 \ref{tab:llm_milestones}} 总结了 LLM 发展中的关键里程碑事件。 + + +\begin{table}[!ht] + \centering + \caption{LLM 发展中的关键里程碑事件} + \label{tab:llm_milestones} + \begin{tabular}{|>{\centering\arraybackslash}m{1.5cm}|>{\centering\arraybackslash}m{2.5cm}|m{10cm}|} + \hline + % 表头保持原样，已使用 \multicolumn 实现横向居中 + \multicolumn{1}{|c|}{\textbf{年份}} & \multicolumn{1}{c|}{\textbf{里程碑}} & \multicolumn{1}{c|}{\textbf{重要性}} \\ \hline + 1966 & ELIZA & 第一个使用 NLP 的聊天机器人，基于关键词模拟对话。 \\ \hline + 2017 & Transformer 架构 & 引入自注意力机制和平行处理，使得模型更加高效和上下文感知。 \\ \hline + 2018 & BERT & 第一个突破性的 LLM，在自然语言理解方面取得了显著进展。 \\ \hline + 2018 & GPT-1 & 第一个使用 Transformer 架构进行生成文本的概念验证。 \\ \hline + 2019 & GPT-2 & 展示了生成令人信服的文本的能力，引发了关于潜在滥用的担忧。 \\ \hline + 2020 & GPT-3 & 参数规模显著增大（1750 亿），展示了前所未有的语言理解和生成能力，成为 ChatGPT 的基础。 \\ \hline + 2022 & ChatGPT & 面向消费者的应用程序，凭借其对话能力使 LLM 引起了主流关注。 \\ \hline + 2023 & GPT-4 & 多模态模型，具有更高的准确性和推理能力。 \\ \hline + 2023 & LLaMA & 流行的开源 LLM，推动了 AI 的普及。 \\ \hline + 2025 & DeepSeek-R1 & 在美国境外开发的高性能开源推理模型，凸显了 LLM 开发领域日益激烈的全球竞争。 \\ \hline + 2025 & Claude 3 & GPT 模型的竞争者，强调乐于助人、诚实和无害，具有强大的推理和多模态能力。 \\ \hline + 2025 & Gemini & 一系列多模态 AI 模型，旨在跨不同设备运行并涵盖广泛的用途，包括推理。 \\ \hline + \end{tabular} +\end{table} + +\subsubsection{LLM 辅助编码} +大型语言模型在辅助软件开发和编码方面展现出巨大的潜力。它们通过理解和生成代码，可以显著提高开发效率并改善代码质量。LLM 在代码生成、代码补全、错误检测与修复等多个方面都有具体的应用。 + +在代码生成方面，LLM 能够根据自然语言描述生成代码片段甚至完整的函数。开发者可以使用自然语言描述所需功能，LLM 即可生成相应的代码，从而加速开发过程。例如，开发者只需描述一个排序算法，LLM 就能生成相应的代码实现。一些知名的 LLM，如 OpenAI 的 Codex、Meta 的 Code Llama 和 Google 的 PaLM 2，都经过专门优化用于代码生成。此外，LLM 还可以生成代码文档和注释，提高代码可读性和可维护性。 + +代码补全是 LLM 在编码辅助方面的另一重要应用。LLM 能够根据已有代码上下文，预测并建议接下来可能需要的代码片段或整行代码，甚至生成完整的函数或类。GitHub Copilot、Tabnine 和 Replit Ghostwriter 等工具通过集成到集成开发环境（IDE）中，为开发者提供实时的代码建议，显著提高了编码效率。LLM 能够理解多种编程语言的语法、编码风格和编程实践，从而提供更智能、更准确的补全建议。 + +在错误检测与修复方面，LLM 也展现出强大能力。LLM 可以分析代码，识别潜在的错误模式或问题，帮助开发者快速找到并修复 bug。它们能够理解代码的语法、编码风格和编程实践，从而识别出代码中的错误和潜在漏洞。一些研究表明，LLM 甚至能够根据错误信息和上下文生成修复代码的建议。然而，需要注意的是，LLM 生成的代码可能并非总是完美，仍需要开发者进行审查和验证。 + +综上所述，大型语言模型正日益成为软件开发过程中不可或缺的辅助工具。它们通过代码生成、代码补全和错误检测与修复等功能，极大地提升了开发效率和代码质量。随着 LLM 技术的不断发展，其在软件开发领域的应用前景将更加广阔。 + +\subsection{提示工程技术} +提示工程（Prompt Engineering）是指设计和优化输入提示（prompts）的过程，以有效地引导人工智能模型，特别是大型语言模型（LLMs），产生期望的输出。由于生成式 AI 旨在模仿人类，需要详细指令才能创建高质量和相关的输出。提示工程通过选择最合适的格式、短语、词语和符号来指导 AI 更有效地与用户交互。熟练的提示工程师设计能够与生成式 AI 工具中其他输入进行最佳交互的输入，从而帮助从 AI 模型中获得更好的答案。 + +提示工程的重要性体现在，精心设计的提示可以显著提高 LLM 的性能，使其能够更准确地理解用户意图并生成更相关、高质量的回复。通过提供清晰指令、相关上下文信息和具体格式要求，提示工程师能够引导 LLM 朝期望方向生成内容，最大限度发挥模型潜力。良好的提示工程还可以减轻 LLM 训练数据中可能存在的偏见，并提高用户与 AI 交互效率。 + +提示工程涉及多个关键原则。首先，清晰性和具体性至关重要。提示应明确定义任务或问题，避免含糊措辞，提供足够背景信息或示例以指导模型理解，并指定期望的输出格式、长度、风格和语气。其次，提供上下文对于引导模型生成更相关、精确的输出至关重要。这包括提供相关事实、数据或参考文档，并定义关键术语和概念。第三，使用示例（即少样本提示）是一种强大技术，可以通过展示期望的输入-输出对来指导模型响应。第四，迭代和实验是提示工程的关键部分。通过尝试不同措辞、格式和结构，并根据模型反馈进行调整，可以逐步优化提示以获得更好结果。第五，将复杂任务分解为更小的、可管理的部分，并通过一系列相互关联的提示引导模型完成整个过程，可以提高处理复杂问题的能力。此外，还可以通过赋予模型特定角色或身份来引导其生成更符合特定视角的响应。 + +\subsection{模型量化技术} +模型量化（Model Quantization）是大型语言模型（LLMs）中使用的一种技术，旨在将高精度数据（通常是 32 位浮点数 (FP32) 或 16 位浮点数 (FP16)）的权重和激活值转换为低精度数据类型，如 8 位整数 (INT8) 或 4 位整数 (INT4)。模型量化的主要目的是减少模型的内存占用、提高推理速度并降低能耗，使其更易于部署在资源受限的设备上，如移动设备或边缘服务器。 + +模型量化通过减少表示模型参数所需的比特数来实现这些目标。例如，一个 32 位精度的浮点数值可以近似表示为一个 8 位精度的整数。这种转换显著降低了存储模型所需的内存空间，并且由于低精度运算通常比高精度运算更快，因此可以提高模型的推理速度。此外，更快的计算和减少的内存访问通常会降低功耗，这对于电池供电的设备尤其重要。 + +模型量化有多种不同的技术，主要可分为以下几类：训练后量化 (Post-Training Quantization, PTQ)：这种方法在模型完成训练后应用量化，将模型权重从浮点表示转换为低精度定点整数，无需重新训练。PTQ 实现简单快捷，但可能导致一定性能下降。PTQ 可进一步分为静态量化和动态量化。静态量化在量化时使用校准数据确定激活值范围并适当缩放。动态量化仅量化权重，而激活在推理期间保持较高精度，并根据运行时观察到的范围动态量化。量化感知训练 (Quantization-Aware Training, QAT)：这种方法在模型预训练或微调期间引入权重转换，允许模型在训练过程中适应低精度表示，通常比 PTQ 产生更高性能，但需要大量计算资源和代表性训练数据。权重共享 (Weight Sharing)：涉及对相似权重进行聚类并共享相同的量化值，减少唯一权重数量，进一步压缩模型。混合精度量化 (Mixed Precision Quantization)：在训练或推理过程中使用不同数值精度的组合（例如 FP16 和 FP32），以在性能和精度之间取得平衡。二值化和三值化 (Binary and Ternary Quantization)：将权重分别量化为两个值（+1 和 -1）或三个值（+1、0 和 -1），是极端的量化形式。显著减小模型尺寸和计算复杂度的同时，精度下降也更明显。 + +不同的量化级别（如 INT8 和 INT4）对模型性能和资源消耗影响不同。一般来说，更低的量化级别（例如从 INT8 到 INT4）可以进一步减少模型大小并提高推理速度，但通常会导致更大精度损失。INT8 量化通常被认为是性能和精度之间的良好折衷方案，可在保持较高模型准确性的同时，显著降低内存占用和提高推理速度。INT4 量化更为激进，可实现更高压缩率和更快速度，但通常伴随更明显精度下降，更适用于对资源限制非常严格但对精度要求相对较低的场景。选择合适的量化技术和级别需要在模型大小、推理速度和精度之间进行权衡，通常取决于具体应用场景和硬件条件。 + +\subsection{QLoRA 微调方法} +QLoRA（Quantization-aware Low-Rank Adaptation）是一种高效微调大型语言模型（LLMs）的方法，它结合了量化和低秩自适应技术，旨在在资源受限的情况下实现与全精度微调相当的性能。QLoRA 的主要原理是在微调过程中冻结预训练 LLM 的权重并将其量化为 4 位精度，然后引入少量可训练的低秩适配器（Low-Rank Adapters, LoRA）。微调期间，梯度通过冻结的 4 位量化预训练语言模型反向传播到这些低秩适配器中。 + +QLoRA 引入了多项创新技术以在节省内存的同时不牺牲性能。首先是 4 位 NormalFloat (NF4) 数据类型，这是一种专为正态分布权重设计的新数据类型，在信息论上最优，并在实证研究中优于 4 位整数和 4 位浮点数。NF4 基于分位数化，确保每个量化区间分配相等数量的输入张量值，从而有效利用内存。其次是双重量化 (Double Quantization)，通过对第一步量化的量化常数再次进行量化，进一步减少平均内存占用，在不显著损失性能的情况下节省额外内存。最后是分页优化器 (Paged Optimizers)，利用 NVIDIA 统一内存特性管理训练期间的内存峰值，特别是在处理长序列的小批量数据时，从而避免内存不足错误。 + +QLoRA 的主要优势在于其能够在资源受限情况下实现高效微调。通过将预训练模型量化到 4 位并仅训练少量低秩适配器，QLoRA 显著降低了微调所需的 GPU 内存。例如，QLoRA 能够将微调一个 650 亿参数模型的平均 GPU 内存需求从超过 780GB 降低到低于 48GB，且不降低运行时或预测性能。这使得在单个消费级 GPU 上微调大型模型成为可能，从而大大降低了微调 LLM 的门槛。研究表明，使用 QLoRA 微调的 LLM 在各种任务上可以达到与全精度微调相当甚至更好的性能。 + +低秩适配器（LoRA）是 QLoRA 的关键组成部分。LoRA 的核心思想是，大型预训练模型在适应下游任务时，其权重变化具有低秩特性。因此，LoRA 冻结原始预训练模型的权重，并在每个 Transformer 层的自注意力模块中注入两个小的低秩矩阵（A 和 B）。微调过程中仅更新这些低秩矩阵的参数，原始模型的权重保持不变。这大大减少了需要训练的参数数量，从而降低了计算成本和内存需求。LoRA 的线性设计也确保与完全微调的模型相比，不会引入额外推理延迟。QLoRA 通过结合量化和 LoRA，为在资源受限环境中高效微调大型语言模型提供了有力方法，使得研究人员和从业人员能够更容易利用和定制最先进的 LLM，推动 NLP 领域进一步发展。 + +\subsection{Unsloth 算子} + +Unsloth 是一个开源软件，旨在简化大型语言模型（LLMs）的微调过程。它提供用户友好的界面和强大功能，可帮助 AI 开发初学者和专家轻松管理资源、优化性能并集成各种 AI 工具以提高模型准确性。Unsloth 的核心优势在于其能够显著加速 LLM 的训练和推理过程，同时降低内存使用。 + +Unsloth 通过手动推导所有计算密集型数学步骤并编写自定义 GPU 内核来实现加速，而无需更改硬件。它支持 NVIDIA 自 2018 年以来的各种 GPU，包括 Tesla T4 到 H100，并可移植到 AMD 和英特尔 GPU。Unsloth 还与 Hugging Face 的 Transformers 库无缝集成，并支持其 TRL、Trainer 和 Seq2SeqTrainer 类。 + +Unsloth 的主要特点和优势包括：加速微调：能够将 LLM（如 Llama、Mistral、Gemma 和 Phi）的微调速度提高 2 倍以上，某些情况下甚至高达 30 倍。降低内存使用：显著减少微调过程中 VRAM 消耗，通常可减少高达 70%-90% 的内存使用，使得在有限 GPU 资源的机器上微调更大模型成为可能。零精度损失：声称在使用 QLoRA（4 位）和 LoRA（16 位）进行微调时不会造成精度下降。广泛模型支持：支持各种流行 LLM 架构，包括 Llama（版本 1、2 和 3）、Mistral、Gemma 和 Phi-3，以及 Mixtral、MOE、Cohere 和 Mamba 等所有模型。多种训练算法支持：除标准微调外，还支持强化学习技术，如 DPO、GRPO、PPO、奖励建模和在线 DPO，以及 KTO 和 DoRA 训练算法。动态 4 位量化：引入动态 4 位量化方法，旨在提高准确性，同时仅比标准 BnB 4 位量化多使用不到 10% 的 VRAM。优化内核：所有核心操作均使用 OpenAI 的 Triton 语言编写，并具有手动反向传播引擎，提高了性能。易于使用和集成：提供易于使用的笔记本，用户可快速开始微调模型，并与 Hugging Face 生态系统无缝集成。更快推理：对其支持的所有模型实现 2 倍更快的推理速度。模型导出：微调后模型可轻松导出为 GGUF、Ollama、vLLM 和 Hugging Face 等各种格式。Windows 支持：可在 Linux 和 Windows 上运行。Unsloth 通过优化内存使用和速度，使得在资源有限环境中进行 LLM 微调和推理变得更容易、更高效，推动了 LLM 技术的更广泛应用。 + +\subsection{Gradio 框架} + +Gradio 是一个开源 Python 包，允许用户快速构建机器学习模型、API 或任何任意 Python 函数的演示或 Web 应用程序。用户可以使用 Gradio 的内置共享功能在几秒钟内分享其演示或 Web 应用程序的链接。该框架无需 JavaScript、CSS 或 Web 托管经验。 + +Gradio 的主要功能包括：快速简便设置：通过 pip 安装，在项目中添加几行代码即可创建 Gradio 界面。与任何 Python 库无缝使用：只要用户能编写 Python 函数，Gradio 即可运行。展示和共享：可嵌入 Python 笔记本或作为网页呈现。Gradio 界面可自动生成公共链接，方便用户与同事共享，使其能远程与用户计算机上的模型交互。永久托管：创建界面后，可永久托管在 Hugging Face Spaces 上，Hugging Face 将在服务器上托管界面并提供共享链接。使用 gr.Interface 构建演示：gr.Interface 是高级类，旨在为接受一个或多个输入并返回一个或多个输出的机器学习模型创建演示。它接受三个核心参数：`fn`：要包装用户界面的函数，通常是机器学习模型的预测函数；`inputs`：用于输入的 Gradio 组件，数量应与函数参数数量匹配；`outputs`：用于输出的 Gradio 组件，数量应与函数返回值数量匹配。使用 gr.Blocks 构建自定义演示：对于更可定制的布局和数据流，Gradio 提供使用 gr.Blocks 类的低级方法。Blocks 支持控制组件显示位置、处理多个数据流和更复杂交互（例如输出作为其他函数输入），以及根据用户交互更新组件属性/可见性。使用 gr.ChatInterface 构建聊天机器人：包含高级类 gr.ChatInterface，专用于创建聊天机器人 UI。用户提供函数，Gradio 将创建功能齐全的聊天机器人 UI。Gradio Python 和 JavaScript 生态系统：不仅是 UI 库，更是通过 UI 和 API 与机器学习模型交互的框架，在性能、安全性、响应能力方面提供强大保证。包含用于以编程方式在 Python 或 JavaScript 中构建或查询机器学习应用的完整 Python 和 JavaScript 库生态系统。Gradio Sketch：无需代码即可构建 Gradio 应用，只需在终端中键入 `gradio sketch` 即可打开编辑器，允许用户通过 Web 编辑器定义和修改组件、调整布局、添加事件。流式输出：通过使用 `yield` 语句的简单 Python 生成器提供流式传输，支持令牌到令牌的文本生成流式传输、逐步图像生成更新，甚至通过 HTTP Live Streaming (HLS) 协议实现流畅音频/视频流式传输。Gradio 框架的主要优势在于其易用性、灵活性以及与机器学习生态系统的强大集成，使其成为构建和共享机器学习模型演示的理想选择。 \ No newline at end of file diff --git a/paper/latex/main.tex b/paper/latex/main.tex index 1bc7559..792a5cf 100644 --- a/paper/latex/main.tex +++ b/paper/latex/main.tex @@ -5,7 +5,6 @@ %\graphicspath{{chapter/}{figures/}} \usepackage{CJK} \usepackage{amsmath}%数学 - %\usepackage[colorlinks,linkcolor=red]{hyperref}%超链接 \usepackage{fancyhdr} %使用fancyhdr包自定义页眉页脚 diff --git a/paper/markdown/毕业论文分点.md b/paper/markdown/毕业论文分点.md new file mode 100644 index 0000000..71fb2d7 --- /dev/null +++ b/paper/markdown/毕业论文分点.md @@ -0,0 +1,121 @@ +# 毕业论文分点 + +## 第一章 绪论 + +### 1.1 研究背景与意义 + +### 1.2 国内外研究现状 + +### 1.3 本文结构安排 + +### 1.4 小结 + +## 第二章 相关技术介绍 + +### **2.1 大型语言模型 (LLM)** + +#### **2.1.1 LLM 的发展与应用** + +#### **2.1.2 LLM 辅助编码** + +### **2.2 提示工程技术** + +### 2.3 模型量化技术 + +### **2.4 QLoRA 微调方法** + +### **2.5 unsloth算子** + +### 2.6 **Gradio 框架** + +## 第三章 需求分析 + +### 3.1 项目整体介绍 + +### 3.2 功能需求分析 + +#### 3.2.1 训练语料生成功能 + +#### 3.2.2 模型微调功能 + +#### 3.2.3 自动化整合功能 + +#### 3.2.4 前端展示功能 + +### 3.3 非功能需求分析 + +#### 3.3.1 性能要求 + +#### 3.3.2 扩展性要求 + +## 第四章 关键技术实现 + +### 1.系统架构设计 + +#### 1.1 整体架构设计 + +#### 1.2 模块划分与交互流程 + +### 2.数据库设计与实现 + +#### 2.1 双数据库架构设计(SQLite+TinyDB) + +#### 2.2 数据模型定义与存储方案 + +#### 2.3 数据库初始化与管理实现 + +### 3.语料生成与处理技术 + +#### 3.1 Markdown文档解析 + +#### 3.2 prompt模板套用和提示词格式引导 + +#### 3.3 OpenAI API的协程并发语料生成 + +#### 3.4 json格式校验、反序列化和持久化 + +### 4.语言模型训练技术 + +#### **4.1 监督式微调（SFT）概述** + +#### 4.2 训练数据准备与格式化 + +#### **4.3 参数高效微调技术：LoRA（Low-Rank Adaptation）** + +#### **4.4 训练流程实现与配置** + +#### 4.5 训练监控与持久化 + +#### 4.6 模型训练执行与监控 + +#### 4.7 模型保存与导出 + +### 5.前端交互系统实现 + +#### 5.1 Gradio交互框架设计 + +#### 5.2 全局状态管理机制 + +#### 5.3 前后端数据流设计 + +#### 5.4 流式响应与实时反馈 + +#### 5.5 异常处理与用户反馈 + +#### 5.6 基于子进程tensorboard的训练监控 + +### 6. 扩展性实现 + +## 第五章 总结与展望 + +### 5.1 研究工作总结 + +### 5.2 不足与局限性 + +### 5.3 未来展望 + +## 参考文献 + +## 致谢 + +‍ diff --git a/paper/markdown/第一章 绪论.md b/paper/markdown/第一章 绪论.md new file mode 100644 index 0000000..8538ee2 --- /dev/null +++ b/paper/markdown/第一章 绪论.md @@ -0,0 +1,140 @@ +# 第一章 绪论 + +# 第一章 前言 + +### 1.1 研究背景与意义 + +在现代软件开发领域，程序员的编码工作日益依赖于先进的大语言模型支持，这些模型凭借其强大的能力，显著自动化了代码生成流程，有效减轻了开发者的工作负担，并大幅度提升了开发效率。然而，尽管这些模型在公开数据集与广泛使用的开源项目中展现出非凡的性能，但在处理企业内部高度专业化的私有库时，其局限性便显露无遗。核心原因在于，大语言模型往往基于广泛的通用数据集进行训练，缺乏对特定企业或项目中私有库内专有函数、类及其交互细节的深度理解和应用适应性。 + +相较于广泛采用的公开编码模型，针对私有库设计的专有模型显得尤为必要。公开模型虽强大，但在面对包含企业核心业务逻辑、技术秘密及高度定制化功能的私有库时，往往捉襟见肘。由于缺乏对私有库具体实现细节的认知，生成的代码往往无法精准引用库中的类、方法或属性，这不仅增加了后续人工调整的工作量，还可能引入潜在的安全风险。此外，企业间的私有库差异巨大，从架构设计到API接口各不相同，要求任何自动化工具都必须具备高度的灵活性和可定制性，以适应这些多样化的环境。 + +鉴于上述现状，本项目通过深度解析私有库的文档资源，精准提取关键信息，并以此为基础对大语言模型进行针对性的微调与优化。这一过程不仅增强了模型对私有库特定功能和用法的理解能力，还极大地提升了生成代码的准确性和实用性。通过本项目，我们期望能够让生成的代码片段无缝集成于企业的私有库生态中，真正实现企业级软件开发的智能化与高效化，满足企业对高质量、高安全性代码的迫切需求。 + +### 1.2 国内外研究现状 + +人工智能辅助编码，作为软件开发领域的一项前沿技术，近年来取得了显著的进展，并展现出巨大的潜力。随着计算能力的提升和机器学习技术的进步，特别是大型语言模型（LLMs）的兴起，AI正在深刻地改变着代码的编写、测试和维护方式。本文将对人工智能辅助编码的最新进展、应用、潜力、挑战以及未来方向进行全面的概述。 + +**1. 人工智能辅助编码的最新进展和趋势** + +人工智能辅助编码的最新进展和趋势表明，AI正逐渐成为开发者的重要伙伴，甚至在某些方面能够独立完成复杂的编程任务。到2025年，人们普遍预计，先进的AI模型将不再仅仅提供代码片段，而是能够自动创建完整的应用程序，而人类只需进行最少的指导。GitHub Copilot 和 OpenAI Codex 等工具正处于这一趋势的前沿，使得编程变得更加快速和便捷。 + +主流模型和技术方面，大型语言模型是当前研究和应用的核心。这些模型，例如 OpenAI 的 GPT 系列、Google 的 Gemini、Anthropic 的 Claude 以及国内的文心一言、通义千问等，通过对海量文本和代码数据的学习，展现出强大的代码生成和理解能力。它们能够理解开发者的自然语言指令，并将其转化为可执行的代码。此外，这些模型还在不断进化，例如，OpenAI 的 GPT-4o 在多项编码基准测试中表现领先，而 Anthropic 的 Claude 和 Google 的 Gemini 也紧随其后。一些开源模型，如 Code Llama，也为研究和应用提供了更多的选择。 + +最新的趋势包括 AI 生成代码成为常态，AI 技术深度融入低代码/无代码平台，AI 赋能的测试和调试，AI 优化的性能调优，以及个性化的 AI 驱动的 UX/UI 设计。到2025年，AI 工具将尝试编写完整的模块，主动优化软件，并自动处理调试。此外，AI 还将被集成到 SaaS 和云原生开发中，提升应用程序的自主性、自愈能力和性能优化。预测分析、高度个性化和自学习功能将成为 AI 驱动开发的主导，从而最大限度地减少编码工作并优化性能和用户体验。 + +值得关注的是，国内的 AI 大模型也在编程辅助领域取得了显著进展。例如，科大讯飞的讯飞星火认知大模型具备代码生成、注释和错误检测能力。百度推出了基于文心大模型的智能代码助手 Comate，提供智能推荐、生成和问答等功能。阿里巴巴的通义千问在代码理解方面也表现出色。这些进展表明，国内 AI 技术正在迅速追赶国际领先水平。 + +**2. AI在软件开发的不同阶段的研究与应用** + +AI 在软件开发的不同阶段都展现出强大的应用潜力。 + +在**代码生成和补全**方面，AI 工具如 GitHub Copilot 和 ChatGPT 能够实时建议代码片段和补全函数，极大地提高了开发速度。Google 的 Gemini Code Assist 甚至可以分析项目上下文和编程语言，生成相关的代码段，从而自动化重复性任务。百度 Comate 和商汤代码小浣熊等国内工具也提供了类似的功能，支持多种编程语言和集成开发环境。 + +在**错误检测**方面，AI 驱动的工具能够分析代码以识别错误、漏洞和低效之处，帮助开发者提高软件质量。例如，科大讯飞的讯飞星火可以精准定位代码语法和逻辑错误。IBM watsonx Code Assistant 等工具也具备错误检测和修复建议功能。 + +在**代码优化**方面，AI 可以提供代码改进建议，以优化性能并降低维护难度。AI 能够检测不良的编码实践，并根据最佳实践提出改进建议，还可以分析并提高代码的效率。 + +在**自动化测试**方面，AI 可以增强测试自动化，通过更快地检测潜在问题来确保软件的可靠性。例如，AI 可以自动生成并执行测试用例，优化测试覆盖范围，并及早发现错误。商汤代码小浣熊也具备辅助进行单元测试的能力。 + +此外，AI 还在**应用开发**方面发挥作用。低代码/无代码 AI 平台使得即使没有广泛编程知识的人也能够创建应用程序。这些平台通过 AI 驱动的易用性，降低了软件开发的门槛。 + +值得一提的是，AI 在**代码审查自动化**方面也取得了进展。例如，CodeAgent 是一种新型的多智能体大型语言模型系统，用于自动化代码审查。它能够检测代码变更与提交消息之间的不一致性，识别潜在的漏洞，验证代码风格的一致性，并提出代码修改建议。 + +**3. AI辅助编码工具在不同编程语言和环境中的实际应用和用户反馈** + +AI 辅助编码工具的实际应用非常广泛，支持多种编程语言和开发环境。这些工具通常以插件的形式集成到流行的集成开发环境（IDEs）中，如 VS Code、IntelliJ IDEA 和 Android Studio。它们支持包括 Python、Java、JavaScript、C++、Go 和 SQL 等在内的 100 多种主流编程语言。 + +用户反馈普遍积极，许多开发者报告了显著的生产力提升。例如，有开发者报告使用 AI 工具后，项目时间缩短了一半，生产力提高了 50%。RunSignup 团队通过使用基于自身代码库训练的 AI 工具，预计在 2025 年开发效率将提高约 20%。Salesforce 的 CEO Marc Benioff 也表示，他们的工程生产力提高了 30%。 + +用户赞赏 AI 工具能够自动化重复性任务，例如生成样板代码、修复语法错误和起草文档，从而使开发者能够专注于更复杂的挑战，如系统设计和算法创新。GitHub Copilot 的用户 Lars Gyrup Brink Nielsen 甚至表示，没有它，他再也不会开发软件了。 + +然而，用户反馈也并非完全没有担忧。一些开发者担心过度依赖 AI 可能会导致对代码库的理解不够深入，从而在未来需要进行修改时更容易引入缺陷。此外，对于 AI 生成代码的质量和安全性也存在一定的疑虑，这将在后续章节中进一步讨论。 + +**4. 评估AI辅助编码在提升开发效率、代码质量和降低成本方面的潜力** + +AI 辅助编码在提升开发效率、代码质量和降低成本方面展现出巨大的潜力。 + +**提升开发效率**方面，AI 能够自动化重复性任务，加速开发时间，并提供实时的支持和建议，从而显著提高开发速度。例如，通过自动生成代码片段和脚本，AI 可以大幅减少编码所需的时间，这对于需要在短时间内完成项目的场景尤为重要。 + +**提高代码质量**方面，AI 可以帮助减少错误，确保代码风格和最佳实践的一致性，并为新手开发者提供学习机会，从而提高整体代码质量。AI 驱动的工具能够检测代码中的错误和低效之处，并提供修复建议。此外，AI 还可以增强测试自动化，确保软件的可靠性。 + +**降低成本**方面，AI 有潜力通过减少开发团队规模、缩短上市时间以及降低软件开发的门槛来实现成本节约。对于初创企业和中小型企业而言，AI 编码助手可以 democratize 高质量的编码专业知识，从而减少对大型开发团队的需求。 + +然而，值得注意的是，尽管 AI 可以提高生产力，但研究表明，AI 辅助的代码中代码克隆的现象显著增加。这可能对代码的可维护性产生负面影响，并可能导致技术债务的累积。因此，在追求效率的同时，仍需关注代码的长期质量和可维护性。 + +**5. 研究AI辅助编码面临的挑战和未来方向** + +尽管人工智能辅助编码带来了诸多益处，但也面临着一些重要的挑战，并且未来的发展方向也需要仔细考量。 + +**安全性**是首要的挑战之一。研究表明，AI 生成的代码可能包含与手动编写的代码相似甚至更高的安全漏洞。这些漏洞包括 SQL 注入、跨站脚本攻击（XSS）等常见安全问题。AI 模型通过复制其训练数据中的模式来工作，如果训练数据包含不安全的编码模式，AI 可能会在生成的代码中重现这些模式。此外，AI 工具可能缺乏对特定应用程序上下文和安全要求的全面理解，从而无法生成完全安全的代码。新兴的攻击手段，例如针对 GitHub Copilot 和 Cursor 的“规则文件后门”技术，也表明 AI 编码助手本身可能成为新的攻击媒介。因此，对 AI 生成的代码进行严格的安全扫描和人工审查至关重要。 + +**可解释性**是另一个重要的挑战。许多 AI 模型，特别是基于深度学习的模型，本质上是“黑箱”，难以理解其代码生成的过程。这种不透明性使得调试、信任以及识别潜在的偏见或错误变得困难。为了解决这个问题，未来的研究需要侧重于开发更具可解释性的 AI 技术，使用户能够理解 AI 生成代码的原因和逻辑。 + +**伦理问题**也日益受到关注。AI 辅助编码的广泛应用可能会导致软件开发人员的**就业岗位流失**。虽然 AI 也可能创造新的工作岗位，但如何确保工人能够顺利过渡到新的角色是一个重要的社会问题。此外，训练数据中的**偏见**可能会导致 AI 模型生成带有歧视性或不公平的代码。例如，如果训练数据主要来自特定人群编写的代码，AI 可能会偏向于这些编码风格或实践，而忽略其他更优的方案。因此，负责任的 AI 开发实践至关重要，包括确保数据的多样性和公正性，以及在开发过程中考虑到伦理因素。 + +未来的研究方向包括提高 AI 生成代码的准确性和可靠性，增强其对复杂架构上下文的理解，以及开发更好的代码质量评估指标。此外，还需要深入研究 AI 对软件开发的长期影响以及人类开发者角色的演变。人机协作被认为是未来的重要发展方向，即 AI 系统与人类程序员协同工作，共同提高编码效率和软件质量。 + +为了应对这些挑战，需要从多个层面进行努力，包括制定伦理指导原则、加强外部监管、推动国际合作以及保护用户权益。只有这样，才能确保 AI 辅助编码技术朝着负责任和有益的方向发展。 + +**6. 总结当前研究现状** + +当前，人工智能辅助编码正处于快速发展阶段。大型语言模型作为核心技术，在代码生成、补全、错误检测、优化和自动化测试等方面展现出强大的能力。AI 工具已经广泛应用于各种编程语言和开发环境中，并获得了用户的积极反馈，普遍认为能够显著提升开发效率、代码质量并降低成本。 + +然而，研究也揭示了 AI 辅助编码面临的严峻挑战，主要集中在安全性、可解释性和伦理问题上。AI 生成的代码可能存在安全漏洞，模型的决策过程往往难以解释，并且 AI 的应用也引发了关于就业、偏见和责任的伦理担忧。 + +未来的研究方向将侧重于克服这些挑战，例如开发更安全的 AI 模型，提高模型的可解释性，以及制定负责任的 AI 开发和部署框架。人机协作模式被认为是未来的趋势，AI 将成为开发者更强大、更智能的助手。持续的研究和跨领域的合作对于确保 AI 辅助编码技术的健康发展和广泛应用至关重要。 + +**表 1：常用人工智能辅助编码工具比较** + +|**工具名称**|**基础模型（已知）**|**主要功能**|**支持语言**|**支持 IDE/环境**|**价格/授权模式**| +| --------------------| -------------| ------------------------------------------------| --------------------------------------------------------------------------------------------------------------------------| ----------------------------------------------------------------------| ------------------------------------------| +|GitHub Copilot|OpenAI Codex|代码补全、代码生成、内联聊天、代码解释、测试生成|Python, JavaScript, TypeScript, Ruby, Go, C#, C++ 等|VS Code, Visual Studio, JetBrains IDEs, Neovim|商业订阅，对特定用户免费| +|Amazon CodeWhisperer|Amazon 自研|代码补全、代码生成、安全扫描、代码审查、代码转换|Python, Java, JavaScript, TypeScript, C#, Go, SQL, Rust, Kotlin, Scala, C, C++|VS Code, IntelliJ IDEA, AWS Cloud9, AWS Lambda 控制台|免费增值，提供免费层级和付费专业版| +|Google Gemini|Google Gemini|代码补全、代码生成、错误提示、工作流自动化|Python, Java, JavaScript, TypeScript, Go, SQL, C++, C#, Kotlin, PHP, Swift, Objective-C, Dart|VS Code, IntelliJ IDEA, Android Studio, Chrome 浏览器|商业订阅，集成在 Google Cloud Vertex AI 中| +|Tabnine|自研模型|代码补全、代码生成、团队模型定制|Python, Java, JavaScript, TypeScript, PHP, Go, C#, C++, Ruby, Objective-C, Swift, Kotlin, Rust, Scala, Perl, HTML/CSS, SQL|VS Code, Visual Studio, JetBrains IDEs, Sublime Text, Atom, Emacs, Vim|免费个人版，付费团队版和企业版| +|DeepSeek Coder|DeepSeek 自研|代码补全、代码生成、代码翻译、代码审查|Python, Java, JavaScript, C++, Go, C#, PHP, TypeScript, Ruby, Rust, Scala, Kotlin, Swift, Lua, Perl, SQL, Shell|VS Code, JetBrains IDEs|免费| +|Code Llama|Llama 2|代码补全、代码生成、代码理解|Python, C++, Java, PHP, TypeScript, C#, Bash, C, Fortran|无特定 IDE 限制|开源，遵循 Llama 2 社区许可| + +**表 2：AI 生成代码中常见的安全漏洞** + +|**漏洞类型**|**描述**|**潜在影响**|**缓解策略（简述）**| +| ----------------------| ---------------------------------------------------------------------------------------------------------------------| --------------------------------------------------------------------------------------------| ---------------------------------------------------------------------------------------| +|SQL 注入|AI 生成的代码直接将用户输入拼接进 SQL 查询语句，而没有进行参数化处理。|攻击者可以执行恶意的 SQL 代码，从而可能导致数据泄露、数据篡改或服务器控制。|使用参数化查询或预编译语句，对用户输入进行严格的验证和清理。| +|跨站脚本攻击 (XSS)|AI 生成的代码在 Web 应用程序中直接输出用户输入，而没有进行适当的编码或转义。|攻击者可以在用户的浏览器中注入恶意脚本，从而窃取用户凭证、劫持用户会话或进行其他恶意操作。|对所有用户输入进行适当的编码和转义，使用内容安全策略（CSP）限制可执行脚本的来源。| +|路径遍历|AI 生成的文件上传代码没有对用户提供的文件名进行充分的验证，允许攻击者通过文件名中的特殊字符访问服务器上的任意文件。|攻击者可以读取服务器上的敏感文件，甚至可能上传恶意文件并执行。|对用户上传的文件名进行严格的验证，限制文件上传的路径。| +|身份验证绕过|AI 生成的身份验证代码存在逻辑缺陷，允许攻击者在没有有效凭证的情况下访问受保护的资源。|攻击者可以未经授权访问应用程序的功能和数据。|实施强壮的身份验证和授权机制，进行充分的测试和审查。| +|不安全的依赖项|AI 建议使用的第三方库或 API 包含已知的安全漏洞。|应用程序可能会受到这些漏洞的影响，攻击者可以利用这些漏洞进行攻击。|定期审查和更新应用程序的依赖项，使用软件成分分析（SCA）工具检测和管理依赖项中的漏洞。| +|命令注入|AI 生成的代码直接执行用户提供的命令，而没有进行充分的验证和清理。|攻击者可以在服务器上执行任意命令，从而可能导致服务器被完全控制。|对所有用户输入进行严格的验证和清理，避免直接执行外部命令。| +|不安全的 Cookie 处理|AI 生成的代码将敏感信息存储在客户端 Cookie 中，而没有设置必要的安全标志（如 HttpOnly, Secure, SameSite）。|Cookie 容易受到跨站脚本攻击（XSS）、窃取和跨站请求伪造（CSRF）攻击。|为 Cookie 设置 HttpOnly、Secure 和 SameSite 标志，避免在 Cookie 中存储敏感信息。| +|信息泄露|AI 生成的代码向客户端暴露了过于详细的错误消息或其他敏感信息。|攻击者可以利用这些信息来了解应用程序的内部结构，并更容易找到攻击的突破口。|限制向客户端暴露的错误信息，进行适当的日志记录和监控。| + +**表 3：人工智能辅助编码中的伦理考量** + +|**伦理问题**|**描述**|**潜在后果**|**缓解策略/负责任的 AI 原则**| +| -----------------| -----------------------------------------------------------------------------------------------| ----------------------------------------------------------------------------------| --------------------------------------------------------------------------------------------| +|就业岗位流失|AI 自动化代码编写任务可能导致对软件开发人员的需求减少。|现有开发人员可能面临失业或需要技能升级的压力，可能导致经济和社会不稳定。|投资于技能再培训和教育，创造新的与 AI 相关的就业机会，探索 AI 与人类协作的新工作模式。| +|AI 模型中的偏见|AI 模型的训练数据可能包含社会偏见，导致模型生成带有歧视性或不公平的代码。|生成的软件可能存在偏见，对特定群体造成不公平的影响，例如在招聘、贷款审批等方面。|确保训练数据的多样性和代表性，使用公平性指标评估和缓解模型中的偏见，进行持续的监控和审计。| +|隐私问题|AI 系统在训练和使用过程中可能需要访问大量的用户代码和数据，可能泄露个人或商业敏感信息。|用户隐私可能受到侵犯，商业机密可能泄露，导致经济损失或声誉受损。|实施严格的数据保护措施，获得用户同意，对数据进行匿名化处理，确保数据安全。| +|算法透明度|许多 AI 模型的决策过程不透明，难以理解模型生成特定代码的原因。|难以调试和信任 AI 生成的代码，难以发现和纠正潜在的错误或偏见。|研究和开发更具可解释性的 AI 模型和技术，提供代码生成的解释和依据。| +|责任和问责|当 AI 生成的代码出现错误或导致损害时，责任应该归咎于谁？是开发者、AI 模型的创建者还是使用者？|责任不清可能导致无法有效地解决问题和追究责任，影响用户对 AI 技术的信任。|建立明确的责任和问责机制，制定相关的法律法规和行业标准。| +|可持续性|训练和运行大型 AI 模型需要大量的计算资源和能源，可能对环境造成负面影响。|增加能源消耗，加剧气候变化。|优化 AI 算法以提高能源效率，探索更环保的硬件解决方案，强调数据效率和负责任的云计算。| + +### 1.3 本文结构安排 + +本文围绕基于大型语言模型的自动化微调框架展开研究与实现，全文共分为五章，具体结构安排如下： + +第一章 前言：本章首先介绍了研究的背景与意义，阐述了大型语言模型微调自动化的重要性和必要性。随后，对国内外相关的研究现状进行了回顾与分析，指出了现有方法的优势与不足。最后，概述了本文的主要研究内容，并介绍了论文的整体结构安排。 + +第二章 相关技术介绍：本章详细介绍了本文研究所涉及的关键技术。包括大型语言模型（LLM）的发展、应用及在辅助编码方面的潜力；提示工程技术在引导LLM生成高质量文本中的作用；模型量化技术及其在降低模型部署成本方面的意义；LoRA（Low-Rank Adaptation）等参数高效微调方法，特别是QLoRA的原理与优势；优化微调效率的unsloth算子；以及用于构建交互式界面的Gradio框架。 + +第三章 需求分析：本章从项目整体出发，对基于大型语言模型的自动化微调框架进行了需求分析。首先介绍了项目的整体目标和应用场景。然后，详细分析了系统的功能需求，包括训练语料生成、模型微调、自动化整合以及前端展示等核心功能。最后，阐述了系统的非功能需求，如性能要求和扩展性要求。 + +第四章 关键技术实现：本章详细阐述了系统的具体实现过程。首先介绍了系统的整体架构设计、模块划分与交互流程。接着，描述了双数据库架构（SQLite+TinyDB）的设计与实现方案，以及数据模型定义和数据库管理。详细介绍了语料生成与处理技术，包括Markdown文档解析、Prompt模板应用、API协程并发调用以及数据校验与持久化。重点阐述了语言模型训练技术的实现，涵盖监督式微调（SFT）流程、训练数据准备、LoRA微调方法应用、训练配置、监控与结果保存。随后，介绍了基于Gradio框架的前端交互系统设计与实现，包括全局状态管理、前后端数据流、流式响应与实时反馈以及异常处理。最后，探讨了系统的扩展性实现方案。 + +第五章 总结与展望：本章对本文的研究工作进行了全面的总结，回顾了所取得的主要成果。同时，分析了当前研究存在的不足与局限性。最后，对未来的研究方向和可能的技术发展进行了展望。 + +### 1.4 小结 + +本章作为全文的引言部分，首先阐明了在当前大型语言模型蓬勃发展的背景下，构建自动化微调框架的研究背景和重要的现实意义。通过对国内外相关研究现状的梳理，我们认识到自动化、高效化微调工具的缺失是当前LLM应用落地的瓶颈之一，这进一步凸显了本研究的价值。本章还概述了本文的主要研究内容，旨在通过整合先进的语料生成、模型微调和前端交互技术，构建一个用户友好、高效灵活的LLM自动化微调框架。最后，详细介绍了本文的章节结构安排，为读者清晰地勾勒出后续内容的逻辑脉络，为深入理解本文的研究工作奠定了基础。 + +‍ diff --git a/paper/markdown/第三章 需求分析.md b/paper/markdown/第三章 需求分析.md new file mode 100644 index 0000000..a17d94b --- /dev/null +++ b/paper/markdown/第三章 需求分析.md @@ -0,0 +1,39 @@ +# 第三章 需求分析 + +#### 3.1 项目整体介绍 + +本项目旨在构建一个基于文档驱动的自适应编码大模型微调框架。在现代软件开发领域，虽然大型语言模型显著提升了代码生成效率，但在处理企业内部高度专业化的私有代码库时，其局限性日益凸显。这主要是由于通用大模型缺乏对特定企业或项目中私有库内专有函数、类及其交互细节的深度理解和应用适应性。相较于广泛采用的公开编码模型，针对私有库设计的专有模型显得尤为必要，因为公开模型难以精准引用私有库中的元素，可能引入安全风险并增加人工调整工作量 。企业间的私有库差异巨大，要求自动化工具具备高度的灵活性和可定制性 。本研究的核心在于深度解析私有库的文档资源，精准提取关键信息，并以此为基础对大语言模型进行针对性的微调与优化 。通过提升模型对私有库特定功能和用法的理解能力，本项目旨在极大提升生成代码的准确性和实用性，使生成的代码片段能够无缝集成于企业的私有库生态中，最终实现企业级软件开发的智能化与高效化，满足企业对高质量、高安全性代码的迫切需求 。本研究具有重要的理论意义，扩展了大语言模型在代码生成领域的应用场景，推动了代码生成技术的发展；同时也具有实际应用价值，能够提升企业开发效率、降低开发成本、提高代码质量和安全性，从而增强企业竞争力 。 + +#### 3.2 功能需求分析 + +本框架的功能设计主要围绕自动化处理流程展开，包括训练语料的生成、编码大模型的微调、各模块的自动化整合以及最终结果的前端展示。 + +##### 3.2.1 训练语料生成功能 + +训练语料生成功能是整个框架的基础。该功能需要选用具备强大长文本生成能力的大参数量模型，例如 GLM4-LONG 或 qwen-max-longcontext，通过对指定格式的 Markdown 技术文档进行深度解析，系统能够准确抽取其中的标题、段落、代码块等关键信息，并生成对应的提示词。随后，通过预设的算法或规则，将提取的提示词转换为适合模型输入的格式，最终生成高质量且覆盖广泛技术领域和编程场景的训练语料库，以确保其数量和质量能够满足后续模型训练的需求。 + +##### 3.2.2 模型微调功能 + +模型微调功能是提升模型在私有库代码生成能力的关键。本框架计划以 qwen 模型作为微调基础，采用 Qlora 训练方法。利用上一步生成的训练语料对该模型进行有针对性的微调，使其学习将输入的提示词转化为符合语法规则和逻辑的代码片段。为了验证微调效果，需要通过一系列评估指标，如 BLEU 分数、代码执行成功率以及人工评估等，对微调后的模型在特定技术文档相关代码生成任务上的性能进行全面验证，确保其有效性和实用性。 + +##### 3.2.3 数据持久化功能 + +为了确保系统的稳定性、可配置性以及训练过程的可追溯和模型的可复用，本框架需要实现全面的数据持久化功能。这主要包括配置信息的持久化、训练与评估数据集的持久化以及训练后模型的持久化。针对不同的数据特性，将采用混合存储策略，利用关系型数据库存储结构化的配置参数和元数据，例如api配置信息。同时，非结构化或半结构化的数据，例如生成的训练语料、经过处理的技术文档内容，将采用文档型数据库或文件存储的方式进行持久化，以便于灵活存储和快速读取。同时，模型需要支持多种持久化方式，例如单独导出Lora适配器、导出gguf格式模型、导出量化后的模型等。通过有效的数据持久化机制，可以方便地加载历史配置以复现实验、管理和版本控制不同的数据集、以及存储和调用微调后的模型，从而提升整个框架的可用性和效率。 + +##### 3.2.4 前端展示功能 + +前端展示功能为用户提供了直观、易用的交互界面。本框架计划采用 Gradio 框架构建前端界面。该界面将用于展示后端生成的代码片段和相关信息，实现前端与后端的实时数据交互，使用户能够即时看到模型生成的结果。 + +#### 3.3 非功能需求分析 + +除了上述功能性需求，本框架还需要满足一系列非功能性要求，以确保系统的性能、可扩展性和用户体验。 + +##### 3.3.1 性能要求 + +性能是衡量本框架可用性的重要指标。首先，训练语料的生成效率需要足够高，以便快速响应技术文档的更新。其次，模型微调过程应尽可能高效，缩短训练周期，尽管大型语言模型的训练对计算资源要求较高，但通过选择合适的模型和优化方法（如 QLoRA），以及利用高性能计算资源，需努力克服显存不足和运算速度缓慢的问题。最后，前端界面的响应速度要快，用户操作流畅，保证良好的用户体验。 + +##### 3.3.2 扩展性要求 + +考虑到未来可能需要支持更多类型的技术文档格式、集成不同的编码大模型或增加新的功能，本框架需要具备良好的扩展性。模块化的设计思路将有助于在不影响现有功能的基础上，方便地进行功能扩展和技术升级。此外，自动化整合脚本应具备灵活的配置能力，方便用户根据自身需求调整参数和集成新的模块。对不同企业的私有库差异的适应性也是扩展性的重要体现，要求框架具备高度的灵活性和可定制性 。 + +‍ diff --git a/paper/markdown/第二章 相关技术介绍.md b/paper/markdown/第二章 相关技术介绍.md new file mode 100644 index 0000000..937baa0 --- /dev/null +++ b/paper/markdown/第二章 相关技术介绍.md @@ -0,0 +1,88 @@ +# 第二章 相关技术介绍 + +### 2.1 大型语言模型 (LLM) + +#### 2.1.1 LLM 的起源、发展历程和关键里程碑事件 + +大型语言模型（LLM）作为一种重要的人工智能形式，其核心目标在于理解、生成并与人类语言进行交互。这些模型通过在海量数据集上进行训练，使其能够应对广泛领域的问题，包括科学、技术、艺术和文化等，从而成为信息检索、内容创作和自然语言理解的关键工具。LLM 的构建基于机器学习技术，特别是 Transformer 模型。Transformer 模型模仿人脑的神经元网络，旨在识别数据中的模式并从中学习。LLM 对大规模文本数据的依赖使其能够捕捉语言的复杂模式、语法规则和语义关系。 + +LLM 的历史可以追溯到 19 世纪后期。1883 年，法国语言学家米歇尔·布雷亚尔对语言结构及词语间关系进行了探讨，其工作为 Java 和 Python 等编程语言奠定了基础，并改进了计算机理解人类语言的方式，进而简化了人机通信。二战后，随着人们对基于自然语言处理（NLP）系统的兴趣日益浓厚，LLM 模型的发展得以延续。NLP 是一种使计算机能够理解、解释和创建人类语言的人工智能技术。这种兴趣的驱动力源于对高效语言翻译的需求，以促进国际交流和贸易。20 世纪 60 年代，麻省理工学院的科学家约瑟夫·魏泽鲍姆创建了 ELIZA，这被认为是第一个使用 NLP 的程序。该程序能够根据用户输入的关键词给出预先确定的响应。随着时间的推移，经过训练的 LLM 能够处理更复杂的数据，尤其是在 20 世纪 90 年代计算机性能显著提升之后。 + +词语表示方式是 LLM 工作方式中的一个重要环节。传统的机器学习方法使用数字表格表示词语，但这种方法的局限性在于无法识别词语之间的关系。词嵌入技术通过使用神经网络模型在海量文本数据上训练解决了这一问题。训练过程调整嵌入，使模型能够根据上下文预测词语，确保出现在相似上下文中的词语具有相似的嵌入。ChatGPT 及类似的 GPT 模型采用自注意力机制来提升理解和响应生成能力，该机制帮助模型聚焦于输入中的相关部分，并评估每个词语在上下文中的重要性。这些模型最初在大量文本数据上以无监督方式进行预训练，以学习语言模式、上下文和细微差别。在此预训练阶段，模型通过考虑前文词语来预测句子中的下一个词语。 + +2017 年，Transformer 模型的引入标志着 LLM 发展的一个重要转折点。基于自注意力机制的 Transformer 架构能够有效处理长序列数据并实现并行计算，为训练更大规模的语言模型铺平了道路。2018 年，谷歌发布了 BERT（Bidirectional Encoder Representations from Transformers），这是一个早期且颇具影响力的 LLM，在自然语言理解任务中取得了显著进展。同年，OpenAI 发布了 GPT-1（Generative Pre-trained Transformer），展示了使用 Transformer 架构生成连贯文本的能力。 + +随后的几年里，LLM 的规模和能力持续增长。2019 年，OpenAI 发布了 GPT-2，其生成文本的说服力更强，引发了关于其潜在恶意使用的讨论。2020 年，OpenAI 推出了拥有 1750 亿参数的 GPT-3，在语言理解和生成方面达到了前所未有的水平，并成为 ChatGPT 的基础模型。2022 年 11 月，OpenAI 发布了面向消费者的基于浏览器的聊天机器人 ChatGPT，迅速引起了公众的广泛关注。2023 年，OpenAI 发布了 GPT-4，该模型在准确性方面有所提升，并具备了多模态能力。除 OpenAI 的模型外，其他机构也开发了诸多主流 LLM，例如谷歌的 BERT、XLNet、PaLM 和 Gemini 系列，Meta 的 Llama 系列，以及 Anthropic 的 Claude 系列。此外，BLOOM 和 LLaMA 等开源 LLM 的出现进一步推动了该领域的发展。 + +LLM 发展历程中，参数规模的扩大是一个显著趋势。从最初的几百万参数发展到如今的数千亿甚至万亿参数，模型规模的增长带来了性能的显著提升，使得 LLM 在各种任务中展现出强大的能力。同时，训练数据的规模也呈指数级增长，从早期的数十亿词语到现在的数万亿 tokens，涵盖了广泛的文本和代码数据。这一趋势被称为“新的摩尔定律”。除了规模的增长，LLM 的能力也经历了显著演变。早期的 LLM 主要擅长文本生成和补全等任务。随着模型发展，它们逐渐展现出更高级的能力，例如进行复杂推理、解决数学问题、翻译语言，甚至编写代码。近年来，多模态 LLM 的出现扩展了 LLM 的应用范围，使其能够处理和生成文本、图像、音频等多种类型数据。表 2.1 总结了 LLM 发展中的关键里程碑事件。 + +表 2.1：LLM 发展中的关键里程碑事件 + +|**年份**|**里程碑**|**重要性**| +| ----| -------------------------| --------------------------------------------------------------------------------------| +|1966|ELIZA|第一个使用 NLP 的聊天机器人，基于关键词模拟对话。| +|2017|Transformer 架构 (Google)|引入自注意力机制和平行处理，使得模型更加高效和上下文感知。| +|2018|BERT (Google)|第一个突破性的 LLM，在自然语言理解方面取得了显著进展。| +|2018|GPT-1 (OpenAI)|第一个使用 Transformer 架构进行生成文本的概念验证。| +|2019|GPT-2 (OpenAI)|展示了生成令人信服的文本的能力，引发了关于潜在滥用的担忧。| +|2020|GPT-3 (OpenAI)|参数规模显著增大（1750 亿），展示了前所未有的语言理解和生成能力，成为 ChatGPT 的基础。| +|2022|ChatGPT (OpenAI)|面向消费者的应用程序，凭借其对话能力使 LLM 引起了主流关注。| +|2023|GPT-4 (OpenAI)|多模态模型，具有更高的准确性和推理能力。| +|2023|LLaMA (Meta)|流行的开源 LLM，推动了 AI 的普及。| +|2025|DeepSeek R1 (DeepSeek AI)|在美国境外开发的高性能开源推理模型，凸显了 LLM 开发领域日益激烈的全球竞争。| +|2025|Claude 3 系列 (Anthropic)|GPT 模型的竞争者，强调乐于助人、诚实和无害，具有强大的推理和多模态能力。| +|2025|Gemini (Google)|一系列多模态 AI 模型，旨在跨不同设备运行并涵盖广泛的用途，包括推理。| + +#### 2.1.2 LLM 辅助编码 + +大型语言模型在辅助软件开发和编码方面展现出巨大的潜力。它们通过理解和生成代码，可以显著提高开发效率并改善代码质量。LLM 在代码生成、代码补全、错误检测与修复等多个方面都有具体的应用。 + +在代码生成方面，LLM 能够根据自然语言描述生成代码片段甚至完整的函数。开发者可以使用自然语言描述所需功能，LLM 即可生成相应的代码，从而加速开发过程。例如，开发者只需描述一个排序算法，LLM 就能生成相应的代码实现。一些知名的 LLM，如 OpenAI 的 Codex、Meta 的 Code Llama 和 Google 的 PaLM 2，都经过专门优化用于代码生成。此外，LLM 还可以生成代码文档和注释，提高代码可读性和可维护性。 + +代码补全是 LLM 在编码辅助方面的另一重要应用。LLM 能够根据已有代码上下文，预测并建议接下来可能需要的代码片段或整行代码，甚至生成完整的函数或类。GitHub Copilot、Tabnine 和 Replit Ghostwriter 等工具通过集成到集成开发环境（IDE）中，为开发者提供实时的代码建议，显著提高了编码效率。LLM 能够理解多种编程语言的语法、编码风格和编程实践，从而提供更智能、更准确的补全建议。 + +在错误检测与修复方面，LLM 也展现出强大能力。LLM 可以分析代码，识别潜在的错误模式或问题，帮助开发者快速找到并修复 bug。它们能够理解代码的语法、编码风格和编程实践，从而识别出代码中的错误和潜在漏洞。一些研究表明，LLM 甚至能够根据错误信息和上下文生成修复代码的建议。然而，需要注意的是，LLM 生成的代码可能并非总是完美，仍需要开发者进行审查和验证。 + +综上所述，大型语言模型正日益成为软件开发过程中不可或缺的辅助工具。它们通过代码生成、代码补全和错误检测与修复等功能，极大地提升了开发效率和代码质量。随着 LLM 技术的不断发展，其在软件开发领域的应用前景将更加广阔。 + +#### 2.2 提示工程技术 + +提示工程（Prompt Engineering）是指设计和优化输入提示（prompts）的过程，以有效地引导人工智能模型，特别是大型语言模型（LLMs），产生期望的输出。由于生成式 AI 旨在模仿人类，需要详细指令才能创建高质量和相关的输出。提示工程通过选择最合适的格式、短语、词语和符号来指导 AI 更有效地与用户交互。熟练的提示工程师设计能够与生成式 AI 工具中其他输入进行最佳交互的输入，从而帮助从 AI 模型中获得更好的答案。 + +提示工程的重要性体现在，精心设计的提示可以显著提高 LLM 的性能，使其能够更准确地理解用户意图并生成更相关、高质量的回复。通过提供清晰指令、相关上下文信息和具体格式要求，提示工程师能够引导 LLM 朝期望方向生成内容，最大限度发挥模型潜力。良好的提示工程还可以减轻 LLM 训练数据中可能存在的偏见，并提高用户与 AI 交互效率。 + +提示工程涉及多个关键原则。首先，清晰性和具体性至关重要。提示应明确定义任务或问题，避免含糊措辞，提供足够背景信息或示例以指导模型理解，并指定期望的输出格式、长度、风格和语气。其次，提供上下文对于引导模型生成更相关、精确的输出至关重要。这包括提供相关事实、数据或参考文档，并定义关键术语和概念。第三，使用示例（即少样本提示）是一种强大技术，可以通过展示期望的输入-输出对来指导模型响应。第四，迭代和实验是提示工程的关键部分。通过尝试不同措辞、格式和结构，并根据模型反馈进行调整，可以逐步优化提示以获得更好结果。第五，将复杂任务分解为更小的、可管理的部分，并通过一系列相互关联的提示引导模型完成整个过程，可以提高处理复杂问题的能力。此外，还可以通过赋予模型特定角色或身份来引导其生成更符合特定视角的响应。 + +#### 2.3 模型量化技术 + +模型量化（Model Quantization）是大型语言模型（LLMs）中使用的一种技术，旨在将高精度数据（通常是 32 位浮点数 (FP32) 或 16 位浮点数 (FP16)）的权重和激活值转换为低精度数据类型，如 8 位整数 (INT8) 或 4 位整数 (INT4)。模型量化的主要目的是减少模型的内存占用、提高推理速度并降低能耗，使其更易于部署在资源受限的设备上，如移动设备或边缘服务器。 + +模型量化通过减少表示模型参数所需的比特数来实现这些目标。例如，一个 32 位精度的浮点数值可以近似表示为一个 8 位精度的整数。这种转换显著降低了存储模型所需的内存空间，并且由于低精度运算通常比高精度运算更快，因此可以提高模型的推理速度。此外，更快的计算和减少的内存访问通常会降低功耗，这对于电池供电的设备尤其重要。 + +模型量化有多种不同的技术，主要可分为以下几类：训练后量化 (Post-Training Quantization, PTQ)：这种方法在模型完成训练后应用量化，将模型权重从浮点表示转换为低精度定点整数，无需重新训练。PTQ 实现简单快捷，但可能导致一定性能下降。PTQ 可进一步分为静态量化和动态量化。静态量化在量化时使用校准数据确定激活值范围并适当缩放。动态量化仅量化权重，而激活在推理期间保持较高精度，并根据运行时观察到的范围动态量化。量化感知训练 (Quantization-Aware Training, QAT)：这种方法在模型预训练或微调期间引入权重转换，允许模型在训练过程中适应低精度表示，通常比 PTQ 产生更高性能，但需要大量计算资源和代表性训练数据。权重共享 (Weight Sharing)：涉及对相似权重进行聚类并共享相同的量化值，减少唯一权重数量，进一步压缩模型。混合精度量化 (Mixed Precision Quantization)：在训练或推理过程中使用不同数值精度的组合（例如 FP16 和 FP32），以在性能和精度之间取得平衡。二值化和三值化 (Binary and Ternary Quantization)：将权重分别量化为两个值（+1 和 -1）或三个值（+1、0 和 -1），是极端的量化形式。显著减小模型尺寸和计算复杂度的同时，精度下降也更明显。 + +不同的量化级别（如 INT8 和 INT4）对模型性能和资源消耗影响不同。一般来说，更低的量化级别（例如从 INT8 到 INT4）可以进一步减少模型大小并提高推理速度，但通常会导致更大精度损失。INT8 量化通常被认为是性能和精度之间的良好折衷方案，可在保持较高模型准确性的同时，显著降低内存占用和提高推理速度。INT4 量化更为激进，可实现更高压缩率和更快速度，但通常伴随更明显精度下降，更适用于对资源限制非常严格但对精度要求相对较低的场景。选择合适的量化技术和级别需要在模型大小、推理速度和精度之间进行权衡，通常取决于具体应用场景和硬件条件。 + +#### 2.4 QLoRA 微调方法 + +QLoRA（Quantization-aware Low-Rank Adaptation）是一种高效微调大型语言模型（LLMs）的方法，它结合了量化和低秩自适应技术，旨在在资源受限的情况下实现与全精度微调相当的性能。QLoRA 的主要原理是在微调过程中冻结预训练 LLM 的权重并将其量化为 4 位精度，然后引入少量可训练的低秩适配器（Low-Rank Adapters, LoRA）。微调期间，梯度通过冻结的 4 位量化预训练语言模型反向传播到这些低秩适配器中。 + +QLoRA 引入了多项创新技术以在节省内存的同时不牺牲性能。首先是 4 位 NormalFloat (NF4) 数据类型，这是一种专为正态分布权重设计的新数据类型，在信息论上最优，并在实证研究中优于 4 位整数和 4 位浮点数。NF4 基于分位数化，确保每个量化区间分配相等数量的输入张量值，从而有效利用内存。其次是双重量化 (Double Quantization)，通过对第一步量化的量化常数再次进行量化，进一步减少平均内存占用，在不显著损失性能的情况下节省额外内存。最后是分页优化器 (Paged Optimizers)，利用 NVIDIA 统一内存特性管理训练期间的内存峰值，特别是在处理长序列的小批量数据时，从而避免内存不足错误。 + +QLoRA 的主要优势在于其能够在资源受限情况下实现高效微调。通过将预训练模型量化到 4 位并仅训练少量低秩适配器，QLoRA 显著降低了微调所需的 GPU 内存。例如，QLoRA 能够将微调一个 650 亿参数模型的平均 GPU 内存需求从超过 780GB 降低到低于 48GB，且不降低运行时或预测性能。这使得在单个消费级 GPU 上微调大型模型成为可能，从而大大降低了微调 LLM 的门槛。研究表明，使用 QLoRA 微调的 LLM 在各种任务上可以达到与全精度微调相当甚至更好的性能。 + +低秩适配器（LoRA）是 QLoRA 的关键组成部分。LoRA 的核心思想是，大型预训练模型在适应下游任务时，其权重变化具有低秩特性。因此，LoRA 冻结原始预训练模型的权重，并在每个 Transformer 层的自注意力模块中注入两个小的低秩矩阵（A 和 B）。微调过程中仅更新这些低秩矩阵的参数，原始模型的权重保持不变。这大大减少了需要训练的参数数量，从而降低了计算成本和内存需求。LoRA 的线性设计也确保与完全微调的模型相比，不会引入额外推理延迟。QLoRA 通过结合量化和 LoRA，为在资源受限环境中高效微调大型语言模型提供了有力方法，使得研究人员和从业人员能够更容易利用和定制最先进的 LLM，推动 NLP 领域进一步发展。 + +#### 2.5 Unsloth 算子 + +Unsloth 是一个开源软件，旨在简化大型语言模型（LLMs）的微调过程。它提供用户友好的界面和强大功能，可帮助 AI 开发初学者和专家轻松管理资源、优化性能并集成各种 AI 工具以提高模型准确性。Unsloth 的核心优势在于其能够显著加速 LLM 的训练和推理过程，同时降低内存使用。 + +Unsloth 通过手动推导所有计算密集型数学步骤并编写自定义 GPU 内核来实现加速，而无需更改硬件。它支持 NVIDIA 自 2018 年以来的各种 GPU，包括 Tesla T4 到 H100，并可移植到 AMD 和英特尔 GPU。Unsloth 还与 Hugging Face 的 Transformers 库无缝集成，并支持其 TRL、Trainer 和 Seq2SeqTrainer 类。 + +Unsloth 的主要特点和优势包括：加速微调：能够将 LLM（如 Llama、Mistral、Gemma 和 Phi）的微调速度提高 2 倍以上，某些情况下甚至高达 30 倍。降低内存使用：显著减少微调过程中 VRAM 消耗，通常可减少高达 70%-90% 的内存使用，使得在有限 GPU 资源的机器上微调更大模型成为可能。零精度损失：声称在使用 QLoRA（4 位）和 LoRA（16 位）进行微调时不会造成精度下降。广泛模型支持：支持各种流行 LLM 架构，包括 Llama（版本 1、2 和 3）、Mistral、Gemma 和 Phi-3，以及 Mixtral、MOE、Cohere 和 Mamba 等所有模型。多种训练算法支持：除标准微调外，还支持强化学习技术，如 DPO、GRPO、PPO、奖励建模和在线 DPO，以及 KTO 和 DoRA 训练算法。动态 4 位量化：引入动态 4 位量化方法，旨在提高准确性，同时仅比标准 BnB 4 位量化多使用不到 10% 的 VRAM。优化内核：所有核心操作均使用 OpenAI 的 Triton 语言编写，并具有手动反向传播引擎，提高了性能。易于使用和集成：提供易于使用的笔记本，用户可快速开始微调模型，并与 Hugging Face 生态系统无缝集成。更快推理：对其支持的所有模型实现 2 倍更快的推理速度。模型导出：微调后模型可轻松导出为 GGUF、Ollama、vLLM 和 Hugging Face 等各种格式。Windows 支持：可在 Linux 和 Windows 上运行。Unsloth 通过优化内存使用和速度，使得在资源有限环境中进行 LLM 微调和推理变得更容易、更高效，推动了 LLM 技术的更广泛应用。 + +#### 2.6 Gradio 框架 + +Gradio 是一个开源 Python 包，允许用户快速构建机器学习模型、API 或任何任意 Python 函数的演示或 Web 应用程序。用户可以使用 Gradio 的内置共享功能在几秒钟内分享其演示或 Web 应用程序的链接。该框架无需 JavaScript、CSS 或 Web 托管经验。 + +Gradio 的主要功能包括：快速简便设置：通过 pip 安装，在项目中添加几行代码即可创建 Gradio 界面。与任何 Python 库无缝使用：只要用户能编写 Python 函数，Gradio 即可运行。展示和共享：可嵌入 Python 笔记本或作为网页呈现。Gradio 界面可自动生成公共链接，方便用户与同事共享，使其能远程与用户计算机上的模型交互。永久托管：创建界面后，可永久托管在 Hugging Face Spaces 上，Hugging Face 将在服务器上托管界面并提供共享链接。使用 gr.Interface 构建演示：gr.Interface 是高级类，旨在为接受一个或多个输入并返回一个或多个输出的机器学习模型创建演示。它接受三个核心参数：`fn`​：要包装用户界面的函数，通常是机器学习模型的预测函数；`inputs`​：用于输入的 Gradio 组件，数量应与函数参数数量匹配；`outputs`​：用于输出的 Gradio 组件，数量应与函数返回值数量匹配。使用 gr.Blocks 构建自定义演示：对于更可定制的布局和数据流，Gradio 提供使用 gr.Blocks 类的低级方法。Blocks 支持控制组件显示位置、处理多个数据流和更复杂交互（例如输出作为其他函数输入），以及根据用户交互更新组件属性/可见性。使用 gr.ChatInterface 构建聊天机器人：包含高级类 gr.ChatInterface，专用于创建聊天机器人 UI。用户提供函数，Gradio 将创建功能齐全的聊天机器人 UI。Gradio Python 和 JavaScript 生态系统：不仅是 UI 库，更是通过 UI 和 API 与机器学习模型交互的框架，在性能、安全性、响应能力方面提供强大保证。包含用于以编程方式在 Python 或 JavaScript 中构建或查询机器学习应用的完整 Python 和 JavaScript 库生态系统。Gradio Sketch：无需代码即可构建 Gradio 应用，只需在终端中键入 `gradio sketch`​ 即可打开编辑器，允许用户通过 Web 编辑器定义和修改组件、调整布局、添加事件。流式输出：通过使用 `yield`​ 语句的简单 Python 生成器提供流式传输，支持令牌到令牌的文本生成流式传输、逐步图像生成更新，甚至通过 HTTP Live Streaming (HLS) 协议实现流畅音频/视频流式传输。Gradio 框架的主要优势在于其易用性、灵活性以及与机器学习生态系统的强大集成，使其成为构建和共享机器学习模型演示的理想选择。 diff --git a/paper/markdown/第五章 总结与展望.md b/paper/markdown/第五章 总结与展望.md new file mode 100644 index 0000000..8b6cc3b --- /dev/null +++ b/paper/markdown/第五章 总结与展望.md @@ -0,0 +1,91 @@ +# 第五章 总结与展望 + +### 5.1 研究工作总结 + +本研究围绕基于大型语言模型的自动化微调框架展开，旨在解决企业级软件开发中私有代码库智能辅助编码的挑战。通过系统化的设计与实现，本研究取得了以下主要成果： + +#### 5.1.1 创新性架构设计 + +本研究提出了一种文档驱动的自适应编码大模型微调框架，采用三层架构设计（表现层、业务逻辑层和数据访问层）实现了系统的高内聚低耦合。特别是在数据存储方面，创新性地采用了SQLite与TinyDB相结合的双数据库架构，针对不同类型数据（结构化配置数据与半结构化训练数据）实现了最优化的存储方案。这种设计在保障事务完整性的同时，充分兼顾了半结构化数据处理的敏捷性需求，为系统的稳定运行和灵活扩展奠定了基础。 + +#### 5.1.2 高效语料生成技术 + +本研究开发了一套完整的技术文档处理与训练语料生成方案。通过基于栈结构的Markdown文档解析器，系统能够准确捕获文档的层级结构和内容关系；结合PromptTemplate动态模板技术，实现了提示词的参数化配置；采用基于异步IO架构的OpenAI API协程并发调用机制，显著提升了语料生成效率；同时，通过严格的JSON格式校验与数据验证流程，确保了生成语料的质量和一致性。这套技术方案有效解决了从技术文档到训练语料的自动化转换问题，为模型微调提供了高质量的数据基础。 + +#### 5.1.3 参数高效微调实现 + +在模型训练方面，本研究采用了LoRA（Low-Rank Adaptation）参数高效微调方法，并结合Unsloth优化算子，实现了在有限计算资源条件下的高效模型适配。系统构建了完整的监督式微调（SFT）流程，包括训练数据准备与格式化、LoRA微调方法应用、训练配置优化以及结果保存等环节。通过这种方法，成功将通用大语言模型定向优化为具备私有库代码生成能力的专用模型，在保持模型通用能力的同时，显著提升了其在特定领域的表现。 + +#### 5.1.4 交互式前端系统 + +基于Gradio框架，本研究构建了一个功能完备的交互式前端系统，包含模型管理、模型推理、模型微调、数据集生成、数据集管理、提示词模板管理和系统设置等七个功能模块。系统实现了全局状态管理、前后端数据流控制、流式响应与实时反馈等关键功能，为用户提供了直观、易用的操作界面。这种设计不仅降低了系统使用门槛，还通过可视化配置和实时反馈机制，提升了整体用户体验。 + +#### 5.1.5 系统集成与工程实践 + +本研究成功将文档解析、语料生成、模型微调和交互界面等多个模块集成为一个完整的自动化框架，实现了从技术文档输入到定制化模型输出的全流程自动化。在工程实践层面，系统采用了模块化设计、异常处理机制、数据持久化策略和性能优化措施，确保了系统的稳定性、可扩展性和高效性。这种全面的系统集成为企业级软件开发中的智能编码辅助提供了可行的技术路径。 + +总体而言，本研究不仅在技术层面实现了大语言模型微调框架的创新设计与实现，还在应用层面为解决企业私有库代码生成问题提供了系统化解决方案。通过文档驱动的自适应微调方法，成功提升了大语言模型在特定领域的代码生成能力，为企业级软件开发的智能化与高效化提供了有力支持。 + +### 5.2 不足与局限 + +基于对项目代码库和论文内容的深入分析，本项目虽然在大语言模型微调框架方面取得了一定成果，但仍存在以下几个方面的不足与局限性： + +#### 5.2.1 文档处理能力的局限性 + +当前系统在文档处理方面主要支持Markdown格式的技术文档解析，对其他格式文档（如PDF、Word、HTML等）的支持有限。这种单一格式的依赖在实际企业环境中可能造成应用障碍，因为企业技术文档通常以多种格式存在。此外，文档解析过程中缺乏对复杂结构（如嵌套表格、图表等）的有效处理机制，可能导致关键信息的丢失或误解。 + +#### 5.2.2 训练语料质量不稳定 + +生成的训练语料质量高度依赖于原始文档的质量和大模型的能力。在实际应用中，如果原始文档存在描述不清、术语不一致或结构混乱等问题，将直接影响生成的训练语料质量。同时，系统缺乏对生成语料的自动化质量评估机制，难以在大规模语料生成过程中保证数据质量的一致性，这可能导致微调效果的不稳定。 + +#### 5.2.3 微调技术的单一性 + +当前系统主要采用LoRA微调方法，虽然该方法在参数效率上有显著优势，但在处理特定领域深度知识或复杂语义理解任务时可能存在效果不佳的情况。系统未能提供多种微调方法（如P-Tuning、Prefix-Tuning等）的集成支持，限制了用户根据具体需求选择最适合的微调策略的灵活性。 + +#### 5.2.4 超参数优化机制不足 + +微调过程中的超参数选择主要依靠经验设定，缺乏自动化优化机制。这种人工干预的方式不仅增加了用户的使用门槛，也难以保证在不同数据集和任务上获得最优的微调效果。系统未能实现如贝叶斯优化、网格搜索等自动化超参数调优方法，这在处理多样化的企业私有库时可能导致性能次优。 + +#### 5.2.5 评估体系不完善 + +当前系统缺乏对微调后模型效果的全面评估机制，难以客观量化模型在特定领域的提升程度。评估指标单一，主要关注生成代码的语法正确性，而对代码的功能正确性、安全性、可维护性等多维度评估不足。这种评估体系的不完善使得用户难以全面了解微调效果，也为系统的持续优化和迭代带来了挑战。 + +#### 5.2.6 多模态融合能力欠缺 + +系统主要处理文本形式的技术文档，缺乏对图表、UML图、流程图等非文本信息的理解和处理能力。在实际的软件开发文档中，这些非文本信息往往承载了重要的设计思想和架构信息，忽略这部分内容可能导致模型对代码结构和设计模式的理解不足，从而影响生成代码的质量。 + +#### 5.2.7 安全性考虑不充分 + +在处理企业私有库和敏感技术文档时，系统对数据安全和隐私保护的考虑不够全面。缺乏对训练数据的脱敏处理机制，以及对生成模型可能泄露原始训练数据的防护措施。这在处理包含商业机密或敏感信息的企业私有库时，可能带来潜在的安全风险。 + +通过识别和分析这些不足与局限性，为未来研究提供了明确的改进方向，包括扩展文档处理能力、提高训练语料质量、丰富微调方法、实现超参数自动优化、降低资源需求、完善评估体系、增强多模态融合能力以及加强安全性保障等方面。这些改进将有助于构建更加完善、实用的大语言模型微调框架，更好地满足企业级软件开发的智能辅助需求。 + +### 5.3 未来展望 + +基于当前研究基础和技术发展趋势，本研究框架的后续演进可从以下六个维度展开深度探索： + +#### 5.3.1 边缘智能集成 + +研究模型轻量化与边缘计算融合技术，探索基于TensorRT、ONNX Runtime等推理引擎的异构加速方案。通过开发自适应模型切片技术，实现大模型在边缘设备（如Jetson系列）的分布式推理，构建端云协同的智能编码辅助体系，有效降低服务延迟并提升隐私保护等级。 + +#### 5.3.2 动态自适应学习机制 + +设计基于强化学习的在线学习框架，建立代码评审反馈闭环系统。通过开发增量式微调算法（如AdaLoRA），使模型能够动态适应企业代码库的持续演进，形成"开发-训练-优化"的自我迭代生态，解决传统静态模型与动态代码库的版本错配问题。 + +#### 5.3.3 智能化伦理安全框架 + +构建多层次安全防护体系，研发面向代码生成的差分隐私保护模块（DP-SGD）和模型水印技术。引入代码合规性验证层，集成SAST（静态应用安全测试）工具链，确保生成代码符合企业安全规范及行业监管要求，防范潜在的法律风险。 + +#### 5.3.4 跨平台生态构建 + +开发统一的API网关和服务编排引擎，支持与主流IDE（VSCode/IntelliJ/PyCharm）深度集成。研究容器化微服务架构，实现模型服务在Kubernetes集群的弹性伸缩，构建跨Windows/Linux/macOS的多平台支持能力，提升框架的工程适用性。 + +#### 5.3.5 开发者知识图谱构建 + +融合代码抽象语法树（AST）分析与文档实体识别技术，构建企业级开发知识图谱。通过图神经网络（GNN）实现编码规范、API调用关系、架构模式等隐性知识的可视化表达与推理，为开发者提供智能化的代码导航和架构决策支持。 + +#### 5.3.6 CI/CD深入集成 + +建立基于Git版本流的自动化训练数据采集管道，开发代码变更敏感度分析模型。结合主动学习策略（Active Learning）构建智能数据筛选机制，实现训练样本的按需获取和高效标注，形成可持续进化的模型优化体系。 + +这些技术方向的突破将推动智能编码辅助系统从单一功能工具向开发全生命周期支持平台演进，最终形成具备自我进化能力的智能软件开发生态系统，为软件工程领域带来范式级变革。 diff --git a/paper/markdown/第四章 关键技术实现.md b/paper/markdown/第四章 关键技术实现.md new file mode 100644 index 0000000..8dcfc8d --- /dev/null +++ b/paper/markdown/第四章 关键技术实现.md @@ -0,0 +1,243 @@ +# 第四章 关键技术实现 + +### 1. 系统架构设计 + +#### 1.1 整体架构设计 + +本系统采用经典的三层架构设计，分为表现层、业务逻辑层和数据访问层。在表现层中，基于Gradio框架构建了一个用户友好的Web界面，包含7个功能模块：模型管理、模型推理、模型微调、数据集生成、数据集管理、提示词模板管理和系统设置。该界面采用响应式设计，支持流式输出和灵活的参数配置，以满足不同用户的交互需求。 + +业务逻辑层是系统的核心部分，负责处理具体的业务逻辑。其中，模型训练模块基于Unsloth和TRL库实现了高效的LoRA微调功能；模型推理模块支持流式生成，并允许用户配置多种采样参数；数据处理模块则涵盖了数据集的转换、验证和预处理等任务，确保数据的质量和一致性。 + +数据访问层主要负责数据的存储与管理。系统使用SQLite存储系统配置和元数据，同时采用TinyDB内存数据库管理数据集，支持JSON格式的数据导入和导出。通过这种分层设计，各层之间通过明确定义的接口进行交互，不仅提升了系统的可扩展性和可维护性，还为后续的功能扩展奠定了基础。 + +#### 1.2 模块划分与交互流程 + +系统根据功能需求划分为多个模块，各模块之间通过清晰的交互流程协同工作，确保系统的高效运行。 + +**模型管理模块** 是系统的核心之一，负责加载、卸载和配置大语言模型。用户可以通过该模块选择并管理不同的模型，而模型推理模块则负责处理用户输入并生成模型响应。此外，模型训练模块支持执行LoRA微调训练流程，帮助用户优化模型性能。 + +**数据集生成模块** 的设计重点在于灵活性和效率。它支持多种文档格式输入（优先支持Markdown），提供可视化模板编辑和变量配置功能，同时支持多轮次并发生成。为了保证生成结果的可靠性，模块还内置了自动验证和转换机制。在技术实现上，使用LangChain PromptTemplate处理模板，采用异步调用提高生成效率，并通过原子操作保证数据一致性。此外，模块还提供了进度反馈和错误处理机制，进一步提升用户体验。 + +**数据管理模块** 涵盖了数据集生成、存储以及提示词模板管理等功能。数据集生成功能用于创建和预处理训练数据，数据集存储则通过TinyDB实现内存数据库管理，确保数据的高效存取。提示词模板管理模块负责维护对话模板和系统提示，为模型推理提供必要的上下文支持。 + +**系统交互流程** 从用户发起请求开始，用户通过Gradio界面与系统交互。前端模块接收用户请求后，调用对应的业务逻辑模块进行处理。业务逻辑模块根据需要访问数据存储层获取或保存数据，并将处理结果返回给前端展示。整个流程清晰且高效，确保用户能够快速获得所需的结果。 + +###### 关键数据流包括以下几个方面： + +```html + + + + + + + Mermaid Data Flows + + + + + + + +
+

模型训练流程

+ 
+graph LR
+    A[数据集] --> B[数据预处理]
+    B --> C[LoRA微调]
+    C --> D[模型保存]
+
+
+
+

模型推理流程

+ 
+graph LR
+    E[用户输入] --> F[对话模板处理]
+    F --> G[模型生成]
+    G --> H[流式输出]
+
+
+
+

数据管理流程

+ 
+graph LR
+    I[JSON导入] --> J[数据验证]
+    J --> K[内存存储]
+    K --> L[持久化保存]
+
+
+
+

数据集生成流程

+ 
+graph LR
+    M[解析Markdown文档为片段] --> N[使用PromptTemplate处理文档片段]
+    N --> O[调用大模型API生成问答对]
+    O --> P[将API响应转换为标准数据集格式]
+    P --> Q[保存到TinyDB并持久化为JSON]
+
+
+ + + + +``` + +通过以上模块划分与交互流程设计，系统不仅实现了功能的全面覆盖，还确保了各模块之间的高效协作，为用户提供了一个稳定、易用的大语言模型管理与应用平台。 + +### 2. 数据库设计与实现 + +#### 2.1 双数据库架构设计（SQLite + TinyDB） + +本系统创新性地采用SQLite与TinyDB相结合的双数据库架构，以应对不同类型数据的管理需求。对于API提供者信息等结构化数据，系统选用SQLite作为核心数据库，并通过SQLModel这一ORM工具实现面向对象的数据操作，其内置的线程锁机制有效保障了多线程环境下的数据并发安全。SQLite数据库的实体文件持久化存储于`workdir/db/db.sqlite`​路径，确保数据的可追溯性。 + +针对数据集信息（包含文档元数据及问答对集合）和提示词模板等半结构化数据的管理，系统则采用轻量级文档数据库TinyDB。数据集采用内存存储与JSON文件持久化相结合的混合模式，而提示词模板则直接通过JSON文件进行存储。TinyDB的无模式（Schema-free）特性为数据模型的灵活扩展提供了便利，其对原生JSON格式的处理能力显著提升了数据序列化与反序列化的效率。这种双数据库协同架构在保障事务完整性的同时，充分兼顾了半结构化数据处理的敏捷性需求，实现了数据存储方案的最优化配置。 + +#### 2.2 数据模型定义与存储方案 + +本系统遵循领域驱动设计原则，并借助Pydantic框架构建了层次化的数据模型体系，以确保业务数据的完整性和一致性。在数据集建模方面，设计了四级递进模型结构：`Doc`​模型用于描述文档的基础元数据（如名称、存储路径、版本号等）；`Q_A`​模型封装了单个问答对的核心要素；`DatasetItem`​模型聚合多个问答对，形成逻辑上的数据单元；最终，`Dataset`​模型整合元数据与数据项集合，构成完整的数据集结构。 + +提示词模板模型则通过`promptTemplate`​实体进行抽象，包含模板ID、名称、描述、内容体及创建时间等关键字段。系统预置了验证规则，强制要求模板内容必须包含`document_slice`​变量占位符，以确保模板在实际应用中具备上下文填充能力。 + +在存储实现层面，数据集采用了内存数据库与文件系统持久化相结合的双重保障机制，并利用TinyDB的临时文件特性实现原子写入操作。提示词模板则直接采用JSON文件存储方案，其良好的可读性便于人工维护。这种差异化的存储策略旨在保证数据完整性的同时，提升数据访问和管理的效率。 + +#### 2.3 数据库初始化与管理实现 + +本系统实施了分层且智能化的数据库初始化与管理策略。针对SQLite数据库，初始化阶段将自动检测并创建数据库文件，并通过SQLModel的元数据创建功能动态构建表结构，同时支持从环境变量注入初始数据集，从而实现部署环境的快速配置。对于TinyDB子系统，初始化时将执行自动化目录扫描，对`workdir/dataset`​路径下的JSON文件进行格式校验和数据加载，建立内存与文件系统之间的双向同步机制。 + +为保障数据可靠性，系统采用了多维度管理策略：在访问控制层面，SQLite数据库利用线程级锁机制实现并发安全，TinyDB则通过文件锁保证写入操作的互斥性；在数据操作层面，系统集成了Pydantic模型验证框架，在数据持久化之前执行严格的类型校验；在容错机制方面，系统采用预写式日志（WAL）记录关键操作，并结合异常捕获机制实现故障的可追溯性。特别设计的原子写入模块通过临时文件交换技术，确保在任何异常情况下存储文件的完整性，从而有效防范数据损坏的风险。 + +### 3. 语料生成与处理技术 + +#### 3.1 Markdown文档解析 + +该解析器采用树形结构组织Markdown文档内容，核心是通过栈结构维护标题层级关系。当遇到#号开头的标题行时，解析器会根据#号数量确定当前标题的层级，并通过栈结构维护父子关系。如果遇到比栈顶元素层级低的标题，会不断弹出栈顶元素直到找到合适的父节点。对于代码块内容，解析器会特殊处理以\`\`\`或\~\~\~开头的行，将其间的所有内容视为原始文本直接附加到当前节点，不进行任何解析。这种处理方式保证了代码块内的特殊字符不会被误解析为Markdown语法。文档内容的组织采用递归遍历方式。process\_markdown\_file函数会先构建完整的文档树，然后通过traverse函数递归遍历所有节点。对于叶子节点(没有子节点的节点)，会将从根节点到该节点的所有标题用"-\>"连接，并与节点内容组合输出，形成完整的上下文信息。解析器还提供了print\_tree函数用于可视化文档结构，可以清晰展示各层级标题的嵌套关系和内容分布。这种树形结构表示法特别适合处理具有复杂层级关系的长文档，能够准确反映文档的原始组织结构。 + +#### 3.2 prompt模板套用和提示词格式引导 + +通过PromptTemplate类构建动态提示词模板，前端界面支持选择预存模板并自动提取变量生成可编辑表格，实现提示词参数化；采用提示词追加JSON格式要求和API强制返回结构的双重保障机制确保输出结构化；支持多轮生成并记录详细耗时和token使用情况，同时具备异常处理能力；通过严格的数据验证流程将响应解析映射到数据模型，确保数据质量；特别实现了文档切片与模板变量的智能组合，有效支持从长文档生成结构化QA数据集，形成了一套完整的提示词模板应用与数据集生成解决方案。 + +#### 3.3 OpenAI API的协程并发语料生成 + +本系统的OpenAI API协程并发语料生成模块采用异步IO架构实现高并发处理，其核心逻辑体现在 `reasoning.py`​ 中的 call_openai_api 方法。该方法通过实例化 openai.AsyncOpenAI 异步客户端，支持多轮次（rounds参数）连续对话请求，自动解析JSON格式响应并记录完整的调用元数据。在并发控制方面，基于Python原生asyncio事件循环实现非阻塞式请求处理，通过await关键字异步等待API响应，这种设计理论上可扩展为使用asyncio.gather实现并行请求批处理。数据流设计采用 `dataset_generation.py`​ 中定义的 `LLMRequest`​ 请求对象封装输入参数，生成 `LLMResponse`​ 响应列表。错误处理机制采用全异常捕获策略，在发生API超时或格式错误时保留错误上下文和response_id追踪链，同时维护包含耗时统计（精确到毫秒）、prompt/completion tokens使用量及总资源消耗的性能监控体系。该模块通过 `dataset_generate_page.py`​ 集成到前端生成流程，实现文档切片处理、可配置并发参数（当前UI隐藏）和实时进度反馈的完整工作流。 + +#### 3.4 json格式校验、反序列化和持久化 + +本系统采用三层架构实现JSON数据处理全流程管理：在数据输入层，通过动态Schema绑定技术结合大语言模型的格式约束参数，构建双向校验机制，确保原始数据符合预定义结构规范；在数据处理层，设计基于异常传播模型的三级解析体系，通过语法验证、语义补全和类型强转实现安全反序列化，采用领域驱动设计模式将原始JSON映射为业务对象；在数据存储层，运用分层持久化策略，通过内存序列化缓存、文档数据库中间存储和文件系统冷备份三级存储机制，实现数据生命周期管理。系统通过管道过滤器模式串联各处理模块，建立数据校验→结构转换→持久存储的完整处理链路，各组件间通过标准接口解耦，形成高内聚低耦合的可扩展架构，有效提升复杂JSON数据处理的可靠性和可维护性。 + +### 4. 语言模型训练技术 + +#### **4.1 监督式微调（SFT）概述** + +随着大规模预训练语言模型（Large Language Models, LLMs）在自然语言处理领域展现出强大的通用能力，如何有效地将这些模型适配到特定的应用场景或下游任务中，成为了研究与实践的关键环节。监督式微调（Supervised Fine-Tuning, SFT）正是实现这一目标的核心技术之一。它指的是在一个已经经过大规模无标注数据预训练的基础语言模型上，利用一套有标注的、高质量的特定任务数据（通常表现为“指令-响应”或“输入-输出”对的形式）进行进一步训练的过程。 + +SFT的“监督”特性体现在其训练数据的形式上。与预训练阶段模型从海量文本中自主学习语言模式不同，SFT阶段向模型明确展示了在给定输入（如用户提问、指令）下，期望的、正确的输出（如恰当的回答、符合要求的文本）。模型在学习过程中，通过优化目标函数，不断调整自身参数，力求使其生成的响应尽可能地逼近标注数据中的目标响应。这种有指导的学习方式使得模型能够更精准地理解特定任务的格式要求、知识范畴以及交互模式。 + +采用SFT的主要目的在于提升模型在特定领域的性能表现和任务遵循能力。预训练模型虽然知识广博，但在特定专业领域或具体任务上的表现可能不够精确或不符合特定规范。通过在相关的高质量标注数据上进行微调，可以有效地向模型注入领域知识，提升其回答的准确性和相关性。同时，SFT也是引导模型学习遵循特定指令、模仿某种对话风格或角色的重要手段，使其行为更加符合人类预期，从而更好地服务于实际应用需求。因此，SFT是连接通用预训练模型与特定应用场景的关键桥梁，是使大模型“落地”不可或缺的技术步骤。在本研究中，我们采用SFT技术来定制化训练语言模型，以满足特定交互任务的需求。 + +#### 4.2 训练数据准备与格式化 + +语言模型的监督式微调效果高度依赖于训练数据的质量与组织形式。本节重点阐述数据预处理的核心逻辑，主要包括数据结构设计、对话模板转换和高效数据处理三个关键环节。 + +在数据组织结构层面，本研究采用"问题-答案"（question-answer）双字段结构作为基础数据单元。这种结构化设计源于对话型语言模型的训练需求，每个样本对应完整的对话轮次，其中用户提问（question）构成输入引导，助理解答（answer）作为目标输出。原始数据需经过严格的质量筛选与语义对齐处理，确保问答对具有明确的意图匹配性和逻辑连贯性，这是避免模型产生幻觉现象的重要基础。 + +对话模板的应用是数据格式化的核心步骤。通过预定义的qwen-2.5模板规范，系统将原始问答对转换为包含角色标识符（user/assistant）和特殊符号（\<|im\_start|\>）的标准化对话序列。该转换过程遵循两阶段结构化原则：首先构建对话轮次列表，保持用户与助手消息的严格交替；其次通过分词器的模板解析功能，自动添加必要的系统提示符和消息分隔符。这种格式化处理不仅统一了不同来源数据的表达形式，更重要的是建立了模型预期的对话结构记忆，为后续监督学习提供稳定的模式识别基础。 + +针对对话数据的特性，本研究实施了响应聚焦的损失计算策略。在模板转换过程中，通过指令部分（instruction\_part）与响应部分（response\_part）的显式划分，系统仅在助手生成内容对应的token位置计算训练损失。这种选择性损失计算机制使模型专注于学习回答生成模式，有效避免了输入文本重复性对参数更新的干扰，同时降低了无关token对梯度传播的影响强度。 + +在数据处理技术实现层面，采用Hugging Face Datasets库构建高效数据管道。将原始Python列表转换为内存映射格式的HFDataset对象，该设计显著提升了大规模数据的加载效率。通过map操作实现批量化数据处理，配合多进程并行机制，在保证数据转换一致性的同时，实现了预处理速度与内存占用的优化平衡。这种工业化数据处理流程的确立，为后续高频次的模型训练迭代提供了可靠的基础设施支持。 + +#### **4.3 参数高效微调技术：LoRA（Low-Rank Adaptation）** + +在大型语言模型领域，全量微调（Full Fine-tuning）尽管能使模型在特定下游任务上取得优异性能，但也面临着巨大的计算资源和存储开销。这是因为大型模型的参数量通常高达数十亿甚至千亿，对这些参数进行全面的梯度更新需要强大的硬件支持和漫长的训练时间。此外，为每个下游任务保存一个全量微调后的模型副本也是不现实的。为了解决这些挑战，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术应运而生，其核心思想是在保持预训练模型大部分参数冻结不变的前提下，仅微调少量额外的参数或利用低秩分解等技术来适应新任务，从而显著降低计算和存储需求。 + +在众多的PEFT方法中，低秩适应（Low-Rank Adaptation, LoRA）因其有效性和简洁性而受到广泛关注。LoRA的核心思想是，在预训练模型参数矩阵 W0∈Rd×k 进行微调时，其权重更新量 ΔW 本身可能具有较低的“内在秩”（intrinsic rank），这意味着这个更新矩阵可以通过两个或多个小矩阵的乘积来有效近似。LoRA的做法是冻结预训练权重 W0，并在需要微调的层旁边注入一对低秩矩阵 A∈Rd×r 和 B∈Rr×k，其中秩 r≪min(d,k)。在前向传播过程中， LoRA 的输出是预训练权重的输出与低秩矩阵乘积 BA 的输出之和。数学上表示为 h\=W0x+BAx，其中 x 是输入。在训练过程中，只有矩阵 A 和 B 的参数需要更新，而原始的 W0 参数则保持不变。最终微调后的权重可以看作是 W0+BA。 + +LoRA技术的关键优势在于其参数量的大幅削减。相比于全量微调需要更新 d×k 个参数，LoRA仅需要更新 d×r+r×k 个参数。由于 r 远小于 d 和 k，LoRA的可训练参数量远少于原始模型参数量。这直接带来了多方面的好处：首先，训练所需的计算资源和显存大幅减少，使得在消费级硬件上进行大型模型的微调成为可能；其次，训练速度得到提升，迭代效率更高；最后，由于每个任务只需要保存小型 LoRA 权重（A 和 B 矩阵），模型的存储和部署变得极其灵活，可以在不加载整个大型模型的情况下，通过插拔不同的 LoRA 模块快速切换任务。通过这种方式，LoRA在保持接近全量微调性能的同时，极大地提升了语言模型微调的效率和可及性。 + +这份展开符合您的要求，围绕LoRA的核心原理、优势以及其在参数高效性方面的关键逻辑进行阐述，不涉及具体的代码实现细节。您可以根据论文的整体结构和篇幅进行进一步的修改和补充。 + +#### **4.4 训练流程实现与配置** + +为了高效且便捷地进行大规模语言模型的监督式微调，本项目选用了一系列成熟且广泛应用的开源框架，核心依赖于Hugging Face的`transformers`​库，该库提供了丰富的预训练模型、分词器以及用于模型训练的基础设施。在此基础上，结合使用了`trl`​（Transformer Reinforcement Learning）库，特别是其提供的监督式微调训练器（SFTTrainer）。该训练器是专门为简化监督式微调任务而设计的，它在`transformers`​的训练接口之上进行了封装和优化，使得研究者能够更专注于数据准备和模型配置，而无需处理底层复杂的训练循环逻辑，极大地提高了开发效率。这种框架组合提供了强大的功能性和灵活性，能够支持复杂模型的加载、PEFT技术的应用以及多样化的训练策略。 + +模型训练的效果很大程度上取决于训练参数的合理设置。在本项目中，通过配置一系列关键参数来控制训练过程的行为，这些参数包括但不限于：学习率（learning rate），它决定了模型在每次参数更新时的步长；每个设备的训练批次大小（per\_device\_train\_batch\_size），影响显存占用和梯度更新的稳定性；梯度累积步数（gradient accumulation steps），通过累积多个小批次的梯度来模拟使用更大的批次进行训练；训练的总步数或总轮数（max\_steps / epoch），定义了整个训练过程的长度；学习率调度器类型（lr\_scheduler\_type），控制学习率随训练进程的变化策略；权重衰减（weight decay），作为一种正则化手段，有助于防止模型过拟合；以及随机种子（seed），用于确保训练结果的可复现性。对这些参数的细致调整是获得高性能模型的关键环节。 + +训练大型语言模型对计算资源要求极高，因此采用了多种优化技术来提升训练效率并降低资源消耗。首先是混合精度训练（mixed precision training），利用半精度浮点数（如FP16或BF16）进行计算和存储，相比于传统的全精度（FP32），可以显著减少显存占用并加速计算，同时通过配合少数全精度参数，可以保证训练的稳定性和模型的精度，本项目会根据硬件支持情况自动选择合适的半精度类型。其次，在优化器选择上，采用了诸如AdamW的8位量化版本，这种优化器能够大幅度减少优化器状态所需的显存，使得在相同硬件条件下可以训练更大的模型或使用更大的批次大小。此外，还采用了梯度检查点（gradient checkpointing）技术，这项技术通过在反向传播时重新计算前向传播中的一些中间激活值来显著降低显存峰值占用，尤其在使用优化实现时，能更高效地平衡计算量和显存消耗。 + +在将准备好的训练数据输入模型之前，需要一个数据整理器（Data Collator）来处理一个批次内的样本。特别是在处理变长序列时，数据整理器的作用至关重要。本项目使用了针对序列设计的整理器，负责将批次内长度不一的文本序列进行填充（padding），使其达到批次内的最大长度或预设的最大长度，从而能够被模型以张量的形式统一处理。同时，数据整理器还会生成相应的注意力掩码（attention mask），告知模型哪些部分是真实的序列内容，确保模型不会在填充位置进行不必要的计算或注意力分配。对于监督式微调任务，它还需要协助处理标签的准备，配合生成适当的损失掩码（loss mask），确保损失计算仅发生在目标响应的token上，忽略输入提示部分的损失。 + +#### 4.5 模型训练执行与监控 + +在完成语言模型微调所需的数据准备、模型配置和训练参数设置后，接下来便是训练流程的实际执行阶段。这一阶段的核心任务是将处理好的数据输入到配置好的模型中，通过优化算法不断调整模型参数，使其学习到预期的能力。训练的启动意味着计算资源被分配和调度，数据批次被送入模型进行前向传播，计算损失，并通过反向传播计算梯度，最终利用优化器更新模型权重。整个过程是一个迭代循环，直至达到预设的训练轮次或满足其他停止条件。 + +为了确保训练过程的稳定性和有效性，并对训练进度和效果进行实时跟踪与评估，模型训练的执行通常伴随着详尽的监控机制。监控是训练过程中不可或缺的一环，它允许研究人员和开发者观察关键指标的变化趋势，例如训练损失（Training Loss）、学习率（Learning Rate）以及其他可能的评估指标。通过监测这些指标，可以及时发现潜在问题，如模型不收敛、过拟合或欠拟合等，从而及时调整训练策略或参数。 + +训练过程中的重要组成部分是检查点的保存。检查点是指在训练进行到特定阶段时，将模型的当前参数、优化器状态、学习率调度器状态等完整信息保存下来。这具有多重意义：首先，它提供了一种容错机制，即使训练过程意外中断，也可以从最近的检查点恢复训练，避免从头开始；其次，通过保存多个检查点，可以在训练结束后选择性能最佳的模型版本，或者用于后续的进一步研究或部署；最后，检查点也为评估模型在不同训练程度下的表现提供了可能。检查点的保存策略（例如，按固定的步数或周期保存）和保存路径是训练配置中的重要考量。 + +除了检查点，详细的训练日志记录也是必不可少的。日志会记录训练过程中的各种事件和指标，例如每一步或每若干步的损失值、梯度范数、内存使用情况等。这些日志信息可以被保存到文件，供事后分析，也可以被实时导出到可视化工具中。目前，业界广泛使用诸如 TensorBoard 这类可视化工具来呈现训练过程中的曲线图、直方图等，使得复杂的训练数据变得直观易懂。通过这些可视化界面，研究人员可以清晰地看到损失如何随训练步数下降，学习率如何变化，权重或梯度的分布情况等，从而深入理解训练动态，辅助决策和优化。 + +总而言之，模型训练的执行是一个计算密集型的过程，而有效的监控系统则是确保这一过程高效、稳定并最终取得成功的关键。通过合理的检查点策略和详细的日志记录及可视化，可以全面掌握训练状态，及时调整策略，并为后续的模型评估和部署奠定基础。 + +#### 4.6 模型保存与导出 + +在语言模型训练完成后，将训练得到的模型参数和相关的配置信息进行持久化存储是至关重要的步骤。模型持久化的目的是为了能够在后续阶段加载模型进行推理、评估，或者进一步的迭代开发，而无需每次都重新训练。这一过程通常包括保存模型权重（即模型学习到的参数）以及与模型紧密关联的分词器（Tokenizer）的配置和词表。分词器负责文本的输入和输出预处理，其状态必须与模型保持一致才能确保模型能够正确理解输入并生成有效的输出。标准的模型保存方法会将模型权重和分词器信息分别存储在指定的文件或目录中，形成一个完整的模型资产包。 + +针对采用参数高效微调（如 LoRA）训练得到的模型，模型保存的方式会更加灵活。一种常见的做法是仅保存 LoRA 层的权重。由于 LoRA 只修改了基模型的小部分参数，这种方式保存的文件体积非常小，便于存储和传输。在进行推理时，需要将保存的 LoRA 权重与原始的基模型加载并合并使用。另一种方式是将训练好的 LoRA 权重与原始基模型的对应层权重进行合并，生成一个包含所有参数的完整模型。这种合并后的模型可以直接加载进行推理，无需额外步骤，适用于部署到不需要区分基模型和 LoRA 层的环境中。合并时可以选择不同的精度（如16位浮点或4位整数），以平衡模型大小和推理性能。 + +除了标准的保存格式，为了适应不同的部署环境和推理框架，模型有时需要被导出为特定的格式。GGUF（GPT-Generated Unified Format）就是一种为 LLM 推理设计的格式，它支持多种量化方法，可以将模型参数压缩到更小的体积，同时优化在 CPU 或特定硬件上的推理性能。将模型导出为 GGUF 并选择合适的量化级别（如 Q4\_K\_M, Q8\_0 等），可以在保证一定推理精度的情况下，显著降低模型的资源消耗，使其更容易在终端设备或资源受限的环境中运行。 + +此外，将训练好的模型发布到模型社区或平台（例如 Hugging Face Hub）是实现模型共享和便捷部署的常用方式。通过将模型文件（包括合并后的模型、LoRA 权重或特定格式如 GGUF 的模型）推送到这些平台，其他用户可以轻松地下载和使用您的模型，同时也方便您自己从任何地方访问您的模型资产。发布时也可以选择包含多种量化版本的模型，以满足不同用户的需求。 + +综上所述，模型保存与导出是语言模型训练流程中连接训练与应用的桥梁。选择合适的保存格式和方法取决于模型类型、微调策略以及预期的部署环境和性能需求，旨在实现模型的有效管理、便捷加载和高效推理。 + +#### 5. 前端交互系统实现 + +##### 5.1 Gradio交互框架设计 + +Gradio交互框架设计采用了模块化的架构思想，将复杂的大模型开发流程分解为七个功能明确的子模块。系统主界面通过gr.Blocks()构建容器框架，采用Tabs组件实现多页面导航，每个Tab对应一个独立功能模块的实现文件。这种设计既保持了界面风格统一，又实现了功能模块的高内聚。 + +##### 5.2 全局状态管理机制 + +本系统在前端交互层面构建了一套模块化的全局状态管理机制，核心在于通过 `global_var.py`​ 模块实现一个基于单例模式的状态容器。此容器采用私有化变量（如 `_model`​、`_tokenizer`​ 等）封装核心组件，并通过工厂模式支持大语言模型的动态加载。状态的读取与修改通过公有访问器方法（如 `get_model()`​ 和 `set_model()`​）进行受控管理，确保状态变更的可追踪性和安全性。具体实现上，模型对象在通过 HuggingFace Transformers 库加载后会缓存于内存，而分词器和数据集对象则采用惰性加载策略。数据集的版本化管理通过 TinyDB 文档数据库实现。为保障并发环境下的线程安全性，系统利用 Python 的全局解释器锁（GIL）机制，并对关键状态变更操作（如模型切换）采用原子性事务处理序列，确保操作的完整性，例如执行“卸载旧模型 → 清理显存 → 加载新模型”的原子操作。这种设计模式使得各功能模块，例如 `train_page.py`​ 中的训练模块，能够通过统一接口获取系统实时状态，同时有效地降低了模块间的耦合度，为系统的可扩展性提供了标准化的接入点。 + +系统的状态生命周期通过 `init_global_var()`​ 初始化函数进行全面管理，该过程包含一个三阶段的控制流程。首先，系统会锚定工作目录，基于给定的路径参数创建标准化的存储目录结构，包括 `models`​、`datasets`​ 和 `training`​ 三级子目录，并验证其可写权限。其次，系统建立双层持久化存储机制，利用 SQLite 数据库对模型元数据进行关系型管理，同时借助 TinyDB 完成非结构化数据集的文档存储。最后，执行环境预热步骤，包括预加载默认模型的分词器权重文件至显存以及初始化 CUDA 计算上下文。这一初始化链式调用贯穿系统启动的 entire process，工作目录作为核心的路径解析基准，不仅确保了在不同环境（开发、生产）下的配置无缝切换，而且通过 SQLite 关系数据库与 JSON 文档数据库的混合存储模式，实现了结构化元数据与非结构化训练数据的有效隔离与管理。 + +在跨组件通信方面，系统基于 `global_var.py`​ 模块构建了一个发布-订阅模式的状态同步机制。当模型管理页面（通过 `model_manage_page.py`​）调用 `set_model()`​ 方法更新当前使用的模型时，系统会触发一个全局状态变更事件。订阅了该状态的组件，例如训练页面（通过 `train_page.py`​），可以通过 `get_model()`​ 接口实时获取最新的模型实例（如第 21 行对 `get_model()`​ 的调用）。同样，数据集的更新操作（如新增训练样本，通过 `get_datasets().insert()`​）会自动广播到所有关联组件。这意味着训练页面中的数据集下拉列表（如第 22 行 `datasets_list`​ 的构建）能够即时刷新以显示最新的数据集，从而实现多视图状态的无缝同步。通过接口隔离原则和事件驱动机制的应用，各功能模块无需感知彼此的内部实现细节，仅需通过标准接口进行交互，这在保证系统响应实时性的同时，将模块间的耦合度降低至函数调用级别。 + +##### 5.3 前后端数据流设计 + +Gradio 框架的前后端数据流设计核心在于通过组件（Components）和事件（Events）实现用户界面与 Python 后端逻辑的交互。当用户在 Gradio 构建的 Web 界面（前端）中与输入组件（如文本框、滑块、文件上传等）进行互动或触发某个事件（如点击按钮）时，前端会将输入组件当前的数值或状态打包，通过 HTTP 请求发送到运行在服务器端的 Python 后端。后端接收到这些数据后，会根据您定义的处理函数（Handler Function），以这些前端数据作为函数的输入参数来执行相应的业务逻辑。函数执行完毕后，返回的结果数据会被 Gradio 框架捕获，并通过 HTTP 响应发送回前端。前端接收到后端返回的数据后，会根据您配置的输出组件（如文本框、图片展示、画廊等），自动更新界面以展示处理结果，从而完成一次完整的数据交互和展示流程。整个过程由 Gradio 框架内部负责序列化、传输和反序列化数据，极大地简化了开发者构建交互式 Web 应用的复杂度。 + +##### 5.4 流式响应与实时反馈 + +在实现前端聊天系统的交互时，为了提供更佳的用户体验，特别是与大型语言模型进行对话时，采用传统的“一次性等待全部生成再显示”的方式会让用户感受到明显的延迟。因此，流式响应和实时反馈技术变得至关重要。这项技术的目的是让用户能够像看到对方正在“打字”一样，文字内容可以随着模型的生成进度逐步显示在聊天界面上，而不是等到模型完全生成完毕才一次性出现。 + +实现流式响应的核心在于后端如何将语言模型的输出分批、分步地发送给前端，以及前端如何接收并逐步更新显示。具体来说，当用户发送消息后，后端不再等待语言模型生成完整的回复文本，而是配置模型以“流”的形式进行输出。这意味着模型在生成过程中，会不断地吐出部分文本片段（通常是词或字），并通过一个特定的通道（比如一个流式生成器对象）进行传输。 + +为了不阻塞处理用户请求的主进程或主线程，耗时的语言模型文本生成任务会在一个独立的线程中启动。这个独立线程负责调用模型进行生成，并将生成的文本片段源源不断地送入到前面提到的那个“流”中。与此同时，主线程则负责监听并读取这个“流”中的内容。每当从流中读取到新的文本片段时，主线程就将这部分内容附加到当前正在构建的回复文本后面，并立即将更新后的聊天历史（包含不完整的、正在增长的助手回复）发送给前端界面。 + +前端界面接收到后端发送的带有最新文本片段的聊天历史后，会立即更新聊天框中对应的助手回复消息。由于这个更新过程是高频率进行的，用户在界面上看到的效果就是助手的回复文字正在一个词一个词、甚至一个字一个字地逐步“打”出来，形成了实时反馈的视觉效果。整个流程持续进行，直到语言模型完成全部生成并在流中发送结束信号，或者达到预设的生成长度限制。通过这种流式传输和逐步更新的方式，极大地提升了对话的实时性和用户感知到的系统响应速度。 + +##### 5.5 异常处理与用户反馈 + +本系统在异常处理方面构建了一套全面且用户友好的机制。首先，通过装饰器模式实现全局异常捕获，对所有API调用进行拦截，能够自动识别并处理模型加载失败、API请求超时及数据解析错误等问题。该机制进一步细化了异常类型，区分了可预见的业务异常（例如用户输入无效）和不可预见的系统异常，并建立了相应的错误代码体系，以便精确诊断问题。其次，为了提升用户体验，系统在聊天界面利用Gradio的Error组件实时展示错误摘要，并通过可折叠面板提供详细的错误堆栈信息，便于开发者调试。特别地，针对模型生成过程中出现的tokenization异常，系统能动态插入错误标记，同时维持对话历史的连贯性。最后，在输入端，系统建立了完善的参数验证体系，通过类型强制转换（如将字符串转为浮点数）和边界值检测（如限制温度参数范围）实现前端校验。对于检测到的非法输入，系统会高亮相应的参数框并显示动画提示，同时禁用提交按钮，从而有效防止无效请求的发送并引导用户正确操作。 + +##### 5.6 基于子进程tensorboard的训练监控 + +当前端页面上的用户配置好训练参数（如数据集、学习率、批次大小等）并点击“开始微调”按钮时，前端界面会触发一个对应的后端处理函数。这个函数首先会根据当前的日期或序列号等信息，为本次训练创建一个独立的、用于存放训练日志和模型检查点的目录，确保不同训练任务的日志不会混淆。 + +接着，系统会扫描查找当前计算机上一个可用的网络端口，用于启动TensorBoard服务。找到合适的端口后，程序不会在当前主进程中直接运行TensorBoard，而是通过调用操作系统的命令，启动一个全新的、独立的TensorBoard进程（即子进程）。这个子进程被告知需要监控刚刚创建的训练日志目录，并在之前找到的可用端口上提供服务。由于是在单独的进程中运行，即使主训练过程非常耗时或发生其他情况，TensorBoard的服务也不会受到直接影响。 + +TensorBoard子进程成功启动并开始监听指定端口后，后端处理函数会立即构建一个HTML的`