docs(technology): 添加模型量化技术的数学公式和详细解释

在技术章节中，补充了模型量化技术的数学公式和详细解释，包括量化过程、反量化过程、量化误差分析以及不同量化技术（如 PTQ、QAT、权重共享等）的具体实现方法。这些补充内容有助于读者更深入地理解模型量化的原理和应用。

paper/latex/chapters/technology.tex

@@ -63,11 +63,80 @@ LLM 发展历程中，参数规模的扩大是一个显著趋势。从最初的
 \subsection{模型量化技术}
 模型量化（Model Quantization）是大型语言模型（LLMs）中使用的一种技术，旨在将高精度数据（通常是 32 位浮点数 (FP32) 或 16 位浮点数 (FP16)）的权重和激活值转换为低精度数据类型，如 8 位整数 (INT8) 或 4 位整数 (INT4)。模型量化的主要目的是减少模型的内存占用、提高推理速度并降低能耗，使其更易于部署在资源受限的设备上，如移动设备或边缘服务器。
 
-模型量化通过减少表示模型参数所需的比特数来实现这些目标。例如，一个 32 位精度的浮点数值可以近似表示为一个 8 位精度的整数。这种转换显著降低了存储模型所需的内存空间，并且由于低精度运算通常比高精度运算更快，因此可以提高模型的推理速度。此外，更快的计算和减少的内存访问通常会降低功耗，这对于电池供电的设备尤其重要。
+模型量化通过减少表示模型参数所需的比特数来实现这些目标。从数学角度看，量化过程可以表示为将浮点值映射到整数值的过程。对于线性量化，这一过程可以用以下公式表示：
 
-模型量化有多种不同的技术，主要可分为以下几类：训练后量化 (Post-Training Quantization, PTQ)：这种方法在模型完成训练后应用量化，将模型权重从浮点表示转换为低精度定点整数，无需重新训练。PTQ 实现简单快捷，但可能导致一定性能下降。PTQ 可进一步分为静态量化和动态量化。静态量化在量化时使用校准数据确定激活值范围并适当缩放。动态量化仅量化权重，而激活在推理期间保持较高精度，并根据运行时观察到的范围动态量化。量化感知训练 (Quantization-Aware Training, QAT)：这种方法在模型预训练或微调期间引入权重转换，允许模型在训练过程中适应低精度表示，通常比 PTQ 产生更高性能，但需要大量计算资源和代表性训练数据。权重共享 (Weight Sharing)：涉及对相似权重进行聚类并共享相同的量化值，减少唯一权重数量，进一步压缩模型。混合精度量化 (Mixed Precision Quantization)：在训练或推理过程中使用不同数值精度的组合（例如 FP16 和 FP32），以在性能和精度之间取得平衡。二值化和三值化 (Binary and Ternary Quantization)：将权重分别量化为两个值（+1 和 -1）或三个值（+1、0 和 -1），是极端的量化形式。显著减小模型尺寸和计算复杂度的同时，精度下降也更明显。
+\begin{equation}
+    q = \text{round}\left(\frac{r - r_{\text{min}}}{s}\right)
+\end{equation}
 
-不同的量化级别（如 INT8 和 INT4）对模型性能和资源消耗影响不同。一般来说，更低的量化级别（例如从 INT8 到 INT4）可以进一步减少模型大小并提高推理速度，但通常会导致更大精度损失。INT8 量化通常被认为是性能和精度之间的良好折衷方案，可在保持较高模型准确性的同时，显著降低内存占用和提高推理速度。INT4 量化更为激进，可实现更高压缩率和更快速度，但通常伴随更明显精度下降，更适用于对资源限制非常严格但对精度要求相对较低的场景。选择合适的量化技术和级别需要在模型大小、推理速度和精度之间进行权衡，通常取决于具体应用场景和硬件条件。
+其中，$q$ 是量化后的整数值，$r$ 是原始浮点值，$r_{\text{min}}$ 是浮点值的最小值，$s$ 是量化比例因子（scale factor）。反量化过程则可以表示为：
+
+\begin{equation}
+    \hat{r} = s \cdot q + r_{\text{min}}
+\end{equation}
+
+其中，$\hat{r}$ 是反量化后的浮点值，通常与原始值 $r$ 存在一定的量化误差 $\epsilon = r - \hat{r}$。
+
+这种转换显著降低了存储模型所需的内存空间，并且由于低精度运算通常比高精度运算更快，因此可以提高模型的推理速度。此外，更快的计算和减少的内存访问通常会降低功耗，这对于电池供电的设备尤其重要。
+
+模型量化有多种不同的技术，主要可分为以下几类：
+
+\textbf{训练后量化 (Post-Training Quantization, PTQ)}：这种方法在模型完成训练后应用量化，将模型权重从浮点表示转换为低精度定点整数，无需重新训练。对于权重 $W$ 的线性量化可表示为：
+
+\begin{equation}
+    W_q = \text{round}\left(\frac{W - W_{\text{min}}}{s_W}\right), \quad s_W = \frac{W_{\text{max}} - W_{\text{min}}}{2^n - 1}
+\end{equation}
+
+其中，$W_q$ 是量化后的权重，$n$ 是量化位数（如 INT8 中的 8），$s_W$ 是量化比例因子。PTQ 实现简单快捷，但可能导致一定性能下降。PTQ 可进一步分为静态量化和动态量化。静态量化在量化时使用校准数据确定激活值范围并适当缩放。动态量化仅量化权重，而激活在推理期间保持较高精度，并根据运行时观察到的范围动态量化。
+
+\textbf{量化感知训练 (Quantization-Aware Training, QAT)}：这种方法在模型预训练或微调期间引入权重转换，允许模型在训练过程中适应低精度表示。在前向传播过程中，QAT 使用量化操作的可微分近似：
+
+\begin{equation}
+    \tilde{W} = W + \text{stop\_gradient}(\text{fake\_quant}(W) - W)
+\end{equation}
+
+其中，$\text{fake\_quant}$ 是量化-反量化操作，$\text{stop\_gradient}$ 确保梯度不通过量化操作传播。QAT 通常比 PTQ 产生更高性能，但需要大量计算资源和代表性训练数据。
+
+\textbf{权重共享 (Weight Sharing)}：涉及对相似权重进行聚类并共享相同的量化值，减少唯一权重数量，进一步压缩模型。对于 $k$ 个聚类中心 $C = \{c_1, c_2, \ldots, c_k\}$，权重 $W$ 被映射到最近的聚类中心：
+
+\begin{equation}
+    W_q = \arg\min_{c \in C} ||W - c||^2
+\end{equation}
+
+\textbf{混合精度量化 (Mixed Precision Quantization)}：在训练或推理过程中使用不同数值精度的组合（例如 FP16 和 FP32），以在性能和精度之间取得平衡。
+
+\textbf{二值化和三值化 (Binary and Ternary Quantization)}：将权重分别量化为两个值（+1 和 -1）或三个值（+1、0 和 -1），是极端的量化形式。二值化可表示为：
+
+\begin{equation}
+    W_b = \text{sign}(W) = \begin{cases}
+        +1, & \text{if } W \geq 0 \\
+        -1, & \text{if } W < 0
+    \end{cases}
+\end{equation}
+
+这些极端量化形式显著减小模型尺寸和计算复杂度的同时，精度下降也更明显。
+
+不同的量化级别（如 INT8 和 INT4）对模型性能和资源消耗影响不同。一般来说，更低的量化级别（例如从 INT8 到 INT4）可以进一步减少模型大小并提高推理速度，但通常会导致更大精度损失。量化误差可以通过以下方式进行分析：
+
+\begin{equation}
+    \epsilon = W - \hat{W} = W - (s_W \cdot W_q + W_{\text{min}})
+\end{equation}
+
+其中，$\epsilon$ 是量化误差，$W$ 是原始权重，$\hat{W}$ 是反量化后的权重。对于均匀分布的权重，量化误差的方差可以近似为：
+
+\begin{equation}
+    \text{Var}(\epsilon) \approx \frac{s_W^2}{12}
+\end{equation}
+
+这表明量化比例因子 $s_W$ 越大，量化误差也越大。对于 $n$ 位量化，内存占用和原始 32 位浮点表示相比可以减少：
+
+\begin{equation}
+    \text{内存减少比例} = \frac{32 - n}{32} \times 100\%
+\end{equation}
+
+例如，8 位量化可以减少 75\% 的内存占用，而 4 位量化可以减少 87.5\% 的内存占用。
+
+INT8 量化通常被认为是性能和精度之间的良好折衷方案，可在保持较高模型准确性的同时，显著降低内存占用和提高推理速度。INT4 量化更为激进，可实现更高压缩率和更快速度，但通常伴随更明显精度下降，更适用于对资源限制非常严格但对精度要求相对较低的场景。选择合适的量化技术和级别需要在模型大小、推理速度和精度之间进行权衡，通常取决于具体应用场景和硬件条件。
 
 \subsection{QLoRA 微调方法}
 QLoRA（Quantization-aware Low-Rank Adaptation）是一种高效微调大型语言模型（LLMs）的方法，它结合了量化和低秩自适应技术，旨在在资源受限的情况下实现与全精度微调相当的性能。QLoRA 的主要原理是在微调过程中冻结预训练 LLM 的权重并将其量化为 4 位精度，然后引入少量可训练的低秩适配器（Low-Rank Adapters, LoRA）。微调期间，梯度通过冻结的 4 位量化预训练语言模型反向传播到这些低秩适配器中。
@@ -98,4 +167,4 @@ Unsloth 的主要特点和优势包括：加速微调：能够将 LLM（如 Llam
 
 Gradio 是一个开源 Python 包，允许用户快速构建机器学习模型、API 或任何任意 Python 函数的演示或 Web 应用程序。用户可以使用 Gradio 的内置共享功能在几秒钟内分享其演示或 Web 应用程序的链接。该框架无需 JavaScript、CSS 或 Web 托管经验。
 
-Gradio 的主要功能包括：快速简便设置：通过 pip 安装，在项目中添加几行代码即可创建 Gradio 界面。与任何 Python 库无缝使用：只要用户能编写 Python 函数，Gradio 即可运行。展示和共享：可嵌入 Python 笔记本或作为网页呈现。Gradio 界面可自动生成公共链接，方便用户与同事共享，使其能远程与用户计算机上的模型交互。永久托管：创建界面后，可永久托管在 Hugging Face Spaces 上，Hugging Face 将在服务器上托管界面并提供共享链接。使用 gr.Interface 构建演示：gr.Interface 是高级类，旨在为接受一个或多个输入并返回一个或多个输出的机器学习模型创建演示。它接受三个核心参数：`fn`：要包装用户界面的函数，通常是机器学习模型的预测函数；`inputs`：用于输入的 Gradio 组件，数量应与函数参数数量匹配；`outputs`：用于输出的 Gradio 组件，数量应与函数返回值数量匹配。使用 gr.Blocks 构建自定义演示：对于更可定制的布局和数据流，Gradio 提供使用 gr.Blocks 类的低级方法。Blocks 支持控制组件显示位置、处理多个数据流和更复杂交互（例如输出作为其他函数输入），以及根据用户交互更新组件属性/可见性。使用 gr.ChatInterface 构建聊天机器人：包含高级类 gr.ChatInterface，专用于创建聊天机器人 UI。用户提供函数，Gradio 将创建功能齐全的聊天机器人 UI。Gradio Python 和 JavaScript 生态系统：不仅是 UI 库，更是通过 UI 和 API 与机器学习模型交互的框架，在性能、安全性、响应能力方面提供强大保证。包含用于以编程方式在 Python 或 JavaScript 中构建或查询机器学习应用的完整 Python 和 JavaScript 库生态系统。Gradio Sketch：无需代码即可构建 Gradio 应用，只需在终端中键入 `gradio sketch` 即可打开编辑器，允许用户通过 Web 编辑器定义和修改组件、调整布局、添加事件。流式输出：通过使用 `yield` 语句的简单 Python 生成器提供流式传输，支持令牌到令牌的文本生成流式传输、逐步图像生成更新，甚至通过 HTTP Live Streaming (HLS) 协议实现流畅音频/视频流式传输。Gradio 框架的主要优势在于其易用性、灵活性以及与机器学习生态系统的强大集成，使其成为构建和共享机器学习模型演示的理想选择。
+Gradio 的主要功能包括：快速简便设置：通过 \texttt{pip} 安装，在项目中添加几行代码即可创建 Gradio 界面。与任何 Python 库无缝使用：只要用户能编写 Python 函数，Gradio 即可运行。展示和共享：可嵌入 Python 笔记本或作为网页呈现。Gradio 界面可自动生成公共链接，方便用户与同事共享，使其能远程与用户计算机上的模型交互。永久托管：创建界面后，可永久托管在 Hugging Face Spaces 上，Hugging Face 将在服务器上托管界面并提供共享链接。使用 \texttt{gr.Interface} 构建演示：\texttt{gr.Interface} 是高级类，旨在为接受一个或多个输入并返回一个或多个输出的机器学习模型创建演示。它接受三个核心参数：\texttt{fn}：要包装用户界面的函数，通常是机器学习模型的预测函数；\texttt{inputs}：用于输入的 Gradio 组件，数量应与函数参数数量匹配；\texttt{outputs}：用于输出的 Gradio 组件，数量应与函数返回值数量匹配。使用 \texttt{gr.Blocks} 构建自定义演示：对于更可定制的布局和数据流，Gradio 提供使用 \texttt{gr.Blocks} 类的低级方法。Blocks 支持控制组件显示位置、处理多个数据流和更复杂交互（例如输出作为其他函数输入），以及根据用户交互更新组件属性/可见性。使用 \texttt{gr.ChatInterface} 构建聊天机器人：包含高级类 \texttt{gr.ChatInterface}，专用于创建聊天机器人 UI。用户提供函数，Gradio 将创建功能齐全的聊天机器人 UI。Gradio Python 和 JavaScript 生态系统：不仅是 UI 库，更是通过 UI 和 API 与机器学习模型交互的框架，在性能、安全性、响应能力方面提供强大保证。包含用于以编程方式在 Python 或 JavaScript 中构建或查询机器学习应用的完整 Python 和 JavaScript 库生态系统。Gradio Sketch：无需代码即可构建 Gradio 应用，只需在终端中键入 gradio sketch 即可打开编辑器，允许用户通过 Web 编辑器定义和修改组件、调整布局、添加事件。流式输出：通过使用 \texttt{yield} 语句的简单 Python 生成器提供流式传输，支持令牌到令牌的文本生成流式传输、逐步图像生成更新，甚至通过 HTTP Live Streaming (HLS) 协议实现流畅音频/视频流式传输。Gradio 框架的主要优势在于其易用性、灵活性以及与机器学习生态系统的强大集成，使其成为构建和共享机器学习模型演示的理想选择。