docs(paper): 完善技术术语的英文全称和缩写

在介绍章节中补充了大语言模型相关技术术语的英文全称,包括RAG、SLM、DAPT等,提高论文的专业性和可读性
This commit is contained in:
carry 2025-05-29 13:10:35 +08:00
parent 50a33561f4
commit 9aff1875e2

View File

@ -13,11 +13,11 @@
\subsection{国内外研究现状}
\subsubsection{大语言模型微调研究现状}
大语言模型微调研究在国内外均呈现快速发展态势。在国内智源研究院与TeleAI联合开发的"悟道·天鹰"系列模型代表了重要进展其520亿参数版本的开源显著促进了国内AI社区发展。这些模型在部分中英文基准测试中表现出与Llama3-70B和GPT-4相当甚至更优的性能。为解决"幻觉"问题智源研究院开发的BGE系列向量模型通过检索增强生成RAG技术有效提升了模型准确性。
大语言模型微调研究在国内外均呈现快速发展态势。在国内智源研究院与TeleAI联合开发的"悟道·天鹰"系列模型代表了重要进展其520亿参数版本的开源显著促进了国内AI社区发展。这些模型在部分中英文基准测试中表现出与Llama3-70B和GPT-4相当甚至更优的性能。为解决"幻觉"问题智源研究院开发的BGE系列向量模型通过检索增强生成Retrieval-Augmented GenerationRAG技术有效提升了模型准确性。
国内外研究均呈现出对小型语言模型SLM的高度关注。SLM在计算资源需求和训练成本方面具有明显优势表明经过领域特定微调的SLM在特定任务上可超越更大的通用模型。清华大学、北京大学和中国科学院等机构在LLM研究中发挥重要作用其应用范围从古籍数字化到医学研究等多个领域。
国内外研究均呈现出对小型语言模型Small Language ModelSLM的高度关注。SLM在计算资源需求和训练成本方面具有明显优势表明经过领域特定微调的SLM在特定任务上可超越更大的通用模型。清华大学、北京大学和中国科学院等机构在LLM研究中发挥重要作用其应用范围从古籍数字化到医学研究等多个领域。
国际研究重点关注长输出大语言模型及其生成连贯长文本的能力。研究人员广泛探索了参数知识适应如DAPT、IT、PL和模型编辑和半参数知识适应如RAG和基于Agent的系统等技术以在保留通用知识的同时提高特定任务性能。研究发现即使少量监督微调数据也能有效激活预训练模型中的知识。
国际研究重点关注长输出大语言模型及其生成连贯长文本的能力。研究人员广泛探索了参数知识适应如Domain-Adaptive Pre-Training (DAPT)、Instruction Tuning (IT)、Prompt Learning (PL)和模型编辑和半参数知识适应如RAG和基于Agent的系统等技术以在保留通用知识的同时提高特定任务性能。研究发现即使少量监督微调数据也能有效激活预训练模型中的知识。
尽管取得进展,微调研究仍面临诸多挑战。国内主要挑战包括模型创新不足、高质量训练数据稀缺以及"幻觉"问题限制了模型在高精度应用中的可靠性。国际上长输出LLM面临高质量长序列数据缺乏和连贯性维持困难等问题同时大模型的高计算成本也推动了对更高效模型的需求。