> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2308.12032 |
> | Code & Data | https://github.com/tianyi-lab/Cherry_LLM |
> | Public      | NAACL |
> | Date        | 2024.04.07 |


# Summary Overview

在大型语言模型领域，指令数据质量和数量之间的平衡已成为焦点。认识到这一点，我们为LLM引入了一种自引导方法，可以从大量开源数据集中自主识别和选择樱桃样本，从而有效地最大限度地减少手动管理和调整LLM指令的潜在成本。我们的关键创新是指令遵循难度 (IFD) 指标，它是识别模型预期响应与其自主生成能力之间差异的关键指标。通过IFD的熟练应用，精确定位樱桃样本，模型训练效率显着提升。对 Alpaca 和 WizardLM 等数据集的实证验证支撑了我们的发现；只需传统数据输入的 10%，我们的策略就展示了改进的结果。这种自我引导的挑选和 IFD 指标的综合标志着法学硕士优化的变革性飞跃，有望实现效率和资源意识的进步。

# Main Content

传统上，指令调整主要依赖于积累大量数据集。 LIMA的一项开创性启示强调了指令调整的艺术：决定模型性能的不是数据量，而是数据质量。 LIMA 的研究结果强调，即使是有限数量的手动管理的高质量数据也可以提升模型的指令遵循能力。虽然它强调了数据过剩的有效性，但如何从浩瀚的可用数据集中自动识别高质量数据的问题仍在研究中。

我们建议选择具有中等 IFD 分数的样本进行指令调整，因为这可以在解决挑战性问题和避免冗余之间取得平衡。

**Contributions:**

1. 我们提出了一种自我引导的方法，使模型能够从大量的开源数据集中自主地“选择樱桃数据”。这项创新最大限度地减少了手动管理并优化了现有数据资源的使用，从而降低了成本并简化了培训。
2. 我们引入指令遵循难度（IFD）指标作为工具来识别模型响应与其自主生成能力之间的差距。使用 IFD 指标，我们可以精确定位这些樱桃样本，从而优化模型训练效率。
3. 在 Alpaca 和 WizardLM 等数据集验证的支持下，我们的策略仅用 10% 的典型数据输入就展示了增强的结果，强调了我们方法的效率和变革性影响。
4. 我们提供了不同的特定于模型的视图来衡量新指令的难度，这可能有利于未来的指令数据生成工作。


![image.png](/static/img/02dfbfa43b702a017edb9b41409d1a35.image.png)

在指令调整过程中，样本对$(Q,A)$的损失是通过给定在指令$Q$及其后续单词的情况下连续预测下一个标记来计算的:
$$
L_\theta(A|Q)=-\frac1N\sum_{i=1}^N\log P(w_i^A|Q,w_1^A,w_2^A,\ldots,w_{i-1}^A;\theta)
$$

Conditioned Answer Score:
$$
s_\theta(A|Q)=L_\theta(A|Q)
$$

较高的$s_\theta(A|Q)$并不意味着指令更难遵循，这可能只是字符串$A$本身的固有因素造成的。为了估计遵循给定样本的说明的难度，引入

Direct Answer Score:
$$
s_\theta(A)=-\frac{1}{N}\sum_{i=1}^{N}\log P(w_i^A|w_1^A,\ldots,w_{i-1}^A;\theta)
$$

Instruction-Following Difficulty (IFD):
$$
\mathrm{IFD}_\theta(Q,A)=\frac{s_\theta(A|Q)}{s_\theta(A)}
$$
在这种情况下，LLM固有的对答案串的拟合能力的影响得到了部分缓解。该分数衡量给定指令如何有利于相应响应的一致性的程度。高 IFD 分数表明模型无法将响应与给定的相应指令对齐，这反过来又表明指令的难度。

这项研究阐明了利用LLM的固有能力来选择适合模型的高质量指令调整数据的潜力。通过我们创新的自我引导方法，LLM展示了辨别和挑选最相关的数据样本的能力，我们将这一概念恰当地称为“樱桃数据”。我们方法的核心是指令遵循难度指标，这是一种善于衡量模型自主输出和预期响应之间细微差别的新颖工具。我们的研究结果不仅强调了数据质量比数量更重要，而且还强调了具有成本效益和简化的LLM训练的潜力。

## Related Work

### Data-driven Instruction Tuning
以前的指令调优集合通常是手工制作的或与任务相关的（Khashabi et al., 2020; Ye et al., 2021; Wei et al., 2022; Wang et al., 2022a; Du et al., 2022; Honovich et al. ., 2023), (Wang et al., 2023b) 利用 GPT3 (Brown et al., 2020) 生成 52k 条与每个任务不直接相关的不同指令，这为通过从教师中提取来生成指令数据集铺平了道路楷模。 Meta LLaMA（Touvron et al., 2023a）发布后，世界见证了开源指令调优数据集和 LLM 的激增。
### Coreset Selection
核心集选择在机器学习中至关重要，旨在识别数据点的代表性子集，以加快各种模型的学习。这种方法在 SVM 学习 (Tsang et al., 2005)、k-means (Har-Peled and Kushal, 2005)、逻辑回归 (Munteanu et al., 2018) 中发挥了作用。然而，这些方法主要关注传统机器模型。

在神经网络训练中，最近的进展，例如 Toneva 等人的进展。 （Toneva 等人，2018），探索训练期间数据点效用的动态。他们发现很少被遗忘的点对最终模型精度的影响最小。曼希·保罗等人。 （Paul 等人，2021）证明，在各种权重初始化上平均的预期损失梯度范数分数可以有效地修剪训练数据，而不会显着影响准确性。索伦·明德曼等人。 (Mindermann et al., 2022) 使用贝叶斯概率论来估计训练点对保留损失的个体影响，从而提高训练效率。

这些工作的共同点是关注传统的培训机制。我们的研究重点是优化指令调整中的核心集选择。与上述方法类似，我们的分数估计依赖于目标模型的特征表示。
### Instruction Data Selection
尽管人们已经达成共识，即指令调优“质量就是你所需要的”（Touvron 等人，2023b），但通过人工管理以外的方式寻找高质量数据仍然是一个尚未充分探索的话题。最近的两篇论文《Instruction Mining》（Cao et al., 2023）和 ALPAGASUS（Chen et al., 2023）提出了弥合这一差距的方法，与我们的工作有着相似的动机。指令挖掘评估各种指标并应用统计回归模型进行数据选择。然而，它缺乏与在完整数据上训练的模型的比较性能分析，并且其方法被认为过于复杂，涉及将数据拆分为多个容器并完全训练模型。相比之下，ALPAGASUS 利用外部的、经过充分训练的 LLM (ChatGPT) 对每个样本进行评分。它选择了9k Alpaca数据，超过了官方用全数据训练的Alpaca。虽然有效，但这种方法可能会忽视基础模型的内在能力，过度依赖外部模型。

相比之下，我们的工作旨在开发一种利用目标模型的表示特征来识别用于指令调整的高质量数据的方法，以更简单、更有效的方法推进该领域的发展。
# Experiments

## Metrics
在评估中，评委对每个模型的响应进行评分，评分范围为 1 到 10，反映相关性和准确性等属性。同时与LIMA类似，进行了模型两两之间的比较：Wins, Tie, Loses

## Datasets

Training Datasets:
- Alpaca dataset
- WizardLM dataset

Test Datasets:
- Vicuna
- Koala
- WizardLM
- Self-instruct
- LIMA
## Baselines
- Alpaca
- WizardLM
## Results

![image.png](/static/img/2613aaa84f503c5cfbf5c230a8d7a312.image.png)

将我们在选定数据上训练的模型与完整数据进行比较。 (a) 我们使用 5% Alpaca 数据的模型与官方 Alpaca 模型的比较。 (b) 具有 10% WizardLM 数据的模型与重新实现的 WizardLM 模型之间的比较。 (a)和(b)都使用GPT4作为判断。每个水平条代表特定测试集中的比较。

我们画出随数据增长的总体胜率变化，计算公式为 (Num(Win)−Num(Lose))/Num(All) +1，

![image.png](/static/img/520462ea6e64d57e7e8477d3e55806cf.image.png)
与相应的全数据模型相比，获胜分数随着数据增长而变化。获胜分数的计算方式为(Num(Win)−Num(Lose))/Num(All) +1。获胜次数、失败次数和全部次数是在我们使用的所有五个测试集上计算的。当该值高于 1.0 时，表示该模型的性能优于对比模型。该图中的比较是由 ChatGPT 执行的。

![image.png](/static/img/eff12cd01f42d6d1a9a50b0bcec5a355.image.png)
将使用不同数据选择策略的模型与官方 Alpaca 模型进行比较，总体获胜分数随数据增长而变化。图中所有的比较都是由ChatGPT进行的。

![image.png](/static/img/7d00ff31bb1e1ad4c6755e5ef3406e49.image.png)

我们目标是确定基于 IFD 分数选择的数据是否与高质量训练数据的已知特征相符。从得分最高 5% 和最低 5% 的数据中随机抽取 100 个实例。利用 ChatGPT，我们从六个方面评估每条指令：范围、复杂性、清晰度、深度、简单性和所需知识。

![image.png](/static/img/fb3de6109bb273a7f3433b0df6930b9a.image.png)

- **Scope**: 该说明涵盖了成功完成所需的行动或信息的广度和范围。
- **Complexity**: 该说明集成了需要仔细注意和理解的多个步骤或概念。
- **Clarity**: 该说明清晰明了，确保易于理解，没有歧义。
- **Depth**: 该说明提供了详尽的细节和细微差别，确保全面了解手头的任务。
- **Simplicity**: 该说明虽然详尽，但避免了不必要的术语或晦涩难懂，使其易于理解和遵循。
- **Knowledge Required**: 该指令确认并在必要时提供用户成功执行所需的基础知识或上下文。

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   此论文的主要创新在于提出了一种自我引导的数据选择方法，用以优化大型语言模型（LLM）在指令调优过程中的数据使用。论文引入的关键创新是指令遵循难度（Instruction-Following Difficulty, IFD）度量标准，用以识别模型预期响应与其自动生成能力之间的差异。该方法通过自我引导过程，在大量开源数据集中自动识别出对LLM指令调优尤为有效的数据样本（称为"樱桃数据"）。这种方法的独特性在于其强调数据质量而非数量，不同于依赖外部模型进行数据策划的现有技术。通过对Alpaca和WizardLM数据集的实验验证，使用仅10%的传统数据输入量，该策略展示了更优的结果。

2. 论文中存在的问题及改进建议：
   - 问题：尽管IFD标准在识别高质量训练数据方面表现出色，但这一方法在训练预体验模型时存在不便，可能使得在实际应用场景中直接应用该方法变得困难。
   - 改进建议：考虑简化预体验模型的训练过程，或探索不需要预体验模型的替代方案。可以考虑使用更先进的无监督学习技术来评估和选择训练数据，以减少对预体验模型的依赖。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - 研究路径一：探索IFD度量在不同类型的语言模型中的应用和有效性，例如将IFD应用于小型或特定领域的语言模型。
   - 研究路径二：开发一种基于元学习的框架，使得LLMs能够在接受新任务时自我调整IFD参数，进一步提高模型在新领域或新任务上的适应性和效率。
   - 研究路径三：利用强化学习方法优化IFD度量标准，允许模型在选择训练数据时考虑长期效益而非仅仅基于当前性能指标。

4. 为新的研究路径制定的研究方案：
   - 研究方案一：将IFD度量应用于多种类型的语言模型，如基于Transformer的小型模型和特定领域的模型，评估IFD在这些环境下的效果，并调整IFD计算方式以适应不同模型的特性。
   - 研究方案二：设计一个元学习系统，训练LLMs以自动调整IFD参数，针对新任务和数据进行优化。研究包括：元学习算法的选择和调整、新任务适应性的评估、以及在多任务学习环境中的表现。
   - 研究方案三：采用强化学习技术来优化IFD度量的制定，使模型在选择训练数据时考虑到长期的学习效果。这将包括设计适合的奖励机制、强化学习算法的选择和调整，以及在不同数据集上的实验验证。
:::

# Others

[NAACL-2023] From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2307.06962 |
> | Code & Data | https://github.com/gmftbyGMFTBY/Copyisallyouneed |
> | Public      | ICLR |
> | Date        | 2024.04.07 |


# Summary Overview

主要文本生成模型通过固定词汇表中顺序选择单词来组成输出。在本文中，我们将文本生成表述为从现有文本集合中逐步复制文本段（例如单词或短语）。我们计算有意义的文本片段的上下文表示，并使用高效的向量搜索工具包对它们进行索引。然后，文本生成的任务被分解为一系列复制和粘贴操作：在每个时间步骤，我们从文本集合中寻找合适的文本范围，而不是从独立的词汇表中进行选择。

# Main Content

**CoG** (COPY-GENERATOR): 在每个解码步骤中，都会从离线索引中检索合适的短语并将其附加到当前前缀。换句话说，传统神经语言模型的下一个标记预测被一系列复制粘贴操作代替。

Advantages:
1. 选择特定上下文中的短语，而不是固定词汇表中的独特标记。它可能允许更准确的候选代表和选择。
2. 无需训练即可适应新的数据源，因为文本集合可以即插即用的方法更新。它可以使领域适应和数据扩展/过滤等应用场景受益。
3. 允许多个标记的序列（即多词短语）在一个步骤内生成。它可以减少解码步骤的总数，从而提高推理效率。

Contributions:
1. 提出了 COG，一种将文本生成任务重新表述为一系列现有文本集合的复制和粘贴操作的方法。
2. 证明COG 在现有语言建模基准上可以优于标准神经语言模型基线。
3. 证明 COG 允许无需训练即可适应更大的文本集合和特定领域的文本集合。

![image.png](/static/img/d7945ed88b637cc818bae9f28477b9a9.image.png)

无条件文本生成(Uncoditional text generation)或语言建模(Language modeling)旨在生成给定前缀的连贯文本延续。

计算下一个token为$w$的概率为
$$
p_\theta(x_i=w|x_{<i})=\frac{\exp(v_w\cdot h_i)}{\sum_{w\in V}\exp(v_w\cdot h_i)}
$$

CoG工作流程：

假设一组原文档$\{D^1,\cdots,D^n\}$可用。对于每个文档$D^i$，可以提取长度为$e-s+1$的短语$k=D^i_{s:e}$，其中$s$和$e$标记短语在文档中的开始和结束位置。我们将源文本集合中的所有短语表示为$\mathcal{P}$。对于给定的前缀$x_{<i}$，目标是选择可以在前缀之后形成连贯文本延续的最佳短语。为此，使用短语编码器(Phrase Encoder)计算每个短语$p_k\in\mathbb{R}^d=\text{PhraseEncoder}(s,e,D^i)$的上下文表示。这样就可以构造一个短语表$\{(k,p_k)|k\in\mathcal{P}\}$。与传统语言模型类似，在测试时，CoG也采用前缀编码器将前缀$x_{<i}$映射为向量表示$q_i$。然后，短语$k$对前缀$x_{<i}$的适合度通过其向量表示$p_k$和$q_i$的点积来衡量：
$$
p(k|x_{<i})\propto\exp(p_k\cdot q_i)
$$

**Prefix Encoder:**

$$
\mathcal{H}_{i+1}=\text{PrefixEncoder}(x_i,\mathcal{H})
$$

**Phrase Encoder:**

给定一组源文档$\{D^1,\cdots,D^n\}$，短语编码器计算文档中所有短语的向量表示。对于文档$D=D_1,\cdots,D_m$，首先使用bidirectional Transformer来获得上下文化的令牌表示$\mathcal{D}\in\mathbb{R}^{m\times d_t}$，其中$d_t$是令牌表示的维度。然后，应用两个$\text{MLP}$模型$\text{MLP}_{\text{start}}$和$\text{MLP}_{\text{end}}$。将$\mathcal{D}$分别转换为开始和结束标记表示$\mathcal{D}_{\text{start}},\mathcal{D}_{\text{end}}\in\mathbb{R}^{m\times\frac{d}{2}}$

$$
\mathcal{D}_{\text{start}}=\text{MLP}_{\text{start}}(\mathcal{D}),\mathcal{D}_{\text{end}}=\text{MLP}_{\text{end}}(\mathcal{D})
$$

对于文档从$s$开始到$e$结束的每个短语$D_{s:e}$，我们使用相应的开始和结束向量的串联作为短语表示。

$$
\text{PhraseEncoder}(s,e,D)=[\mathcal{D}_{\text{start}}[s];\mathcal{D}_{\text{end}}[s]]\in\mathbb{R}^d
$$

上述方法的优点是：
1. 我们只需要对文档进行一次编码即可获得所有短语表示
2. 只需要存储所有的标记表而不是所有的短语表示

通过InfoNCE损失来定义下一个短语预测的训练损失：

$$
\mathcal{L}_p=-\frac1n\sum_{k=1}^n\log\frac{\exp(q_k\cdot p_k)}{\sum_{p\in\mathcal{P}_k}\exp(q_k\cdot p_p)+\sum_{w\in V}\exp(q_k\cdot v_w)}
$$

此外，为了保留令牌级生成的能力，我们还使用标准令牌级自回归损失来训练 COG。

$$
\mathcal{L}_t=-\frac1m\sum_{i=1}^m\log\frac{\exp(q_i,v_{D_i})}{\sum_{w\in V}\exp(q_i,v_w)}
$$

$$
\mathcal{L}=\mathcal{L}_p+\mathcal{L}_t
$$

在本文中，我们将文本生成重新表述为从大量文本集合中逐步复制短语。在这种形式化之后，我们提出了一种新颖的神经文本生成模型，名为 COG，它通过从其他文档中检索语义连贯且流畅的短语来生成文本。实验结果证明了 COG 相对于标准语言建模 (WikiText-103)、领域适应 (Law-MT) 和扩大短语索引 (En-Wiki) 三个实验设置的强大基线的优势。

## Related Work

**Dense Retrieval:**

密集检索技术（Karpukhin et al., 2020）已广泛应用于许多下游 NLP 任务，例如开放域问答（Karpukhin et al., 2020; Lee et al., 2021）、开放域对话系统（Lan 等人，2021）和机器翻译（Cai 等人，2021）。与传统的稀疏检索系统（例如 BM25 和 TF-IDF（Robertson & Zaragoza，2009））不同，密集检索学习查询和文档的共享向量空间，其中相关的查询和文档对具有更小的距离（即更高的相似性） ）比不相关的对。与我们的研究最密切相关的工作是 DensePhrase (Lee et al., 2021)。 DensePhrase 将问答任务重新表述为短语检索问题，其中直接检索短语并作为事实问题的答案返回。不同的是，我们的工作旨在通过多轮短语检索生成连贯的文本延续。由于在文本生成任务中两个相邻短语之间的连接必须连贯且流畅，因此难度要大得多。

# Experiments

## Metrics

- **MAUVE**：一种高效、可解释、实用的自动评估，与人类判断高度一致，广泛用于评估现代文本生成模型。在本文中，MAUVE利用GPT2large模型来生成分数，缩放因子设置为2.0。
- **Rep-n**：将序列级重复测量为生成文本中重复 n 元语法的部分。对于生成文本 x，Rep-n 可以表示为：$100\times(1.0-\frac{|\mathrm{unique~n-gram(x)}|}{|\mathrm{total~n-gram(x)}|}).$。较高的Rep-n表示生成的严重的退化问题。
- **Diversity**：衡量世代的多样性，其公式为$\Pi_{n=2}^4(1-\frac{\text{Rep}-n}{100}))$。多样性得分较高的生成通常信息更丰富。

## Datasets

- WikiText-103

## Baselines

- Transformer
- kNN-LM
- RETRO

## Results

![image.png](/static/img/94a34b1900e95e3a2416eea3c2917cee.image.png)

![image.png](/static/img/676c01612074f93b0c8b8108f52c186a.image.png)

![image.png](/static/img/ea9ea3465c3a08b29153ea038b9cfaf9.image.png)

## Case Study

![image.png](/static/img/2ed8e444913f0a88a6ea694c83a63d18.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   本文所研究的论文《Copy Is All You Need》中，提出了一种名为COG的新型文本生成模型，将文本生成任务重新定义为从现有文本集合中逐步复制文本片段（如单词或短语）。此模型的创新点在于它通过使用有效的向量搜索工具来计算有意义文本片段的上下文化表示，并索引它们，而不是从固定词汇表中选择单词。这种方法不仅提高了生成质量（根据自动和人类评估），还使得推理效率与令牌级自回归模型相当。此外，该模型允许通过简单切换到特定领域的文本集合来进行有效的领域适应，无需额外训练，这为文本生成提供了新的视角和技术路径。

2. 论文中存在的问题及改进建议：
   一方面，尽管COG模型在实验中显示出较强的性能，但其对文本片段的选择和组合仍可能导致语义上的不连贯或不精确。例如，从其他文档复制的短语可能与当前上下文不完全吻合，导致生成文本的一些部分显得生硬或不连贯。另一方面，COG在处理长篇文本时可能面临挑战，因为它需要在大量的文本片段中进行有效搜索。对此，建议进一步优化短语编码器的设计，使其能更好地理解和预测上下文中的短语，以及探索更高效的搜索算法来处理大规模文本片段集合。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **跨语言文本生成**：探索COG模型在跨语言文本生成中的应用，例如在给定一种语言的上下文中生成另一种语言的文本，这可能涉及对不同语言文本片段的有效索引和选择。
   - **个性化文本生成**：使用COG模型进行个性化文本生成，如根据用户的历史数据和偏好来生成定制内容，这要求模型能够理解和适应不同用户的独特风格和需求。
   - **多模态文本生成**：结合COG模型与视觉或声音数据，探索生成与图像或音频相关联的文本，如图像描述或自动字幕生成，这要求模型能处理不同模态的数据并将它们有效融合。

4. 为新的研究路径制定的研究方案：
   - **跨语言文本生成**：
     - 研究方法：开发一种跨语言的短语索引系统，同时提升模型在不同语言上下文中选择恰当短语的能力。
     - 研究步骤：首先构建一个包含多种语言的大规模文本数据库；其次，训练模型学习跨语言的短语表示；然后进行跨语言文本生成的实验，并评估其效果。
     - 期望结果：生成的文本不仅在语法上正确，而且能够跨语言地传达准确的信息和情感。

   - **个性化文本生成**：
     - 研究方法：整合用户数据，以培养模型对个体偏好和风格的敏感性。
     - 研究步骤：收集用户数据，如历史文本和反馈；基于这些数据训练模型；测试模型在不同用户数据上的表现。
     - 期望结果：模型能够根据用户的历史交互生成个性化、相关性强的文本内容。

   - **多模态文本生成**：
     - 研究方法：融合视觉或声音数据处理技术，使模型能够理解并结合来自不同模态的信息。
     - 研究步骤：首先，开发一种多模态数据处理框架；其次，训练模型处理和理解视觉或音频数据；最后，进行多模态文本生成实验。
     - 期望结果：模型能生成准确描述图像或音频内容的文本，并保持文本的流畅性和连贯性。
:::

# Others

[ICLR-2023] Copy Is All You Need

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2403.03187 |
> | Code & Data | / |
> | Public      | ArXiv |
> | Date        | 2024.04.03 |


本文讲述了当前RAG的发展，值得一读。

# Summary Overview

参数语言模型 (Parametric language models, LMs)经过大量网络数据训练，表现出卓越的灵活性和功能。然而，他们仍然面临着幻觉、难以适应新数据分布、缺乏可验证性等实际挑战。在这篇paper中，作者们主张使用检索增强型语言模型来取代参数型语言模型，成为下一代语言模型。通过在推理过程中合并大规模数据存储，检索增强的LM可以更加可靠、适应性强和可归因。尽管具有潜力，但由于一些障碍，检索增强语言模型尚未得到广泛采用：具体来说，当前的检索增强模型很难利用知识密集型任务（例如QA）之外的有用文本，检索和语言模型组件之间的交互有限，并且缺乏扩展的基础设施。为了解决这些问题，我们提出了开发通用增强型语言模型的路线图。这涉及到重新考虑数据存储和检索器、探索改进检索器与LM交互的管道，以及对基础设施进行大量投资以实现高效的训练和推理。

# Main Content
**Weakness of parametric LMs:**
1. the prevalence of factual errors
2. the difficulty of verification
3. difficulty of opting out certain sequences with concerns
4. computationally expensive costs for adaptations
5. prohibitively large model size

与仅在训练期间使用大规模文本数据的参数 LM 不同，检索增强 LM 通过从数据存储中选择相关文档来在推理时利用外部大规模文档集合（数据存储）

1. largely reduce factual errors
2. provide better attributions
3. enabling flexible opt-in and out of sequences
4. easily adapt to new distributions
5. more parameter-efficient

**Challenges in the future:**
1. 现有方法主要利用与输入具有高度语义或词汇相似性的上下文，当公共数据存储中缺少有用的文本或与传统的相关性定义不符合时就会陷入困境。
2. 将检索到的文本添加到最近广泛使用的现成语言模型组件之间的浅层交互。这通常会导致不受支持的生成、对不相关文本的敏感性以及处理来自多个文本片段的信息的挑战。
3. 与parametric LM的高效训练和推理的快速进展不同，大规模提高检索增强LM的训练和推理效率的研究和开源工作有限。

**作者们提出的未来的研究路线:**
1. 为了解决不同任务找到有用文本的挑战，重新考虑相关性概念并加深我们对有效数据存储的构成的理解非常重要，特别是探索应从各种数据存储中检索信息类型更广泛任务的效果
2. 确保两个组件之间更深入交互的方法，包括架构、预训练和训练后适应，而不是专注于现有parametric LM的补充增强
3. 对于扩展的挑战，呼吁在硬件、系统和算法方面进行更多开源和跨学科的努力，以开发用于训练和推理的基础设施（例如，将数据存储扩展至万亿token）

通过探索这些途径，我预计将释放检索增强型LM的全部功能，并将应用扩展到一系列任务和领域。

![image.png](/static/img/222af68025486456fbe6657c33b2ce67.image.png)

## How Far Can We Go with Parametric LMs?

Definition: Parametric LM由一组参数$\theta$组成。给定来自大规模文本数据集$\mathcal{D}_{train}$的输入序列，训练可学习参数$\theta$来预测未来或屏蔽标记的概率。在测试期间，对于输入序列$x$，经过训练的$\theta$预测输出：$y=f_{\theta}(x)$，而无需访问当前任务之外的任何外部数据。

**Weakness of Parametric LMs**
- W1: Factual inaccuracies
    - 试图记住参数内所有学到的知识可能会导致事实不准确（幻觉）。最近的几篇论文报告称，即使是ChatGPT等最先进的LM在其大部分输出中也会表现出幻觉。研究表明，LMs特别难以处理长尾知识（在预训练期间较少代表的事实知识），并且扩展只能带来微笑改进。并且发现在指令调整期间增加合成标记数据可能不会提高模型输出的真实性。
- W2: Difficulty of verifications
    - 不仅LM在生成中表现出了产生幻觉的倾向，而且由于缺乏明确的归属或出处，从业者也很难对他们的输出进行事实核查。强大的LM的输出通常冗长、自信且可信，这使得事后归因或事实验证成为具有挑战性且基本上未解决的任务。
- W3: Difficulty of opting out certain sequences from the datasets
    - 管理大量的预训练数据在识别和过滤具有潜在隐私或受版权保护的数据的训练实例方面提出了相当大的挑战。最近的工作研究了安全工作、遗忘或删除某些数据后对语料库模型进行迭代预训练。然而，缺乏适当的归因使这些努力进一步复杂化，因为追溯和消除特定的训练实例变得非常重要。
- W4: Computationally expensive costs to adapt
    - 在静态未标记文本（即在某一时间从网上手机的文字）上训练Parametric LMs需要持续训练或昂贵的适应新数据分布的过程。例如，他们的参数知识很快就会过时。虽然有几种方法提出查找二号编辑某些过时的知识或进行有效的持续训练从而达到跟上世界的步伐，但这些方法需要额外的计算成本高昂的学习过程。在广泛采用的预训练语料库上进行训练的语言模型通常在新闻文章等通用领域表现良好，但在专家领域表现不佳。先前的工作证明了持续预训练或指令调整的有效性，尽管计算成本相当大并且可能发生灾难性遗忘。
- W5: Prohibitively large model size
    - 大量研究展示了模型扩展对任务效果的积极影响，以及回忆从训练数据中记忆的事实知识的能力。这一趋势促使社区专注于提高模型大小以追求更好的性能，但代价是巨大的。尽管努力提高效率，但托管这些通常超过千亿个参数的大模型依然不切实际。

## How Can Retrieval-Augmented LMs Address These Issues?

Definition: 检索增强LM，通常由两个关键部件组成：检索器$\mathcal{R}$和参数化LM$\theta$。检索器基于数据存储$\mathcal{D}$中的文档构建搜索索引。在推理时间内，给定输入序列$x$，检索器利用索引$\mathcal{I}$。在推理时间内，给定序列$x$，检索器利用索引$\mathcal{I}:z=f_{\mathcal{R},\mathcal{I}}(x)$。随后LM $\theta$使用原始提示和检索到的文本来预测输出$y:t=f_{\theta}(x,z)$。

对检索增强的LM的看法发生了转变，而不是从头开始训练检索增强型LM，一些工作补充性地将检索集成到现有强大的参数化LM之上，而无需任何额外的培训。

![image.png](/static/img/bcf6259b46594fd57f3adabe798379bf.image.png)

**Effectiveness of Retrieval-Augmentede LMs**

- W1: Reduced factual errors in long-tail knowledge.
    - 最近的研究表明，检索增强的LM可以通过明确捕获长尾知识来缓解参数记忆的缺点。因此，检索增强型语言模型可以最大限度地减少幻觉并提高生成输出的真实性。
- W2: Better attributions.
    - 检索增强的LM提供推理期间使用的检索结构$z$，这可以帮助从业者手动检查模型输出的正确性或自动检查模型输出的正确性。另一种验证方法是给定模型输出$y$进行事后归因，检索支持$y$的文档。先前的工作发现检索增强的LM在推理时使用证据提供比事后归因更准确的归因。
- W3: Enabling flexible opt-in of sequences
    - 通过改进的归因和适应性强的数据存储更新，检索的LM为与海量训练数据相关的问题提供了一些有效的解决方案。增强的归因使从业者能够从数据存储中排除特定序列，从而降低逐字生成他们的风险。此外，仅在推理过程中集成数据存储仍然允许检索增强的LM跨未包含在训练数据中的域保持性能。
- W4: Adaptability and customizability
    - 数据存储的分离和可互换性可以更好地定制特定领域、应用程序和时间戳，而无需额外的培训。最近的工作表明，检索增强甚至可以由于在QA下游数据上微调的LM。这种领域适应的有效性也在非知识密集型任务中得到了发现，包括机器翻译。
- W5: Parameter efficiency
    - 通过减轻记忆模型参数中所有知识的负担，检索增强型LM通常表现出强大的参数效率，具有更少参数的检索增强LM可以胜过更大的参数LM。

## Why Haven't Retrieval-Augmented LMs Been Widely Adopted?

**Current State of Retrieval-Augmented LMs**

![image.png](/static/img/e92e7a3e2bd8ccec71dafd11dad07f4e.image.png)

本质上，检索增强的语言模型架构可以分为以下三组:
1. Input augmentation:
   
    输入增强在 LM $\theta$ 的输入空间中使用检索结果$z$增强原始输入$x$并运行标准LM推理。正如 Chen 等人的开创性工作一样，输入增强可以灵活地插入不同模型的检索和 LM 组件。许多广泛采用的模型，包括那些用现成的检索器增强强大的语言模型的模型，大多属于这一类。这种方法的一个显着瓶颈是冗余和低效率。在输入空间中对许多文档进行编码会导致上下文长度窗口限制，并以指数方式增加推理成本。虽然 FiD等一些工作探索并行编码来克服这种低效率，但它仍然对每个输入$x$进行重复编码。
2. Intermediate fusion

    为了以更具可扩展性的方式集成检索结果，RETRO引入了一种新的注意力机制，该机制采用许多独立于查询$x$的预编码文本块，并同时将它们合并到中间空间中。 RETRO++和 InstructRetro证明了该方法在较大的仅解码器LM之上的有效性。然而，中间融合的一个缺点是需要对新编码块进行广泛的架构修改和LM预训练，这可能会限制广泛采用。
3. Output interpolation

    输入增强和中间融合都需要 LM 从其词汇表中生成延续。相比之下，kNN LM使用检索到的令牌分布来插值参数化 LM 令牌分布，而不需要额外的训练。一些工作通过设计新的训练目标或在数据存储中的每个短语上用非参数分布完全替换参数分布来扩展这个方向.b 虽然这些方法经常证明其与语言建模中的输入增强相比的功效，但它们需要比其他两种架构大得多的索引。这是因为需要为数据存储中的所有令牌生成嵌入，从而带来了可扩展性挑战。
    
**Training**

**Independent or sequential training** 独立训练涉及Retriever和LM的单独开发，训练期间没有直接互动。这包括kNN LM等方法，或者最近应用于现成LM和检索系统的RAG等方法。这使得从业者能够利用现有的培训渠道和目标来增强各个组件。IR领域又丰富的文献介绍如何构建可靠且高效的IR系统。经典的基于术语的检索系统，例如TF-IDF或BM25已被广泛使用。最近，神经检索系统例如DPR或CoIBERT，已经表现出了卓越的性能。

然而，对于整个检索增强的LM流程来说，独立训练通常不是最佳选择；例如，未经检索训练的LM很容易被不相关的先前上下文分散注意力。为了缓解这个问题，顺序训练首先训练检索器或LM，然后使用来自第一个训练组件的信号来训练另一个。许多研究使用强大的预训练检索器（例如DPR、搜索引擎或冻结的预训练编码器）来训练LM组件，或者相反，使用来自LM的信号来训练检索器。

**Joint training** 联合训练同时训练 LM 和检索组件，以进一步优化它们的交互和端到端检索增强的 LM 管道。联合训练中的一个显着挑战是在训练期间更新检索器模型和结果索引所产生的大量计算开销。在每个时间步长为数据存储中的数百万或数十亿个文档重复生成嵌入是不切实际的。在合理的资源要求下，有两种方法可以实现此目的：使用更新的参数异步更新数据存储或使用完整数据存储的批处理近似值。异步更新是一种允许索引在更新前经过固定数量的训练步骤变得陈旧的技术，旨在在训练期间使用完整的语料库），就像在推理时间一样。更新频率和计算开销之间需要权衡：为了获得更好的性能，索引应该更频繁地更新。批内近似使用来自同一小批量的训练样本即时构建临时索引，该索引在训练期间充当完整索引的近似值。设计能够提供强训练信号的训练批次需要仔细考虑。

![image.png](/static/img/551b5a0b6243c5de63e2fc5c9af34ba3.image.png)

**Limitations of Current Retrieval-Augmented LMs**
- C1: Limitations of retrievers and datastores
- C2: Limited interactions between retrievers and LMs
- C3: Lack of infrastructure specialized for retrieval-based LMs

## How Can We Further Advance Retrieval-Augmented LMs?
- Rethinking Retrieval and the Datastore
    - Beyond semantic and lexical similarity
    - Reconsidering and improving the datastore
- Enhancing Retriever-LM Interactions
    - New architectures beyond input augmentation
    - Incorporating retrieval during LM pre-training
    - Further adaptation after pre-training
    - Efficient end-to-end training of retrieval-augmented LMs
- Building Better Systems and Infrastructures for Scaling and Adaptation
    - Scalable search for massive-scale datastores
    - Standardization and open-source developments

## Conclusion

本文主张将检索增强型语言模型作为下一代语言模型，以构建更可靠、适应性更强和可归因的智能系统。尽管它们比参数化 LM 有显着的优势，但它们的采用仍然有限。这种限制可能归因于对狭义形式的检索增强的关注，它简单地以事后方式结合现有的检索模型和语言模型来补充参数语言模型。我们概述了在架构、训练方法和基础设施方面从根本上推进检索增强型语言模型的路线图。我们强调跨学科合作努力实现这些进步的重要性。

# Others

[ArXiv-2024] Reliable, Adaptable, and Attributable Language Models with Retrieval

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2402.18191 |
> | Code & Data | https://github.com/IronBeliever/CaR |
> | Public      | ArXiv |
> | Date        | 2024.04.01 |


# Summary Overview

鉴于训练和评估模型需要大量的资源分配，拥有一种有效的方法来选择高质量的 IT 数据是有利的。在本文中，我们提出了一种工业友好型、专家对齐且保留多样性的指令数据选择方法：聚类和排序（Cluster and Ranking, CaR）。

第一步涉及使用与专家偏好非常一致的评分模型对指令对进行排名（准确度达到 84.25%）。第二步涉及通过聚类过程保留数据集多样性。

# Main Content

大型语言模型 (LLM) 通过称为指令调优 (IT) 的过程获得遵循指令的能力（Radford 等人，2019；Brown 等人，2020；Zhang 等人，2023），从而弥合了下一个语言模型之间的差距。 - 单词预测和遵守用户提供的说明。

然而，必须注意的是，自指令框架内的过滤阶段主要关注指令结构的完整性和相似性，无意中忽视了关键的指令质量。

从这个角度来看，Alpagasus（Chen et al., 2023）利用 GPT-3.5 Turbo 过滤了大约 9k 条评级为 4.5 或更高的指令，超越了 Alpaca 的性能。

**Contributions:**
- 我们引入了指令对质量估计（IQE），这是 IT 流程的一个新阶段，旨在利用指令数据集的评估结果来辅助语言模型的实际微调和基准评估，从而减少语言模型的时间和计算费用。 IT 流程中的模型性能验证超过 90%。
- 我们提出了一种新颖的 IT 数据集质量评估范式，该范式独立于外部 API，并且非常符合人类专家的偏好。如表 1 所示，与 GPT-4 Turbo 相比，我们的小型指令对质量评分 (IQS) 模型在符合人类对数据质量的偏好方面实现了 21.05% 的改进。
- 我们提出了 CaR，一种与专家见解相一致并保留多样性的指令选择方法，展示了模型性能和训练效率的显着增强。如图 1 所示，CaR 使用小模型来过滤高质量的指令数据，仅使用 1.96% 的指令子集，在 Alpaca_52k 数据集上实现了超过 Alpaca 约 13.3% 至 32.8% 的平均性能。这意味着培训时间和资源减少了 98%。

**从质量估计到指令对质量估计**

我们的目标是首先使用 IQE 对大量指令进行粗略筛选，然后用最少的数据集细化和选择最佳的 LLM，以降低指令过滤和验证所涉及的总计算费用。

**GPT 作为法官表现出系统偏见 在需要人类偏好的场景中**

研究人员发现GPT-4的评估存在系统性偏差，包括位置偏差、冗长偏差和自我增强偏差。

**教学多样性激发LLMs的多任务能力**

在资源匮乏的情况下，混合来自不同任务的这些指令可以增强LLM的能力。

受到周等人的启发。 （2023），我们首先选择一个确保保留大量高质量指令的子集，然后从每个簇中补充少量高质量指令，以在保持指令质量的同时增强数据的多样性。如图2所示，最初，整个数据集通过IQS模型进行评估，为每个指令对分配一个scorei。随后，采用聚类模型将所有候选指令对聚类成k个聚类。最后，将所有指令对按照得分进行排序，选出前n1对；在每个簇内，指令对按分数排序，并选择前 n2 对。然后通过对 n1+k\*n2 对指令进行重复数据删除来生成具有保留多样性的高质量子数据集。这个精炼的数据集旨在用于 AlpaCaR 的训练。

![image.png](/static/img/7e12642edbfff3ca272c513877750a97.image.png)


![image.png](/static/img/30613dac0a4e4db08da5399a1f95c5ac.image.png)

**Diversity**

混合来自不同任务的训练数据可以提高LLMs跨不同能力的熟练程度。

直观上，通过为每个指令对分配任务标签，我们可以保留与更广泛的任务相关的指令对，从而促进跨任务指令协同并增强模型性能。

为了增强该方法的多功能性，我们选择了基于无监督聚类的方法来保留数据多样性。聚类算法可以识别语义空间中相邻的指令对，并为不同的任务形成簇。此外，这种选择允许有效地适应不同的数据集，而无需在遇到域外指令对时通过形成新的集群来从头开始重新训练。

在聚类方法方面，我们采用k-Means算法。从 SentenceTransformers 模型开始，句子被映射到 384 维密集向量空间。随后，应用 PCA 来降维，同时保留 95% 的主成分。最后，设置簇数为k=pn/2，所有52k指令对被簇为178个簇。通过调整每个簇内指令对的数量来维持指令子数据集的多样性。

尽管 CaR 在多个测试集上表现出色，但其实验仅限于在 Alpaca_52k 数据集上进行过滤。不同开源指令集的不同格式给对指令过滤任务感兴趣的学术界带来了挑战。未来，我们计划在 WizardLM_evol_instruct_70k (Xu et al., 2023) 和 databricks-dolly-15k (Conover et al., 2023) 等数据集上验证 CaR 的有效性。此外，虽然CaR主要用于单轮对话指令过滤，但探索其在多轮对话指令过滤中的应用为未来的研究提供了一个有吸引力的方向。

# Experiments

## Metrics

对于每个样本，判断模型都会输入一条指令和由不同模型生成的两个候选响应，并需要标记哪个响应是获胜者，如果两者都显着突出，则标记为平局。为了解决 LLM 法官偏爱特定职位的潜在偏见，我们通过交换响应顺序对结果进行了两次测试，并根据以下因素定义了最终判决：

- **win**: 获胜两次，或获胜一次平局一次

- **lose**：输两次，或者输一次打平一次

- **ties**：平局两次，或胜一次负一次

$$\text{WS}=1+\frac{\#win-\#lose}{\#all}$$

$$\text{WR}=\frac{\#win}{\#all}$$

$$\text{QS}=\frac{\#win+\#tie}{\#all}$$

## Models

evaluation model:
- GPT-4-Turbo
- PandaLM

## Datasets

才用四个数据集进行评估，以达到覆盖更广泛的指令，从而最大限度地减少评估偏差。

- Self-instruct
- Vicuna
- PandaLM
- Vicuna

## Baselines

Alpaca

## Results

![image.png](/static/img/f7302adba21b7f7e5541da1ecd3bae83.image.png)

如表 2 所示，AlpaCaR 在 7B 尺度上不仅优于 Alpaca 和 Vicuna 的基础模型，而且相对于 Alpaca-PandaLM、Alpaca-cleaned 和 Alpagasus 也表现出更优越的性能。总体而言，AlpaCaR 在 7B、13B 和 30B 尺度上比 Alpaca 实现了显着的性能改进，从而验证了 CaR 方法的有效性。与 Alpagasus 相比，AlpaCaR 的显着性能提升是通过减少数据使用来实现的，这凸显了利用高质量的人类偏好和数据多样性在增强模型性能方面的至关重要性。

![image.png](/static/img/d0645859badbfcc735629215fb3cb1ca.image.png)

![image.png](/static/img/6af23d7f17bb3c72d76f17a5c6e11f2f.image.png)

![image.png](/static/img/80aad72f1a377cab6e833094177daf76.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   本文提出了一种新的自然语言处理方法——Clustering and Ranking (CaR)，旨在高效选择高质量的指令调优(IT)数据。CaR方法的显著特点在于它结合了质量评估和数据多样性保持两个维度。首先，通过与专家偏好相一致的打分模型对指令对进行排序（准确率达到84.25%），然后通过聚类过程保持数据集的多样性。在实验中，CaR方法仅选择了Alpaca IT数据的1.96%，但训练出的模型在GPT-4评估中性能提升了平均32.1%。此外，CaR使用的小型模型（只有355M参数）和较低的成本使其易于在工业场景中部署。

2. 论文中存在的问题及改进建议：
   - 问题一：CaR方法在Alpaca_52k数据集上的测试可能无法全面反映在不同数据集上的普遍适用性。
     改进建议：未来研究应在更多和不同类型的数据集上测试CaR方法，以验证其广泛适用性和鲁棒性。
   - 问题二：尽管通过聚类保持了一定程度的多样性，但在选择高质量指令时可能仍存在潜在的偏差风险。
     改进建议：引入更多维度的多样性评估指标，确保选取的数据在各方面都具有代表性和多样性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - 创新点一：结合质量评估和语义聚类以及其他形式的数据增强技术（如数据扩充），以进一步提高指令数据的覆盖范围和多样性。
   - 创新点二：开发新的评估方法，不仅基于专家偏好，还考虑用户行为和反馈，从而更准确地评估指令数据的实际效用。
   - 创新点三：探索CaR方法在多轮对话和更复杂任务指令生成中的应用，以提高大型语言模型在多样场景中的适应性和效能。

4. 为新的研究路径制定的研究方案：
   - 方案一：结合质量评估和语义聚类以及数据增强
     - 研究方法：开发一种整合质量评估、语义聚类和数据增强的指令数据选择框架。
     - 研究步骤：首先，使用现有CaR方法筛选高质量数据；然后，通过语义聚类识别数据间的关联性；最后，应用数据扩充技术来增加稀有或未覆盖的场景。
     - 期望成果：一个更加全面和多样化的高质量指令数据集，能够提高语言模型在多样任务中的表现。
   
   - 方案二：结合专家偏好和用户行为的评估方法
     - 研究方法：构建一个评估系统，该系统不仅考虑专家偏好，还结合用户行为和反馈。
     - 研究步骤：首先收集和分析用户互动数据，然后结合专家评分，开发一个混合评估模型。
     - 期望成果：一种更加贴近实际应用场景的指令质量评估方法，提高了数据选择的准确性和实用性。
   
   - 方案三：在多轮对话和复杂任务中应用CaR方法
     - 研究方法：探索CaR方法在多轮对话和复杂任务指令生成中的应用。
     - 研究步骤：对CaR方法进行适应性调整，以处理多轮对话和复杂任务的数据；然后，在不同类型的大型语言模型上进行测试和评估。
     - 期望成果：在多样化应用场景中表现出色的改进型语言模型，展示了更好的适应性和效能。
:::

# Others

[ArXiv-2024] Clustering and Ranking: Diversity-preserved Instruction Selection through Expert-aligned Quality Estimation

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2305.11206 |
> | Code & Data | https://huggingface.co/datasets/GAIR/lima |
> | Public      | Neurips |
> | Date        | 2024.04.01 |


# Summary Overview

大语言模型的训练分为两个阶段：
1. 从原始文本进行无监督预训练，以学习通用表示；
2. 大规模指令调整和强化学习，以更好地适应最终任务和用户偏好

我们通过训练 LIMA 来衡量这两个阶段的相对重要性，LIMA 是一个 65B 参数 LLaMa 语言模型，仅在 1,000 个精心策划的提示和响应上使用标准监督损失进行微调，没有任何强化学习或人类偏好建模。LIMA 表现出了非常强大的性能，仅从训练数据中的少数示例中学习遵循特定的响应格式，包括从规划旅行行程到推测替代历史的复杂查询。

**总而言之，这些结果强烈表明，大型语言模型中的几乎所有知识都是在预训练期间学习的，并且只需要有限的指令调整数据来教导模型产生高质量的输出。**

# Main Content

然而，我们证明，只要有强大的预训练语言模型，只需对 1,000 个精心策划的训练示例进行微调即可实现非常强大的性能。

![image.png](/static/img/478b0eb08e078e27735bb1983b348634.image.png)

我们训练 LIMA，这是一个预训练的 65B 参数 LLaMa 模型，在这组 1,000 个演示中进行了微调。

消融实验表明，当扩大数据数量而不扩大即时多样性时，回报会大幅递减，而优化数据质量时会带来巨大收益。

**Superficial Alignment: 模型的知识和能力几乎完全是在预训练期间学习的，而对齐则教导模型在与用户交互时应使用哪种格式的子分布。**

如果这个假设是正确的，并且对齐很大程度上与学习风格有关，那么表面对齐假设的推论是，人们可以用一小部分示例充分调整预训练的语言模型。

# Experiments

## Baselines

- Alpaca 65B
- OpenAI's DaVinci003
- Bard
- Claude
- GPT-4

## Results

在每个步骤中，我们都会向注释者提供由不同模型生成的单个提示和两个可能的响应。注释者被要求标记哪个响应更好，或者两个响应是否明显优于另一个。

![image.png](/static/img/0c860ae84bdf469cf31ecc226c33aa7a.image.png)

我们将每个示例标记为以下三类之一： 失败，响应不符合提示的要求；通过，响应符合提示要求；非常好，该模型对提示提供了出色的响应。


![image.png](/static/img/fd9ec1d0a867ded72ada69dd45939bdc.image.png)

**Why is Less More? Ablations on Data Diversity, Quality, and Quantity**

然后，我们对每个测试集提示抽取 5 个响应，并通过要求 ChatGPT (GPT-3.5 Turbo) 对响应的有用性按照 1-6 的李克特量表进行评分来评估响应质量（具体模板请参阅附录 D）。

![image.png](/static/img/83198185cc0df337009a6542660f8c6e.image.png)

## Case Study

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   本文展示了一种新型的自然语言处理模型——LIMA，其独特性在于只通过1000个精心策划的提示和回应进行微调，而无需任何增强学习或人类偏好建模。这种方法挑战了传统的大规模指令调整和增强学习的必要性，强调了预训练在语言模型发展中的关键作用。论文的关键发现在于展示了预训练过程中获取的知识量远超过特定指令调整或增强学习的过程。这一发现对于理解和提升大型语言模型的学习和适应能力具有重要意义。

2. 论文中存在的问题及改进建议：
   尽管LIMA在实验中展示出了强大的性能，但其依然存在一些限制。例如，该模型在处理对话或复杂任务时可能不如专门通过人类反馈或大量数据训练的模型那样健壮。另一个问题是，精心策划的1000个训练示例可能无法全面覆盖所有可能的用户提示和场景，这限制了模型的通用性和灵活性。为改善这些问题，建议对模型进行更全面的测试，包括不同领域和任务类型的提示，以评估其泛化能力。此外，可以探索结合少量精心策划的例子与更大规模的自然数据集，以提升模型的适应性和鲁棒性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **多模态融合**：考虑将LIMA与视觉或声音数据相结合，创建一个多模态的交互模型。这可以拓展模型的应用场景，如图像描述、音视频内容分析等。
   - **跨语言和文化适应**：开展跨语言和文化背景的适应性研究，探索模型在处理不同语言和文化背景下的数据时的性能，以及如何提升其跨文化理解和生成能力。
   - **专业领域的知识融入与生成**：针对特定的专业领域（如医学、法律、金融）进行定制化模型训练，使模型能够生成更具专业深度和精准度的内容。

4. 为新的研究路径制定的研究方案：
   - **多模态融合研究方案**：首先，搜集和标注跨媒体数据集，包括文本、图片和音频数据。然后，设计和实现一种新的多模态神经网络架构，使其能够同时处理和整合不同类型的数据输入。最后，通过实验评估模型在多模态任务（如图像描述生成、音视频内容分析）上的表现。
   - **跨语言和文化适应研究方案**：首先，构建一个多语言和多文化的数据集，确保覆盖广泛的语言和文化背景。接着，利用迁移学习和多任务学习方法来训练和微调LIMA模型。最后，通过一系列跨文化和跨语言的NLP任务来评估模型的性能。
   - **专业领域知识融入与生成研究方案**：首先，收集特定领域的大规模专业文本数据。然后，对LIMA模型进行定制化微调，使其学习和理解特定领域的知识。最后，通过专业知识生成任务（如案例分析、研究报告生成）来评估模型的专业知识生成能力。
:::

# Others