> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2312.15685 |
> | Code & Data | https://github.com/hkust-nlp/deita |
> | Public      | ICLR |
> | Date        | 2024.04.21 |


# Summary Overview

最近的研究表明数据工程在指令调整中的关键作用——如果选择得当，只需有限的数据即可实现卓越的性能。然而，对于什么是好的指令调整数据以进行对齐，以及我们应该如何自动有效地选择数据，我们仍然缺乏原则性的理解。在这项工作中，我们深入研究了用于对齐的自动数据选择策略。我们从对照研究开始，跨三个维度测量数据：复杂性、质量和多样性，同时我们检查现有方法并引入增强数据测量的新技术。随后，我们提出了一个简单的策略来根据测量选择数据样本。我们提出了 DEITA（Data-Efficient Instruction Tuning for Alignment）。

# Main Content

指令调优或监督微调 (SFT) 使用带注释的指令数据细化预训练模型，通常作为 RLHF 之前的基础步骤，以促进模型的初始对齐。

![image.png](/static/img/f6bbf456bf5ac66a5a89e581825edebf.image.png)

我们的数据选择策略简单而有效，为数据高效的指令调整范例铺平了道路——可以自动选择更少的训练样本，从而获得与在更大的数据集上训练的模型相当甚至超越的性能。

**THE DATA SELECTION PROBLEM**

形式上，给定一个大型指令调整数据池，$X=\{x_1,x_2,\cdots,x_n\}$，其中$x_i$表示指令-响应对形式的单个数据样本。我们的目标是使用$\pi$表示的选择策略从$X$中选择大小为$m$的子集$S_\pi^{(m)}$。$m$是子集大小，与指令调整中消耗的计算量成比例相关，因此我们也将$m$称为数据预算。通常，我们定义一个指标来评估数据并根据该指标选择数据样本。将指令调优后的对齐性能表示为$Q$，数据预算为$m$的最优数据选择策略$\pi^*$满足

$$
\pi^*=\arg\max_\pi Q(S_\pi^{(m)}).
$$

$X_{sota}$和$X_{base}$

![image.png](/static/img/72509540484ce77aaaea4e265e1db83d.image.png)

**FROM THE COMPLEXITY PERSPECTIVE - EVOL COMPLEXITY**

Baselines: Random Selection, Instruction Length, Perplexity, Direct Scoring, Instruction Node, Instag Complexity, IFD

**Evol Complexity**: 受到Evol-Instruct的启发，提出EVOL COMPLEXTITY，一种基于进化的复杂性度量。首先收集一个小规模种子数据集，$D=\{(I_{1}^{(0)},R_{1}^{(0)}),\cdots,(I_{N}^{(0)},R_{N}^{(0)})\}$，$(I_{k}^{(0)},R_{k}^{(0)})$表示指令-响应对。对于每个指令样本$I_k^{(0)}$，我们使用Xu等人提出的In-Depth Evolving Prompt。通过增加约束、深化、具体化和增加推理步骤等技术来增强复杂性。经过$M$次迭代后，我们获得了$I_k$的一组不同复杂度的指令，$\{I_k^{(0)},\cdots,I_k^{(M)}\}$。这里将$M$设置为5，总共获得6中变化。

如图 1 左侧所示，然后我们要求 ChatGPT 对这 6 个样本进行排序和评分（附录 E.2 中提示），得到指令对应的复杂度分数 c。我们强调，与直接评分不同，我们在一个提示中给 ChatGPT 所有 6 个样本 - 这些样本代表同一原始样本的不同进化阶段，这样的评分方案有助于 ChatGPT 捕获它们之间微小的复杂性差异，从而产生复杂性分数以实现样本之间更细粒度的复杂性区分。我们发现这一点至关重要，否则，ChatGPT 倾向于为大多数示例分配相似的分数，如附录 B 中所示。在小种子数据集上获得 ChatGPT 分数后，我们使用这些分数来训练 LLaMA-1 7B 模型进行预测给定输入指令的复杂性分数。在多回合对话的情况下，我们对每一回合单独评分，并将它们的总和作为最终分数。在本文的实验中，我们使用从 Alpaca 数据集（Taori et al., 2023）中随机采样的 2K 个示例作为种子数据集。

表 2 展示了使用各种复杂性指标从 Xsota 和 Xbase 选择 6K 数据样本的结果。我们的 Evol-Complexity 指标可在 MT-bench 上实现最佳对齐性能。我们观察到，虽然 Instag Complexity 在 Xsota 上表现良好，但它在 Xbase 上的性能仅比 Random Selection 稍好一些。相比之下，EVOL COMPLEXITY 在两个数据集上都实现了卓越的性能，表明在不同数据集池上具有很强的鲁棒性。此外，与严重依赖 ChatGPT 注释的方法（例如直接评分和指令节点）相比，我们的方法具有显着的优势。实验结果还表明，指令长度并不是对齐首选数据的良好指标。有趣的是，困惑度（一种直观的复杂性衡量标准）产生的结果比随机选择基线差得多。通过进一步的调查，我们发现具有大困惑度的样本通常表现出非常短的响应。

![image.png](/static/img/f50e6f40f969e2cef0aebf4abae0ae15.image.png)

**FROM THE QUALITY PERSPECTIVE - EVOL QUALITY**

Baselines: Random Selection，Response Length，Direct Scoring

**Evol Quality**: 以类似于EVOL COMPLEXITY的方式，我们引入EVOL QUALITY来增强质量测量的辨别力。对于给定的数据样本$(I_k^{(0)},R_k^{(0)})$，我们提示ChatGPT以进化的方式提升响应的质量。这主要涉及增强帮助性、增强相关性、丰富深度、培养创造力和提供额外细节。经过$M$次迭代后，对于相同的指令$I_k^{(0)}$，我们获得了一组$R_k$的各种质量响应，表示为$\{R_k^{(0)},\cdots,R_k^{(M)}\}$。与EVOL COMPLEXITY类似，我们将$M$设置为5。

表3给出了分别从Xsota和Xbase中选择前6K数据的实验结果。所提出的 EVOL QUALITY 方法始终表现出卓越的对准性能。我们注意到，具有较高质量方差的池 Xbase 更容易受到质量指标的影响，这是直观的，因为此类池中存在许多低质量的示例，并且会严重损害性能。这一结果意味着质量是一个需要考虑的必要维度，尤其是在处理包含大量低质量示例的数据池时。我们还观察到响应长度与最终比对性能正相关，但对于已经高质量的数据集（例如 Xsota），其影响并不显着

![image.png](/static/img/8c51f1728730670e24c0a9bb85ea5b1e.image.png)

**FROM THE DIVERSITY PERSPECTIVE - AN EMBEDDING-BASED APPROACH**

![image.png](/static/img/141f98f932c1254aa65d09e8416308f6.image.png)

![image.png](/static/img/fd4c10052e7d89c436e8e5b1565c8fc0.image.png)
在本文中，我们彻底研究了什么是适合对齐的良好数据的问题。我们的研究包括三项对照研究，涵盖三个维度：复杂性、质量和多样性。在这些研究中，我们提出了自动数据选择的新方法，并在选定的数据样本上训练我们的模型 DEITA。实验结果表明，DEITA 能够在 10 倍训练样本的情况下实现优于或媲美最先进开源模型的性能。我们向其他人发布我们选择的数据，以便更有效地调整模型。


# Experiments

## Results


![image.png](/static/img/27537552b4dccb534f234f4f5e619ad5.image.png)

![image.png](/static/img/64290b1614ae3c3ccc3fc9a7f129c691.image.png)

![image.png](/static/img/ec28e05c4c96d40f566dbdc0b98f2613.image.png)
**Data Scaling:**

![image.png](/static/img/ac46a77aeef54329d81b3c85b4a2aebf.image.png)

## Case Study

# 🤖ChatGPT

:::info{title="ChapGPT"}
### 论文的创新之处与独特性：

论文探索了如何在指令调整（instruction tuning）过程中自动选择数据，以提高大型语言模型（LLMs）与人类偏好的对齐质量。主要创新包括：
1. **三维数据评估框架**：首次提出通过复杂性（complexity）、质量（quality）、和多样性（diversity）三个维度来评估数据集，这为数据选择提供了新的理论依据。
2. **自动数据选择策略DEITA**：开发了一种新的数据效率指令调整方法（Data-Efficient Instruction Tuning for Alignment, DEITA），该方法使用远少于基线模型的数据样本数目（6K vs. 60K），但能达到相当甚至更优的性能。
3. **实证验证**：通过与现有最先进模型的比较，实证显示DEITA模型在多个评价指标上具有竞争力，特别是在数据效率上的优势明显。

### 论文中存在的问题及改进建议：

1. **数据维度的独立性**：论文中虽然提出了三维评估数据的方法，但并未充分探讨这些维度之间的相互影响及其独立性。建议进一步研究这些维度的关联性，以更精确地指导数据选择。
2. **样本多样性的实证研究不足**：虽然论文提到了多样性在数据选择中的重要性，但在实验设计中缺少对多样性本身如何影响模型性能的直接测试。可以设计实验来验证不同多样性级别对性能的具体影响。
3. **更广泛的实验验证**：DEITA方法主要与开源对齐模型进行了比较，可能缺乏与商业模型或不同类型的数据集进行比较的视角。建议在未来的研究中包括更多种类的数据集和对比模型，以全面验证方法的通用性和鲁棒性。

### 基于论文的内容和研究结果，提出的创新点或研究路径：

1. **交叉维度数据优化**：开发一种新的数据选择框架，该框架能够同时考虑复杂性、质量和多样性的交叉影响，使用机器学习算法来预测不同数据维度组合的最优配置。
2. **动态数据选择机制**：构建一个动态数据选择机制，能够根据模型在训练过程中的表现逐步调整数据选择的策略，实现更精细化的训练过程控制。
3. **多模态数据对齐优化**：研究如何将DEITA框架扩展到多模态数据（例如文本与图像），探索多模态场景下的数据选择和模型对齐问题。

### 为新的研究路径制定的研究方案：

1. **交叉维度数据优化研究方案**：
   - **研究方法**：使用统计和机器学习方法来分析不同数据维度的相互作用，并建立预测模型。
   - **步骤**：首先通过实验确定各维度的独立影响，然后构建多元回归模型来预测组合影响，最后通过交叉验证优化模型参数。
   - **期望成果**：发展出一种新的理论模型，能够指导实际的数据选择工作，优化模型的数据效率和性能。

2. **动态数据选择机制研究方案**：
   - **研究方法**：实现一个基于反馈循环的动态调整框架，利用实时性能反馈调整数据选择策略。
   - **步骤**：设计实验以收集中间训练结果，使用这些数据反馈调整数据选择算法，逐步优化数据集的结构。
   - **期望成果**：开发出一个能够自适应调整的数据选择系统，显著提高模型训练的效率和效果。

3. **多模态数据对齐优化研究方案**：
   - **研究方法**：探索和实现多模态数据集的同步处理和优化策略。
   - **步骤**：首先标定不同模态的数据特征和性能影响，然后开发同步处理算法，最后通过模拟实验测试算法效果。
   - **期望成果**：形成一套多模态数据处理的新方法，能够有效提升不同数据类型的整合和模型训练的对齐质量。
:::

# Others

[ICLR-2024] What Makes Good Data for Alignment? A Comprehensive Study of Automatic Data Selection in Instruction Tuning

bypy - Python client for Baidu Yun (Personal Cloud Storage) 百度云/百度网盘Python客户端


仓库：https://github.com/houtianze/bypy

安装命令：
```shell
pip install bypy
```
**基本操作**

显示使用帮助和所有命令（英文）:
```shell
bypy
```
第一次运行时需要授权，只需跑任何一个命令（比如 bypy info）然后跟着说明（登陆等）来授权即可。授权只需一次，一旦成功，以后不会再出现授权提示.

更详细的了解某一个命令：
```shell
bypy help <command>
```
显示在云盘（程序的）根目录下文件列表：
```shell
bypy list
```

:::note{title="注"}
注意：使用同步操作同步文件时，同名文件会直接进行覆盖
:::

把当前目录同步到云盘：
```shell
bypy syncup
```
or
```shell
bypy upload
```
把云盘内容同步到本地来：
```shell
bypy syncdown
```
or
```shell
bypy downdir /
```
比较本地当前目录和云盘（程序的）根目录（个人认为非常有用）：
```
bypy compare
```

在网盘中的路径如下：

![image.png](/static/img/d6b6c8010b28c61cb0aab8e3eada7666.image.png)

bypy使用百度网盘

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2307.06290 |
> | Code & Data | / |
> | Public      | ArXiv |
> | Date        | 2024.04.10 |


# Summary Overview

大语言模型(LLM)在最初针对广泛的功能进行预训练，然后使用指令跟踪数据集(instruction-following datasets)进行微调，以提高其与人类交互的性能。尽管微调方面取得了进步，但选择高质量数据集来优化此过程的标准化方法依然难以捉摸。在本文中，作者提出了INSTRUCTMINING，旨在自动选择优质指令跟踪数据来微调LLM。具体来说，INSTRUCTMINING利用自然语言指标作为数据质量的衡量标准，将其应用于评估未见过的数据集。在实验过程中，我们发现大型语言模型微调中存在双下降现象。基于这一观察，作者进一步利用BLENDSEARCH来帮助找到整个数据集中的最佳子集。

# Main Content

最近的一项研究 LIMA 表明，即使是少量精心挑选的高质量指令数据也可以通过指令调优显着提高模型性能（Zhou et al., 2023）。为了解决这个问题，我们在评估集上使用微调模型产生的损失作为数据质量的代理。

![image.png](/static/img/2643b3614601bc1118f3b8eaf017c1d3.image.png)

选择数据的简单解决方法是选择前$K$个多质量的数据样本，但实践证明选择合适的$K$本身就很困难。

双下降现象(double descent phenomenon)表明，一旦数据大小超过特定的阈值，模型性能的主要决定因素就会从数据质量转变为数据数量。在这种情况下，关注初始的一组高质量数据点（例如，$K=10,000$）比仔细研究整个数据集更能有效地识别最佳点。

**Contributions:**
- 在这项工作中，我们率先应用经典数据挖掘技术，通过自主选择高质量数据来增强LLM。为了实现这一目标，我们引入了 INSTRUCTMINING，这是一种包含数据评估和选择过程的方法。
- 所提出的 INSTRUCTMINING 创新地将定制的语言指标与先进的搜索算法相结合，能够自动评估数据质量并识别微调语言模型的最佳子集。
- 使用 INSTRUCTMINING 进行微调的模型在两个最流行的基准测试中展现出最先进的性能：LLM-AS-A-JUDGE 和 Huggingface OPENLLM。同时，使用较少的训练数据可以有效减少训练时间和成本。

![image.png](/static/img/d0a5f316d9647f7d37283bb0e136ca18.image.png)

指令数据的质量可以被视为其有效引导语言模型学习以特定方式生成响应的能力。

**Hypothesis 1 Instruction Quality Evaluation Hypothesis**: 给出指令数据集$D$，在该数据集上微调LLM，获得$M_{ft}$。$D$的指令质量可以通过$M_{ft}$在评估数据集$D_{eval}$上的推理损失来估计。
$$
Q_{D|M,S}\propto-L(M_{ft},D_{eval})
$$
对于给定的指令数据集$D$，我们计算相应的指标值$I(D)=\{I_i(D),i=0,\cdots,n\}$。存在函数$F$，使得可以使用$F(I(D))$来近似上述模型推理损失$L(M_{ft},D_{eval})$。

![image.png](/static/img/34211dfc38a6ce1d606361d8f79aee00.image.png)

$$
\begin{aligned}\log L(M_{ft},D_{eval})&\propto L_0+F\{I(D)\}\\&\propto L_0+\beta_0+\beta_1I_1(D)+\beta_2I_2(D)+\cdots+\beta_nI_n(D)+\epsilon\end{aligned}
$$

我们的实验主要集中在两个目标。第一个目标是估计建议的 INSTRUCTMINING 规则中的未知参数。第二个是评估和分析 INSTRUCTMINING 在各种微调场景下的性能。

为了实现这一目标，我们首先选择几个具有不同假定质量水平的常用数据集，并将它们与随机采样的百分比融合在一起以创建微调数据集。

![image.png](/static/img/87a9d4db2aa92ef46f0ec4bb84d27cdb.image.png)

作者划分出了129个subset，通过最小二乘法获得了权重系数。

$$
\begin{aligned}&Q_{D|M,S}\propto-L(M_{ft},D_{eval})\\&\log L(M_{ft},D_{eval})\propto0.0274-0.0078Rew+0.4421*Und-0.3212*Nat-0.1520*Coh+\epsilon\end{aligned}
$$

**Quality-guided instruction selection**

我们遵循公式 4 中估计的 INSTRUCTMINING 规则，从两个未见过的数据集中选择高质量的示例：OPENORCA 和 databricks-dolly-15k 1。

![image.png](/static/img/7c33677a086547cfcd475b9f4a4eef32.image.png)

low resource: 使用 OPENORCA 数据集对 LLAMA2-7B 进行完整数据微调可能需要长达 30 小时的 8 GPU 时间。借助 INSTRUCTMINING，我们能够在大约两个小时内选择前 1,000 个数据示例，并在 15 分钟内训练出更好的LLM。

![image.png](/static/img/b59b2150d7b3cded712f52b736fb07fe.image.png)

![image.png](/static/img/d2f4e5c45a31ded0a9fcf7379f954632.image.png)

![image.png](/static/img/61806c0be6e514621aa5117efd5b4826.image.png)

![image.png](/static/img/8a4d43c293e702932dab8312252d07e6.image.png)

**Double descent in generative language models**

![image.png](/static/img/4a2de7f563112d345db1b1113e6aef96.image.png)

Phenomenon 1 Non-monotonicity exists in language model performance. 随着训练数据规模的增加，语言模型的性能首先变得更好，然后变得更好，然后变得更差。当数据量增加到一定程度时，性能再次变得更好。

Phenomenon 2 Balance point exists between randomly selected and quality selected data. 随着数据规模的增长，数据质量对模型性能的影响变得不再那么重要。

**Robustness**
1. Different base models
2. Different model sizes
3. Parameter efficient settings

![image.png](/static/img/cb246ba6742cb589bbe48d905334c054.image.png)

在本文中，我们提出了高质量的示例选择方法。已经进行了实验来估计该规则的参数，并证明我们的评估规则是有效的并且可扩展到其他微调设置。此外，我们还提出了对语言模型微调中双下降现象的观察。基于这一发现，我们进一步应用 BLENDSEARCH 来搜索最佳子集。结果表明 INSTRUCTMINING 规则是有效的且可扩展的。
# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：

   本论文提出了一个名为“INSTRUCTMINING”的新颖方法，旨在自动挑选高质量的指令遵循数据，用于大型语言模型（LLM）的微调。这一方法的独特性在于它综合了自然语言指标和先进的搜索算法，以评估数据质量并识别用于语言模型微调的最优子集。此外，研究中发现了大型语言模型微调中的双重下降现象，并利用这一现象来辅助寻找最佳数据子集。这些创新点为LLM微调领域提供了新的研究视角和方法。

2. 论文中存在的问题及改进建议：

   论文中存在的主要问题是对所提出方法的鲁棒性和通用性的考量可能不足。尽管研究中展示了INSTRUCTMINING在某些基准上的优越性，但仍需深入探讨其在不同类型语言模型、不同规模数据集以及多种语言环境下的适应性和效果。改进建议包括扩大实验范围，验证方法在更广泛条件下的适用性，并深入研究方法的局限性及其应对策略。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **多模态数据微调**：探索INSTRUCTMINING在多模态数据集（如结合文本、图像、音频等）上的应用，评估其在理解和生成多模态内容方面的效果。
   - **跨语言适应性研究**：将INSTRUCTMINING应用于不同语言的数据集，分析其在跨语言背景下的表现和调整需求。
   - **长期学习能力的评估**：研究INSTRUCTMINING在持续学习环境中的表现，尤其是其对新领域知识适应和历史信息保持的能力。

4. 为新的研究路径制定的研究方案：
   - **多模态数据微调研究方案**：
     - 研究方法：整合并预处理多模态数据集，利用INSTRUCTMINING进行微调，并评估其在多模态任务（如图像描述、视频理解等）上的表现。
     - 预期成果：提高LLM在理解和生成多模态内容上的性能，以及在多模态任务上的准确性。
   
   - **跨语言适应性研究方案**：
     - 研究方法：选择多种语言的数据集，应用INSTRUCTMINING，并比较其在不同语言背景下的效果，以及进行必要的调整以适应特定语言特性。
     - 预期成果：增强LLM的跨语言适应能力，为其在多语言环境中的应用提供指导。

   - **长期学习能力的评估方案**：
     - 研究方法：在长期学习的环境中部署INSTRUCTMINING，跟踪其性能变化，特别是在新领域知识适应和历史信息保持方面的表现。
     - 预期成果：理解并改进LLM在持续学习环境中的表现，提出适应新领域和保持历史知识的策略。
:::

# Others

[ArXiv-2023] Instruction Mining: When Data Mining Meets Large Language Model Finetuning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2303.11366 |
> | Code & Data | https://github.com/noahshinn/reflexion |
> | Public      | Neurips |
> | Date        | 2024.04.09 |


# Summary Overview

这是一篇Agent的工作。本文提出了Reflexion，一种不通过更新权重，而是语言反馈来增强语言代理。具体来说，Reflexion agents口头反映任务反馈信号，然后在情景记忆缓冲区中维护自己的反射文本，以便在后续试验中做出更好的决策。

# Main Content

Reflexion这类似于人类如何迭代地学习以几次的方式完成复杂的任务——通过反思之前的失败，以便为下一次尝试形成改进的攻击计划。

设计了3种**reflective feedback**：
1. simple binary enviornment feedback
2. pre-defined heuristics for common failure cases
3. self-evaluation (binary classification using LLMs (desicion-making) or self-written unit tests (programming))

**Adavantages:**
1. 轻量级的，不需要对LLM进行微调
2. 与难以执行准确的信用分配的标量或向量奖励相比，它允许更细致的反馈形式（例如，有针对性的行动变化）
3. 它允许比以前的经历更明确和可解释的情景记忆形式
4. 它为未来剧集中的行动提供了更明确的提示

**Contributions:**
1. 我们提出了 Reflexion，这是一种“口头”强化的新范例，它将策略参数化为代理的记忆编码与 LLM 参数的选择配对。
2. 我们探索了法学硕士中自我反思的这种新兴特性，并根据经验表明，自我反思对于通过少量试验学习复杂任务非常有用。
3. 我们推出 LeetcodeHardGym，这是一个代码生成 RL 健身房环境，由 19 种编程语言的 40 个具有挑战性的 Leetcode 问题（“困难级别”）组成。
4. 我们表明，Reflexion 在多个任务的强大基线上实现了改进，并在各种代码生成基准上实现了最先进的结果。


![image.png](/static/img/fc626bd9ad632ee0459ceceed4eaeec8.image.png)

![image.png](/static/img/8d7b8db93fbd55f852ed203b09f808fa.image.png)

$M_a$: an Actor, generates text and actions

$M_e$: an Evaluator model, scores the outputs produced by $M_a$

$M_{sr}$: a Self-Reflection model, generates verbal reinforcement cues to assist the Actor in self-improvement

**Memory**: 反射过程的核心组成部分是短期记忆和长期记忆的概念。在推理时，Actor 根据短期和长期记忆做出决定，类似于人类记住最近的细粒度细节，同时也回忆从长期记忆中提炼出的重要经验。在强化学习设置中，轨迹历史充当短期记忆，而自我反思模型的输出则存储在长期记忆中。这两个记忆组件协同工作，提供特定的背景，但也受到多次试验中吸取的经验教训的影响，这是反射代理相对于其他法学硕士行动选择工作的关键优势。

**The Reflexion process**

在第一个试验种，Actor通过与环境交互产生轨迹$\tau_0$。然后评估器产生一个分数$r_0$，其计算公式为$r_0=M_e(\tau_0)$。$r_t$只是$t$的标量奖励，随着特定的任务性能提高而提高。在第一次实验后，为了将$r_0$放大为可用于LLM改进的反馈形式，自我反思模型分析$\{\tau_0,r_0\}$集合以生成存储在mem中的摘要$sr_0$。$sr_t$是对实验$t$的口头经验反馈。Actor，Evaluator和Self-Reflection模型通过循环试验一起工作，知道Evaluator认为$\tau_t$是正确的。反射的记忆成分对于其有效性十分关键。每次试验后$t$，$sr_t$都会附加到mem中。在实践中，我们通过存储经验的最大数量$\Omega$（通常设置为1-3）来限制mem，以遵守最大上下文LLM限制。

在这项工作中，我们提出了反射，一种利用言语强化来教导智能体从过去的错误中学习的方法。我们的经验表明，通过利用自我反思，反射智能体的性能明显优于当前广泛使用的决策方法。在未来的工作中，Reflexion 可以用于采用在传统 RL 设置中经过深入研究的更先进的技术，例如自然语言中的价值学习或离策略探索技术。

# Experiments

**Sequential decision making: ALFWorld**

![image.png](/static/img/224855e30e870f86af3bfaa20a638f66.image.png)

**Reasoning: HotpotQA**

![image.png](/static/img/cebdfbc30057718cd86262066d376cd8.image.png)

**Programming: MBPP, HumanEval, LeetcodeHardGym**

![image.png](/static/img/058c0524b26339c5003ae3d251aa3075.image.png)

![image.png](/static/img/ce5149eb7ae0fa458f3ed7c7ef3ab6c9.image.png)

**Ablation study**

![image.png](/static/img/ac01ee487b452eb43c216d26a5c8fbd7.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}

1. 论文的创新之处与独特性：

   论文提出了一种名为“Reflexion”的新框架，该框架创新性地通过语言反馈来强化语言代理，而不是通过更新权重。这种方法将环境反馈转化为文本总结，进而作为额外上下文用于LLM代理在下一轮中的决策。Reflexion的优势在于不需要对LLM进行微调，能够处理更复杂的反馈形式，并且通过反思体验建立了一种更明确且可解释的情节记忆。特别是在多任务环境中，Reflexion在决策制定、推理和编程任务上均展现出优越的性能。

2. 论文中存在的问题及改进建议：

   a. 依赖LLM自我评估能力：Reflexion的效果在很大程度上取决于LLM自我评估的准确性。若LLM在特定任务上缺乏足够的先验知识或者误判情况，可能导致不准确的自我反思和学习方向。

   b. 记忆窗口的限制：Reflexion使用有限大小的记忆窗口来存储反思体验，这可能限制了模型从长期经验中学习的能力。

   c. 改进建议：可以考虑将Reflexion与其他类型的机器学习技术结合，如强化学习，以提高在复杂环境下的决策能力。同时，研究如何优化记忆机制，以支持更有效的长期学习。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：

   a. 跨模态学习：探索Reflexion在处理非文本任务（如图像和声音处理）中的应用，利用语言模型在多模态数据中提取和融合信息。

   b. 多任务和多领域适应性：研究如何通过一种统一的Reflexion框架处理多种不同的任务和领域，比如结合自然语言处理和机器视觉。

   c. 强化学习与Reflexion的结合：研究如何将传统强化学习算法与Reflexion框架相结合，以提高在复杂环境中的学习和适应性。

4. 为新的研究路径制定的研究方案：

   a. 跨模态学习方案：首先确定适用于语言模型的多模态数据集，并设计实验来评估Reflexion在处理非文本任务上的有效性。其次，开发新的算法来融合不同模态的数据，并在此基础上进行反思和学习。

   b. 多任务和多领域适应性方案：开发一种能够处理多种类型任务的统一Reflexion框架，包括自然语言处理、机器视觉等。进行广泛的实验，评估模型在不同任务和领域上的表现和适应性。

   c. 强化学习与Reflexion结合方案：研究如何将Reflexion与现有的强化学习算法相结合，特别是在环境建模和策略优化方面。通过实验验证组合模型在多步决策和复杂任务中的表现。
:::

# Others

[Neurips-2023] Reflexion: Language Agents with Verbal Reinforcement Learning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2210.11610 |
> | Code & Data | / |
> | Public      | EMNLP |
> | Date        | 2024.04.08 |


# Summary Overview

大型语言模型（LLM）在各种任务中都取得了优异的表现。然而，微调LLM需要广泛的监督。另一方面，人类可以通过自我思考来提高自己的推理能力，而无需外部输入。在这项工作中，我们证明了LLM也能够仅使用未标记的数据集进行自我改进。我们使用预先训练的LLM，通过思想链提示和自我一致性，为未标记的问题生成“高置信度”的理由增强答案，并使用这些自我生成的解决方案作为目标输出来微调LLM。我们表明，我们的方法提高了 540B 参数 LLM 的一般推理能力（GSM8K 上 74.4%→82.1%，DROP 上 78.2%→83.0%，OpenBookQA 上 90.0%→94.4%，ANLI 上 63.4%→67.9%） A3）并实现了最先进的性能，没有任何真实标签。我们进行了消融研究，结果表明，推理的微调对于自我完善至关重要。

# Main Content

在本文中，我们研究了LLM如何在没有监督数据的情况下自我提高推理能力。

![image.png](/static/img/9af58ac5e67a81798313fd7620d85eca.image.png)

我们首先使用few-shot CoT作为提示对多个预测进行采样，使用多数投票过滤“高置信度”预测，最后进行微调。由此产生的模型显示了贪婪和多路径评估中推理的改进。我们将这种方法微调的模型称为**Language Model Self-Improved (LMSI)**。

**Motivation**: 这类似于人脑有时的学习方式：给定一个问题，多次思考以获得不同的可能结果，得出应该如何解决问题的结论，然后学习或记住自己的解决方案。

**Contributions**:
- 我们证明，大型语言模型可以通过获取没有真实输出的数据集、利用 CoT 推理（Wei 等人，2022b）和自我一致性（Wang 等人，2022b）来自我改进，从而实现有竞争力的域内多任务性能以及域外泛化。我们在 ARC、OpenBookQA 和 ANLI 数据集上取得了最先进的结果。
- 我们提供关于微调后的训练样本格式和采样温度的详细消融研究，并确定法学硕士最成功的自我改进的关键设计选择。
- 我们研究了另外两种自我改进的方法，其中模型从有限输入问题中生成附加问题，并自行生成少样本 CoT 提示模板。后者在 GSM8K 上达到了 74.2%，这是最先进的零样本性能，而 Kojima 等人的结果是 43.0%。 (2022) 或 70.1%，通过 Wang 等人的幼稚扩展。 （2022b）。

**Method:**

我们得到一个预训练的大型语言模型 (LLM)$M$和一个仅问题训练数据集$\mathcal{D}^{\text{train}}=\{x_i\}_{i=1}^D$以及少量的思想链 (CoT) 示例。我们应用采样温度$T>0$的多路径解码来生成$m$个推理路径和答案${r_{i_1} , r_{i_2},\cdots,r_{i_m}}$ 对于$\mathcal{D}$中的每个问题$x_i$，并使用多数投票（自我一致性）来选择最一致、最高置信度的答案。

![image.png](/static/img/81f9504aa84a849d93cd4845f18f235b.image.png)

对于每个训练问题$x_i$，我们采样$m$个CoT推理路径，表示为${r_{i_1} , r_{i_2},\cdots,r_{i_m}}$。由于$M$是由CoT示例提示的。我们应用"The answer is"来生成预测答案$\{y_{i_1},y_{i_2},\cdots,y_{i_m}\}$。最一致的答案（不一定是正确答案）通过多数投票选出，表示为
$$
\tilde{y}_{i} = \arg\max_{y_{i_{j}}}\sum_{k=1}^{m}\mathbb{I}(y_{i_{j}} = y_{i_{k}})
$$
对于所有训练问题，我们过滤到达$\tilde{y}$的 CoT 推理路径作为最终答案放入自训练数据中，表示为
$$
\mathcal{D}^{\mathbf{self-consistent}}=\{x_{i},\tilde{r_{i}}\},\mathrm{~where~}\tilde{r_{i}}=\{r_{i_{j}}|1\leq j\leq m,y_{i_{j}}=\tilde{y_{i}}\}
$$

![image.png](/static/img/11c1463a645ce6871dc7f5132289a58d.image.png)
我们在图 2 中绘制了 GSM8K 训练集中每个问题的自生成 CoT 路径的准确性和置信度之间的关系。

我们可以观察到，置信的答案更有可能是正确的，这意味着当一个问题有许多一致的 CoT 路径时，那么相应的$\tilde{y}$更有可能是正确的。另一方面，当$\tilde{y}$错误时，它很可能得到较少的 CoT 路径支持，并且给训练样本带来很少的噪声。

**Training with mixed formats:**
为了防止语言模型过度拟合特定的提示或答案风格，我们为每个推理路径创建了四种不同的格式，以混合在自训练数据中，如表 2 所示。

![image.png](/static/img/44f399bc5ad1db6117c3e36f212e972e.image.png)

我们证明了大型语言模型（LLM）能够通过在仅给定输入问题的情况下对其自己生成的标签进行训练来提高其在推理数据集上的性能。使用具有 5400 亿个参数的 LLM 进行的实验表明，我们的方法将六个数据集的准确性分数提高了 1.1% 至 7.7%，在 ARC、OpenBookQA 和 ANLI 上实现了新的最先进结果，而无需进行地面实况训练标签。此外，我们表明，LLM甚至可以根据自己生成的问题和少量的思想链提示进行自我改进。作为我们未来工作的一部分，我们计划将我们的方法生成的大规模数据与现有的监督数据相结合，以进一步提高LLM的表现。

# Experiments

## Models

PaLM-540B

## Datasets

- Arithmetic reasoning:
    - GSM8K
    - DROP
- Commonse reasoning:
    - ARC
    - OpenBookQA
- Natural Language Inference:
    - ANLI-A2
    - ANLI-A3

## Results

![image.png](/static/img/ad3a9b5441c7e80c53f27fdb2e7a670e.image.png)

Multi-task self-training for unseen tasks

![image.png](/static/img/b15c28994c235a442f7adef4678d9f5f.image.png)

Importance of training with Chain-of-Thought formats

![image.png](/static/img/19959edb0de2589564fbe685788b1a07.image.png)

Self-Generating Questions

在 GSM8K 上，我们采样 10 个真实问题作为少样本样本，并使用 3.3 节中的方法使用语言模型生成更多训练问题。然后，我们用这些生成的问题对语言模型进行自训练，并将结果列于表6中。结果表明，使用自生成的问题仍然可以提高语言模型的推理能力，但使用真实的训练集问题会得到更好的结果。

![image.png](/static/img/b4624ab175e18811aaea20738f23d969.image.png)
## Case Study

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   Huang等人的研究表明，大型语言模型（LLM）能够通过仅使用未标注数据集自我改进。具体来说，论文的核心创新在于提出了一种基于自我生成的“高置信度”理由增强答案的训练方法，这种方法使得LLM在不依赖标注数据的情况下，通过自我一致性和链式推理来提升其解决问题的能力。这种自我提升的方法展示了在泛化能力、理解能力和推理能力上的明显提升，特别是在GSM8K、DROP、OpenBookQA 和 ANLI-A3等数据集上的表现。这一发现对LLM的训练方法和自然语言处理领域具有重要意义，表明大型模型在无需显式外部指导的情况下，仍有提升空间。

2. 论文中存在的问题及改进建议：
   尽管该研究展示了LLM在自我提升上的潜力，但仍存在一些限制。例如，论文中采用的自我训练方法可能在特定任务上表现出过度适应的倾向，而在多样性或泛化能力方面表现不足。此外，对于推理路径的质量和可靠性的评估，当前方法可能过于依赖模型本身的置信度判断，忽视了理由的客观合理性。为改进这些问题，建议研究者考虑以下方面：
   - 探索结合监督学习与无监督学习的混合方法，以增强模型在不同领域的泛化能力。
   - 引入更为复杂和精细的评估机制，不仅评估答案的正确性，也考量推理路径的逻辑一致性和可解释性。
   - 将人类反馈纳入自我提升过程，以提高模型推理的准确性和适用性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   
    a. **跨领域自我提升机制研究**：探索如何在不同领域（如法律、医学）上应用并调整自我提升机制，以探究模型在专业领域知识和推理上的表现。
   
    b. **元认知机制的模拟与集成**：研究如何在LLM中模拟人类的元认知过程，例如，通过自我监督和自我调节机制，提高模型的自适应性和问题解决策略。
   
    c. **多模态数据融合与自我提升**：结合文本、图像和声音等多模态数据，研究模型如何综合不同模态信息进行更深层次的学习和推理。

4. 为新的研究路径制定的研究方案：

   a. 跨领域自我提升机制研究：
      - 方法：采用多源数据集，包括法律文献、医学论文等，对LLM进行跨领域训练。
      - 步骤：先对模型在特定领域进行基线训练，然后应用自我提升方法，并对比其性能差异。
      - 期望成果：揭示LLM在不同知识领域中的自我提升能力和限制。
      
   b. 元认知机制的模拟与集成：
      - 方法：开发元认知算法，模拟人类的反思、规划和监控等认知过程。
      - 步骤：在LLM中集成元认知算法，测试在复杂问题解决中的作用。
      - 期望成果：实现更加智能和灵活的语言模型，具有自我调节和自我提升的能力。
      
   c. 多模态数据融合与自我提升：
      - 方法：集成文本、图像和声音等多种数据模态，进行模型训练。
      - 步骤：在LLM中融合多模态输入，实现跨模态理解和推理。
      - 期望成果：展示LLM在多模态数据处理和推理方面的自我提升能力。
:::

# Others