大模型面试实战！Prompt调优

❝在AI领域的求职面试中，尤其是针对LLM（大语言模型）相关岗位，Prompt调优往往是考察的一个关键点。面试官不仅希望你了解调优的基本概念，还期待你能够结合实际案例，展示调优对模型性能的显著提升。那么，如何通过清晰有逻辑的方式讲解Prompt调优呢？本篇文章将通过客服系统回答质量评估案例，展示如何用层层递进的方式解析Prompt调优的过程，你可以讲案例进一步包装，帮助你在面试中打动面试官。

一、什么是Prompt调优？

Prompt调优，顾名思义，是通过调整输入给模型的提示词（Prompt），来引导模型生成更为准确、连贯或符合预期的输出。随着大语言模型如GPT系列的出现，Prompt的设计成为了提高模型效果的重要工具。

在面试中，解释Prompt调优的第一步是确保面试官理解你为什么要调优，即你遇到了什么问题。

二、案例实战-从问题出发

在构建AI系统时，最初的版本往往会暴露出模型的局限性。以下是阿里云团队发布的客服系统回答质量评估遇到的三个典型问题：

❝客服质检，就是基于一定规则检验客服的回复和对话是否合规，例如给定一条规则判断客服回答是否合乎礼貌，需要检验的是对话文本中客服是否使用了礼貌用语，使用则合规，不使用则不合规。

• 1. 回答准确性与一致性不足：质检场景的特殊性就是存在固定的参考规则，模型在校验不同规则时，回答的准确性参差不齐，无法做到严格的规则一致性。
• 2. 回答质量波动大：尤其是针对复杂问题时，模型回答的质量并不稳定，可能遗漏关键信息或出现跳跃式的回答，并且缺乏回复的结论依据。
• 3. 模型对特殊表达方式的识别不一致：在面对不同客服表达方式时，模型的识别表现参差不齐。

通过这些问题的识别，我们可以很清晰的看到Prompt调优的迭代改进的路径。接下来，我会详细说明逐步解决这些问题的思路和实操细节。

三、客服系统递进式Prompt调优

1 . 初步调优：提升回答准确性

在最初构建系统时，我们使用了一个简单的口语化提示，如：“客服回答中是否使用了礼貌用语？”但这种提示词模糊，模型对客服对话中的礼貌性识别不准确，特别是当礼貌用语变得更加多样化或隐晦时，模型容易出错。

问题特征：

• 广泛性：提示过于笼统，没有给出明确的礼貌用语标准。
• 上下文复杂性：客服对话中存在多层次交流，礼貌性可能隐藏在长句或复杂句式中。
  

  调优方向：从普通口语提示到结构化提示

我们基于对问题的分析，发现礼貌用语的判断需要更细粒度的规则指导。因此，我们将提示词逻辑结构化，明确规定礼貌用语的标准，并改用markdown的格式。

调优后的提示词：

## 请根据以下标准判断对话是否合规：
- 客服是否使用了‘请问’或类似的礼貌用语。
- 客服是否避免使用命令式语气。
- 客服是否表达了对客户问题的关心。”

通过这种结构化提示，模型能依据每条标准逐步判断客服是否使用了礼貌用语，提升了判断的准确性和一致性。

2. 进一步调优：解决复杂问题的回答质量

虽然初步调优提高了回答的准确性，但在面对复杂问题时，模型仍然无法提供高质量且连贯的回答，尤其是多步骤问题的处理容易出现跳跃。

特别是，在实际系统测试中，我们发现即便模型给出了合规或不合规的判断，但并没有解释它的判断依据。这导致我们在质检时无法了解模型是如何得出结论的，无法验证判断是否合适。

问题特征：

• 推理链条缺失：模型的输出缺少对判断过程的解释，影响了结果的可验证性。
• 不可解释性：质检人员难以理解模型的判断逻辑，无法判断模型是否基于正确的上下文做出决策。

调优方向：引入COT（Chain of Thought）提示

基于这个问题，我们引入了COT提示，让模型在做出判断的同时展示其推理过程。这种方法可以帮助质检人员更清楚地看到模型的推理链条，确保模型输出的准确性。

**COT**调优后的提示词：

“客服是否使用了礼貌用语？请详细说明你的判断过程。”

通过这种提示，模型不仅判断是否使用了礼貌用语，还会解释其判断依据。示例输出如下：

“根据对话内容，客服在开头使用了‘请问’，这是一种礼貌表达。
接下来，客服也没有使用命令式语气，因此符合礼貌用语的标准。”

这种调优增强了模型的可解释性，确保在复杂的对话场景中，我们可以追踪并验证模型的判断过程。

解决策略

：我们针对这个问题，进行了多步骤问题分解引导的调优。在提示词中加入了多轮对话的分步处理，如「逐步列出步骤」和「确保每一步回答完整」。这样引导模型逐步处理每个步骤，并在每一轮对话中保留信息的连续性。

调优效果

：通过这一步的优化，系统在复杂问题上的回答更加条理清晰，回答也变得更加连贯，减少了漏答和跳跃现象。

3. 高级调优：迭代式场景覆盖

在面对不同客服表达方式时，模型的识别表现参差不齐。例如，一些客服使用了非常规但仍然礼貌的表达方式，模型无法准确判断。此外，模型在面对新对话时，容易忽略一些细微但关键的语气或措辞。

问题特征：

• 上下文多样性：不同客服使用的礼貌表达形式可能不完全相同，模型难以通过单一提示进行有效识别。
• 新对话误判：模型对未见过的对话缺乏判断依据，容易出现偏差。

调优方向：引入Few-Shot学习

为了让模型更好地处理这些复杂和多样的对话表达，我们采用了Few-Shot学习，通过提供多个正面示例，帮助模型更好地理解哪些表达是合规的。

Few-Shot调优后的提示词：

## 以下对话中，客服使用了礼貌用语：
- 客服说：‘请问，您遇到的问题是无法登录吗？’ 
- 客服说：‘麻烦您提供一下订单编号，谢谢！’ 
请判断接下来的对话中，客服是否使用了礼貌用语。”

通过提供多个示例，模型能够快速学习并在新的对话场景中更准确地判断是否符合礼貌用语标准，显著减少了误判的情况。

四、总结

通过这个阿里云客服系统的调优案例，我们可以看到Prompt调优是一个层层递进、针对问题逐步优化的过程。从解决回答的准确性问题，到提升回答的一致性、情感识别能力，最后实现了整个系统的可用性提升。这个过程中，展示了如何通过调优Prompt，使模型逐步走向稳定与高效。

在面试中，通过类似的案例分析，你可以清晰地向面试官展示你的调优能力，并证明你能够通过不断优化模型，解决实际问题，提升模型的整体表现。

最后的小建议：

• 先识别问题，再进行针对性调优。面试官关心的不仅是结果，更在意你如何发现和定义问题。
• 层层递进，展示调优的思路和效果。分步骤的调优过程能更好地展示你的逻辑和细致的技术理解。
• 结果导向，强调调优后的改进。每次调优后的变化要明确突出，尤其是对模型性能的提升。

通过这样的方式，你将能够在面试中清晰而有力地解释Prompt调优的实际应用，并为面试官留下深刻印象。

今天的内容就到这里，如果老铁觉得还行，可以来一波三连，感谢！