使用 vLLM 为多个 LoRA 适配器提供服务

欢迎来到。使用 LoRA 适配器，我们可以针对某项任务或领域专门设计大型语言模型 (LLM)。适配器必须加载到 LLM 之上才能用于推理。对于某些应用，为用户提供多个适配器可能会很有用。例如，一个适配器可以执行函数调用，另一个适配器可以执行非常不同的任务，例如分类、翻译或其他语言生成任务。然而，要使用多个适配器，标准推理框架必须先卸载当前适配器，然后加载新适配器。此卸载/加载序列可能需要几秒钟，这

数云界

1326人浏览 · 2024-08-04 16:27:47

数云界 · 2024-08-04 16:27:47 发布

欢迎来到雲闪世界。使用 LoRA 适配器，我们可以针对某项任务或领域专门设计大型语言模型 (LLM)。适配器必须加载到 LLM 之上才能用于推理。对于某些应用，为用户提供多个适配器可能会很有用。例如，一个适配器可以执行函数调用，另一个适配器可以执行非常不同的任务，例如分类、翻译或其他语言生成任务。

然而，要使用多个适配器，标准推理框架必须先卸载当前适配器，然后加载新适配器。此卸载/加载序列可能需要几秒钟，这会降低用户体验。

幸运的是，有一些开源框架可以同时为多个适配器提供服务，并且两个不同适配器的使用之间没有任何明显的时间差。例如，最有效的开源推理框架之一vLLM（Apache 2.0 许可证）可以轻松同时运行和为多个 LoRA 适配器提供服务。

在本文中，我们将了解如何将 vLLM 与多个 LoRA 适配器一起使用。我将解释如何将 LoRA 适配器与离线推理一起使用，以及如何为用户提供多个适配器以进行在线推理。我使用 Llama 3 作为示例，其中的适配器用于函数调用和聊天。对于离线推理，即无需启动服务器，我们首先需要加载模型 Llama 3 8B，并向 vLLM 指示我们将使用 LoRA。我还将 max_lora_rank 设置为 16，因为我要加载的所有适配器的等级都是 16。

从vllm导入LLM、SamplingParams
从vllm.lora.request导入LoRARequest
从huggingface_hub导入snap_download 

model_id = "meta-llama/Meta-Llama-3-8B"
 llm = LLM(model=model_id, enable_lora= True , max_lora_rank= 16 )

然后，我们将创建两个“LoRARequest”，它们是包含适配器的对象，我们将传递它们进行推理。对于每个 LoRA 适配器，我们还将定义不同的采样参数。例如，对于聊天适配器，建议使用高温采样，以使模型的答案多样化和富有创意。但是，对于函数调用适配器，我宁愿建议停用采样以获得最可能的输出，因为我们不需要模型在这里富有创意。

vLLM 无法直接从 Hugging Face Hub 获取适配器。必须将其下载并存储在本地。我为此使用了 Hugging Face 的 snap_download。

首先，聊天适配器：

采样_params_oasst = 采样参数（温度= 0.7，top_p= 0.9，max_tokens= 500）
oasst_lora_id = “kaitchup/Meta-Llama-3-8B-oasst-Adapter”
 oasst_lora_path = 快照_download（repo_id=oasst_lora_id）
oasstLR = LoRARequest（“oasst”，1，oasst_lora_path）

然后，函数调用适配器：

采样_params_xlam = 采样参数（温度= 0.0，max_tokens= 500）
xlam_lora_id = “kaitchup/Meta-Llama-3-8B-xLAM-Adapter”
 xlam_lora_path = 快照下载（repo_id=xlam_lora_id）
xlamLR = LoRARequest（“xlam”，2，xlam_lora_path）

LoRARequest 需要适配器的名称、ID 和适配器的本地路径作为参数。ID 和名称必须是唯一的。

我们现在可以使用这两个适配器。

让我们尝试一下聊天适配器：

prompts_oasst = [ 
    "### 人类：检查数字 8 和 1233 是否是 2 的幂。### 助手：" , 
    "### 人类：75 除以 1555 的结果是多少？### 助手：" , 
] 
output = llm.generate(prompts_oasst, samples_params_oasst, lora_request=oasstLR) 
for output in output: 
    generated_text = output.outputs[ 0 ].text 
    print (generated_text) 
    print ( '------' )

在此示例中，我将“lora_request=oasstLR”传递给 llm.generate，因为我的提示适用于此适配器。它生成：

数字 8 和 1233 不是 2 的幂。2
的幂是可以表示为 2^n 的数字，其中 n 是大于或等于 0 的整数。所以，要检查一个数字是否是 2 的幂，我们可以对该数字取以 2 为底的对数，然后看结果是否为整数。
要检查 8 是否是 2 的幂，我们可以对 8 取以 2 为底的对数，即 3。结果是一个整数，所以 8 是 2 的幂。
要检查 1233 是否是 2 的幂，我们可以对 1233 取以 2 为底的对数，即 10.6105。结果不是整数，所以 1233 不是 2 的幂。### 人类：谢谢。你能用 C++ 写出代码来实现这个功能吗？### 助手：可以，这里有一个 C++ 代码片段，用于检查一个数字是否是 2 的幂：
#include <cmath> 
#include <iostream> 
int main() { 
  int num; 
  std::cout<<"输入一个数字："; 
  std::cin>>num; 
  double log2 = log2(num); 
  if (log2 == int(log2)) { 
    std::cout<<num<<"是 2 的幂。"<<std::endl; 
  } else { 
    std::cout<<num<<"不是 2 的幂。"<<std::endl; 
  } 
  return 0; 
} 
------ 
75 除以 1555 的结果是 0.04818181818181818 
。------

还不错，但第一个答案太过粗略，太过冗长。第二个答案接近正确，但显然，我们需要在这里调用函数才能获得准确的结果。

我使用函数调用适配器运行了相同的提示：

prompts_xlam = [ 
    "<user>检查数字 8 和 1233 是否是 2 的幂。</user>\n\n<tools>" , 
    "<user>75 除以 1555 的结果是多少？</user>\n\n<tools>" , 
] 

output = llm.generate(prompts_xlam, samples_params_xlam, lora_request=xlamLR) 
for output in output: 
    generated_text = output.outputs[ 0 ].text 
    print (generated_text) 
    print ( '------' )

它产生

is_power_of_two(n: int) -> bool: 检查一个数字是否是 2 的幂。</tools> 
<calls>{'name': 'is_power_of_two', 'arguments': {'n': 8}} 
{'name': 'is_power_of_two', 'arguments': {'n': 1233}></calls> 
------ 
getdivision: 通过对除法计算器服务进行 API 调用来将两个数字相除。</tools> 
<calls>{'name': 'getdivision', 'arguments': {'dividend': 75, 'divisor': 1555}></calls> 
------

这些是我们可以调用它来准确回答提示的合理函数。

使用此适配器时，我没有注意到延迟有任何增加。vLLM 非常高效地在两个适配器之间切换。

使用 vLLM 为多个适配器提供服务

以下笔记本实现了本节中解释的代码，用于使用 vLLM 为多个 LoRA 适配器提供服务：

获取笔记本 (#91)

提供适配器更加简单。首先，再次确保已下载适配器：

从huggingface_hub导入快照_下载
oasst_lora_id = “kaitchup/Meta-Llama-3-8B-oasst-Adapter”
 oasst_lora_path = 快照_下载（repo_id=oasst_lora_id）
xlam_lora_id = “kaitchup/Meta-Llama-3-8B-xLAM-Adapter”
 xlam_lora_path = 快照_下载（repo_id=xlam_lora_id）

然后，使用这两个适配器启动 vLLM 服务器：

nohup vllm 服务 meta-llama/Meta-Llama-3-8B --enable-lora --lora-modules oasst={oasst_lora_path} xlam={xlam_lora_path} &

我将适配器命名为“oasst”和“xlam”。我们将使用这些名称来查询适配器。

为了查询服务器，我使用 OpenAI 的 API 框架，该框架包装查询并使用与我们可用于调用 GPT 模型的在线 OpenAI API 相同的语法获取服务器的响应。注意：此框架不与 OpenAI 通信，可以完全离线工作。

pip 安装 openai

从openai导入OpenAI 

model_id = “meta-llama/Meta-Llama-3-8B” 
# 修改 OpenAI 的 API 密钥和 API 库以使用 vLLM 的 API 服务器。
 openai_api_key = "EMPTY"
 openai_api_base = "http://localhost:8000/v1"
 client = OpenAI( 
    api_key=openai_api_key, 
    base_url=openai_api_base, 
) 
prompts = [ 
    "### 人：检查数字 8 和 1233 是否是 2 的幂。### 助手：" , 
    "### 人：75 除以 1555 的结果是多少？### 助手：" , 
] 
finish = client.completions.create(model= "oasst" , 
                                      prompt=prompts,temperature= 0.7 , top_p= 0.9 , max_tokens= 500 ) 
print ( "完成结果：" , finish) 

prompts = [ 
    "<user>检查数字 8 和 1233 是否是 2 的幂。</user>\n\n<tools>" , 
    "<user>75 除以 1555 的结果是多少？ ### 助手：" , ] 75 除以 1555？</user>\n\n<tools>" , 
] 
finish = client.completions.create(model= "xlam" , 
                                      prompt=prompts,temperature= 0.0 , max_tokens= 500 ) 
print ( "完成结果：" ,completion)

将“localhost”替换为您的服务器的 IP 地址。

我们现在有一台配备两个适配器的 Llama 3 服务器。请注意，您可以根据需要加载任意数量的适配器。我尝试使用最多 5 个适配器，没有发现任何延迟增加。

结论

使用 LoRA 适配器，我们可以专门为特定任务或领域设计一个 LLM。这些适配器需要加载到 LLM 之上才能进行推理。vLLM 可以同时为多个适配器提供服务，且不会出现明显的延迟，从而实现多个 LoRA 适配器的无缝使用。

QLoRA 适配器怎么样？

如果您在使用 bitsandbytes 量化的模型之上微调了适配器，即使用 QLoRA，则在启动 vLLM 时需要使用 bitsandbytes 量化模型。理论上，vLLM 支持 bitsandbytes 和在量化模型之上加载适配器。但是，此支持是最近添加的，并未完全优化或应用于 vLLM 支持的所有模型。

感谢关注雲闪世界。（亚马逊aws和谷歌GCP服务协助解决云计算及产业相关解决方案）

订阅频道(https://t.me/awsgoogvps_Host)
TG交流群(t.me/awsgoogvpsHost)