LangChain 入门必备指南，轻松学习、游刃有余

LangChain 使构建由LLM驱动的应用程序变得简单。它提供的工具极大简化了上述所有挑战。使用LangChain，可以轻松地在统一的界面中与不同的LLM类型进行交互，管理模型版本、管理提示版本，并连接LLM。所有这些功能都打包在一个易于使用的API（应用程序接口）中，因此可以在应用程序中快速利用LLM。

大模型与自然语言处理

1105人浏览 · 2024-01-24 23:26:04

大模型与自然语言处理 · 2024-01-24 23:26:04 发布

像 OpenAI 的GPT-4这样的大型语言模型（LLM）已经风靡全球。它们可以自动执行各种任务，如回答问题、翻译语言、分析文本等等。LLM是第一种真正让人感觉像是“人工智能”的机器学习类型。

然而，在实际产品中应用 LLM 仍存在挑战。特别是 LLM 管理，这是其中最棘手和繁琐的挑战之一。如果想要搭建由LLM驱动的应用程序，需要管理以下几个方面：

不同的LLM类型——OpenAI、Anthropic、开源等等。
模型版本——更新到最新版本。
提示版本——不断调整和改进提示。
模型链接——可能需要组合或链接多个LLM的输入和输出，以获得最终结果。

要独立完成所有这些工作需要付出大量努力。

这就是 LangChain 的用武之地！喜欢本文记得收藏、关注、点赞。

二、介绍 LangChain

2.1 安装

开始使用LangChain非常简单。可以使用pip安装它，如下所示：

pip install langchain

或者使用conda：

conda install langchain -c conda-forge

最后，如果想要获取所有最新功能，可以直接从GitHub存储库构建该库。

2.2 设置

为了充分利用LangChain，需要将其与模型提供商和API等不同组件集成。可以为每个要连接的提供商设置环境变量。

例如，对于OpenAI，可以设置OpenAI API密钥：

export OPENAI_API_KEY="..."

或者，在Python应用程序中开始使用LangChain后，可以在代码中设置变量：

from langchain.llms import OpenAI

llm = OpenAI(openai_api_key="...")

三、LangChain的关键部分

LangChain的出色之处在于它非常灵活和模块化，这使得它可以将语言处理分解为不同的部分，让开发者可以创建自定义工作流程。以下是它的关键部分：

组件和链： 在语言处理中执行特定任务的模块。链将这些组件连接起来以创建自定义工作流程。
提示模板： 可重复使用的提示，可以更改特定值。例如，可以对询问用户姓名的提示进行个性化设置。
向量存储： 它们通过文档的数值意义来保存和搜索信息。
索引和检索器： 存储和查找有关模型训练数据的详细信息，以获得更好的响应。
输出解析器： 管理和优化模型的响应，使其更结构化。
示例选择器： 从模型的训练数据中选择正确的示例，提高响应的准确性。
代理： 具有特定任务的独特实例，如聊天机器人或移动应用程序。

四、在LangChain中构建基于LLM的应用程序

LangChain的LLM类可连接到不同的语言模型提供商，如OpenAI和Hugging Face。可以使用LangChain轻松构建一个应用程序，该应用程序接受提示并生成输出。

例如：

import os 
from langchain.llms import OpenAI

llm = OpenAI(model_name="gpt-3.5-turbo", 
             openai_api_key=os.environ["OPENAI_API_KEY"])

print(llm("Tell me a joke about pizza!"))

这可能会输出如下结果：

Why did the pizza maker go to art school?

Because they wanted to get a "pizza" the creative action!

如果想要切换模型，只需在代码中更改一些细节就可以了。

五、在 LangChain 中管理 LLM 的提示信息

LLM需要特定的提示信息才能产生正确的输出。LangChain中的PromptTemplate通过使用模板生成提示信息来提供帮助。用户可以在保持主要结构的同时轻松更改值。

例如：

from langchain.llms import OpenAI
from langchain import PromptTemplate
import os

USER_INPUT = "chocolate cake"

llm = OpenAI(model_name="gpt-3.5-turbo", 
             openai_api_key=os.environ["OPENAI_API_KEY"])

template = """I'm interested in making {dish}. Can you provide me with a simple recipe for it, including the main ingredients and basic instructions?"""

prompt = PromptTemplate(input_variables=["dish"], template=template)

final_prompt = prompt.format(dish=USER_INPUT)

print(f"LLM Output: {llm(final_prompt)}")

这样可以轻松管理所有的提示信息并处理动态输入。

六、将LLM和提示信息结合在多步骤工作流程中

在LangChain中的链接（Chaining）意味着将LLM与其他元素结合起来用于应用程序。你可以：

使用一个LLM的输出作为另一个LLM的输入。
将LLM与模板相结合。
将LLM与外部数据或聊天记录混合。

例如：

from langchain.llms import OpenAI
from langchain.chains import LLMChain, SimpleSequentialChain
from langchain import PromptTemplate
import os

llm = OpenAI(model_name="gpt-3.5-turbo", 
             openai_api_key=os.environ["OPENAI_API_KEY"])

# 链中的第一步
template = "Can you provide a brief summary of the movie {movie_title}? Please keep it concise."

first_prompt = PromptTemplate(input_variables=["movie_title"], 
                              template=template)

chain_one = LLMChain(llm=llm, prompt=first_prompt)

# 链中的第二步
second_prompt = PromptTemplate(input_variables=["actor"], 
                               template="Can you list three movies featuring {actor}?")

chain_two = LLMChain(llm=llm, prompt=second_prompt)

# 将第一步和第二步链结合起来
overall_chain = SimpleSequentialChain(chains=[chain_one, chain_two], verbose=True)

final_answer = overall_chain.run("Inception")