DB-GPT安装部署使用初体验
参考源码部署注:如本地部署大模型,可离线下载后放置DB-GPT/models目录下。考虑大家资源有限,此处介绍代理模式安装。代理模式即各大大模型厂商提供的API接口,有免费的、限免的、付费的,大家酌情选择。阿里系: https://dashscope.console.aliyun.com/billing科大讯飞:星火大模型,官网领取额度结论:通义千问qwen-turbo模型效果稍好点。有条件的可以
DB-GPT是什么?引自官网:
DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。
目的是构建大模型领域的基础设施,通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单,更方便。
数据3.0 时代,基于模型、数据库,企业/开发者可以用更少的代码搭建自己的专属应用。
总而言之:基于大模型的数据集大成者的应用。
功能
- 私域问答&数据处理&RAG(Retrieval-Augmented Generation)
支持内置、多文件格式上传、插件自抓取等方式自定义构建知识库,对海量结构化,非结构化数据做统一向量存储与检索 - 多数据源&GBI(Generative Business Intelligence)
支持自然语言与Excel、数据库、数仓等多种数据源交互,并支持分析报告。 - 多模型管理
海量模型支持,包括开源、API代理等几十种大语言模型。如LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱、星火等。 - 自动化微调
围绕大语言模型、Text2SQL数据集、LoRA/QLoRA/Pturning等微调方法构建的自动化微调轻量框架, 让TextSQL微调像流水线一样方便。 - Data-Driven Multi-Agents&Plugins
支持自定义插件执行任务,原生支持Auto-GPT插件模型,Agents协议采用Agent Protocol标准 - 隐私安全
通过私有化大模型、代理脱敏等多种技术保障数据的隐私安全
其他介绍详见官方文档
安装部署
注:如本地部署大模型,可离线下载后放置DB-GPT/models目录下。
考虑大家资源有限,此处介绍代理模式安装。
代理模式即各大大模型厂商提供的API接口,有免费的、限免的、付费的,大家酌情选择。
免费/限免的有:
- 阿里系: https://dashscope.console.aliyun.com/billing
- 科大讯飞:星火大模型,官网领取额度
结论:通义千问qwen-turbo模型效果稍好点。
有条件的可以上chat-gpt和智谱AI,效果更好。
参数配置
以通义千问为例。
- 拷贝
.env.template
为.env
- 设置
LLM_MODEL=tongyi_proxyllm
# PROXYLLM_BACKEND = qwen-1.8b-chat (可选模型, 免费)
PROXYLLM_BACKEND = qwen-turbo
EMBEDDING_MODEL=text2vec
#通义千问
PROXY_SERVER_URL=https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation
# Aliyun tongyi
TONGYI_PROXY_API_KEY=={自己申请的key}
启动
python ./dbgpt/app/dbgpt_server.py
启动成功:
INFO: Uvicorn running on http://0.0.0.0:5000 (Press CTRL+C to quit)
2024-03-25 19:51:06 bogon dbgpt.model.adapter.proxy_adapter[1457] INFO Load model from params:
=========================== ProxyModelParameters ===========================
model_name: tongyi_proxyllm
model_path: tongyi_proxyllm
proxy_server_url: https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation
proxy_api_key: ********
proxy_api_base: None
proxy_api_app_id: None
proxy_api_secret: None
proxy_api_type: None
proxy_api_version: None
http_proxy: None
proxyllm_backend: qwen-turbo
model_type: proxy
device: cpu
prompt_template: None
max_context_size: 4096
llm_client_class: None
======================================================================
功能演练
地址:http://127.0.0.1:5000/
数据库配置
支持各大主流传统数据库、大数据库、KV数据库等。
功能清单
支持数据对话、数据库对话、Excel对话、知识库对话、报表分析、代理对话等。
数据对话
效果还行,单表查询不错。
数据库对话
效果一般,无法进行数据库连接操作。
Excel对话
上传Excel后,会进行初步的总结。
整体还行。
知识库对话
略。
常规操作。
报表分析
无法达到预期效果,应该和模型有关。
官方的一段话:数据对话对模型能力的要求相对较高,ChatGPT/GPT-4有较高的成功率。其他开源模型可以尝试Vicuna-13B。
其他功能
- 模型管理
- 应用开发
- 插件开发
- 智能体编排语言(AWEL) 这个看上去很6的样子
持续跟进。。。
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)