关于企业级人工智能应用常用架构，如果老板让你负责牵头引入人工智能技术，你知道该怎么做吗？

在当前人工智能爆火的时代，人工智能走进了越来越多的企业，很多企业都在业务中引入人工智能技术。但在一些没接触或刚接触人工智能的技术人员来说，领导突然要引入人工智能技术时，并且让拿出一个技术方案来，这时很多人都会不知所措，无从下手。今天就来讨论一下企业级人工智能解决方案应该是什么样的。‍‍‍‍‍‍‍。

程序猿李巡天

1006人浏览 · 2024-07-13 20:38:25

程序猿李巡天 · 2024-07-13 20:38:25 发布

“大模型+本地知识库，是主流的技术架构方向”

在当前人工智能爆火的时代，人工智能走进了越来越多的企业，很多企业都在业务中引入人工智能技术。

但在一些没接触或刚接触人工智能的技术人员来说，领导突然要引入人工智能技术时，并且让拿出一个技术方案来，这时很多人都会不知所措，无从下手。

今天就来讨论一下企业级人工智能解决方案应该是什么样的。‍‍‍‍‍‍‍

01.人工智能常见的应用技术

人工智能领域是一个繁杂的技术领域，因为它涉及到多种不同的学科和技术，但作为应用者来说，我们不需要关心人工智能是怎么发展的，以及怎么做出来的。

我们需要关心的是，怎么在人工智能之上构建应用，解决实际的业务问题。而这才是我们更多需要了解的技术。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

大模型技术

人工智能目前最重要的技术之一，就是基于机器学习模型，使用庞大数据训练出来的具有大量参数的大模型技术，大模型技术可以说是当代人工智能技术的核心。‍‍‍

而根据不同的任务，大模型技术又有多种分类，比如自然语言处理(NLP)，计算机视觉(CV)，分类任务，文生图，声音，图像，视频处理任务等。‍‍‍‍‍

而不管什么模型，实现原理虽然不尽相同，但我们在使用的过程中，只需要按照自己的需求，选择合适的模型即可。‍‍‍‍‍‍‍‍‍

本地知识库技术

其次就是本地知识库，本地知识库的作用一是为了填补大模型天生的缺陷，那就是数据更新不及时；其次就是，节省成本。‍‍

因为不论大模型的训练和微调，哪怕是使用第三方的开源模型，同样需要很高的成本，包括数据收集成本，训练成本，以及技术人力成本等。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而本地知识库因为使用简单，成本低，技术要求不高，就成为了大模型最好的补充技术之一。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

_AI Agent技术_‍‍

还有就是AI Agent技术，如果把大模型比作人的大脑，那么AI Agent技术就是大模型的手和脚。

有了agent技术，大模型就可以通过function calling的方式调用外部工具，这大大扩展了大模型的能力边界。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

因为数据安全的原因，有些企业只能在企业内部使用大模型，而不能使用一些第三方的大模型；因此，对有资金和技术的企业，就可以从头设计或使用一些开源的模型进行训练，并部署一个大模型。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

本地大模型部署工具

但对一些小企业无法做到模型的设计与训练，那么它们就可以使用一些开源大模型，然后在使用一些本地部署模型的框架，来解决数据安全的问题。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

比如，ollama，lmstudio，gpt4all等开源框架，在本地部署大模型，这些开源框架，不但提供了客户端的用户接口，而且还提供了编程接口。‍‍

再有就是，类似于Langchain和AnythingLLM的开发框架，这两种框架的作用是，让你能够更加方便的使用大模型。其功能类似于java web开发中的，ssm框架，有了它们就可以更加方便的开发应用。‍‍‍‍‍‍‍‍‍‍

当然，如果你不想使用它们也可以，可以直接使用大模型原生的SDK工具包，或者自己开发工具包。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

02.企业人工智能应用架构

在企业应用中，根据不同的企业，不同的业务，以及公司的技术能力和资金能力，可以选择不同的系统架构。‍‍‍‍‍

首先，对一些小微企业来说，就是那种技术能力和资金都不充足的企业，最好的选择方式就是：

第三方大模型+本地知识库的方式‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

之所以选择这种方式，是因为自己训练和维护一个模型的成本比较高，很多企业可能都没有这个能力。‍‍‍‍‍‍‍‍

而且，因为第三方大模型基本上都属于通用模型，也就是什么都懂，但什么都不精。因此通用模型的最明显的一个缺点就是在垂直领域表现泛泛，因此可以使用本地知识库的方式来补充这一点。

聊天机器人小程序，感兴趣的可以点击查看：‍‍‍‍‍

其次，对一些有能力部署本地模型，但又是很有能力的企业，那么就可以选择使用的方式是：‍‍‍‍

本地大模型+第三方大模型+本地知识库‍‍‍

之所以选择这种方式是因为，因为很多企业的业务并不是一个模型就可以解决的，很多时候都需要多种模型的搭配使用，比如需要一个自然语言模型处理客户问题，一个音频模型来给客户打电话等。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而且也因为部分数据安全问题，比如涉及到一些企业内部数据，不适合在第三方模型上使用。‍‍‍‍‍‍‍‍‍‍‍

因此使用这种方式，一是可以把自己的核心业务和核心数据放到自己本地模型上进行处理；其次可以把一些边缘业务使用第三方大模型来完成。

这样既节约了成本，也降低了企业维护本地模型的成本；而本地知识库的作用和第一种相同。‍‍‍‍‍

最后就是那种对数据安全要求比较高的企业，并且它们有足够的技术和资金支持，那么它们就可以选择自己设计和训练模型，让自己的核心业务完全运行在本地大模型中。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

本地大模型+本地知识库

这种方式，只适合那种对业务安全性要求较高，并且财大气粗，具有一定技术实力的企业，比如国家电网。‍‍‍‍‍‍‍‍‍‍‍‍

至于AI Agent技术，根据不同的业务方向，可以根据需求选择是否使用。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

从这也可以看出，不论采用何种方式，本地知识库都是必不可少的一环。原因就是因为大模型的天生缺陷，以及成本问题。‍‍‍‍‍‍

除非大模型能够真正学会自我学习，并且能够降大模型的成本，本地知识库才有可能退出市场。‍‍‍‍‍‍‍

这也是为什么最近本地知识库爆火的原因。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述