这篇文章主要介绍了如何在Chrome Canary浏览器中本地运行AI模型。

---

序

在设备上直接运行AI的浏览器时代即将来临。

目前这项功能只在Chrome Canary版本中可用，这意味着它很快就会（或许）出现在我们面前。

在本文中，我将向你展示如何在你的设备上运行它，这样你就可以尝试一下，并思考一下你能想到的使用方式。

需要强调的是，这是本地化的，在没有互联网连接的情况下依然可以运行window.ai。

设置

启动和运行只需要5分钟！

1. 下载Chrome Canary

   前往Chrome Canary网站并下载Chrome Canary。

2. 启用“Gemini Nano的Prompt API”。

   打开Chrome Canary，在地址栏输入chrome://flags/并按回车。

   然后在顶部的搜索框中输入“prompt API”。

   你应该只看到一个选项“Prompt API for Gemini Nano”。

   将其切换为“启用”。

3. 启用“启用设备上的优化指南”。

   当你在chrome://flags页面时，你需要启用第二个项目。

   清除之前的搜索，搜索“optimization guide on”。

   你应该只看到一个选项“Enables optimization guide on device”。

   这次你想启用它，但要选择“Enabled ByPassPerfRequirement”选项。

4. 安装Gemini Nano

   最后一步，我们需要在我们的设备上安装Gemini Nano。

   这实际上是一个更大工具的一部分，但我们不需要担心这个，除了它帮助我们知道要下载什么。

   警告：这个文件是1.5GB。它没有在任何地方告诉你这一点，所以如果你的连接速度慢/按GB付费的数据/存储空间低，你可能不想这么做！

   前往：“chrome://components/”。

   按Ctrl + f搜索“Optimization Guide”。

   你会看到一个项目“Optimization Guide On Device Model”。

   点击“检查更新”，它将安装该文件。

5. 完成！

   最后一步：重启Chrome Canary以使更改生效。

   添加完毕，现在我们可以继续使用本地AI了！

使用window.ai

如果一切按预期工作，那么现在你应该能够在打开DevTools（F12），前往“控制台”标签页并开始玩耍！

检查的最简单方法是在控制台中输入window.，看看ai是否作为选项出现。

• canCreateGenericSession 和 canCreateTextSession 仅用于检查您是否具备使用这些特性所需的一切。如果结果是 ‘readily’，则表示您已经准备好了。
• createGenericSession 和 createTextSession 用于创建会话，您可以从这些会话中使用模型。
• defaultGenericSessionOptions 和 defaultTextSessionOptions 简单地返回最后两个函数使用的默认选项参数。

如果没有，请回去检查你是否漏掉了哪一步！

创建我们的第一个会话。

只需要一个命令就可以启动与我们的AI模型的会话。

const chatSession = await window.ai.createTextSession();

提示：不要忘记await！

还有一个createGenericSession()的选项，但我还不清楚它们之间的区别！

现在我们可以使用该会话来提问。

发送提示

为此，我们只需要在我们的chatSession对象上使用.prompt函数！

const result = await chatSession.prompt('hi, what is your name?');

再次提醒，所有异步操作，不要忘记await。

根据你的提示的复杂性和你的硬件，这可能需要从几毫秒到几秒钟的时间，但最终你应该会在控制台看到undefined，一旦它完成了。

从这里可以看到它是真的支持离线使用的。

你不想一直发送多个命令，所以你可以将这个函数复制并粘贴到你的控制台中，以使事情变得更容易：

async function askLocalGPT(promptText){
  if (window.chatSession){
    console.log('starting chat session');
    window.chatSession = await window.ai.createTextSession();
    console.log('chat session created');
    return console.log(await chatSession.prompt(promptText));
  }
}

现在你只需要在控制台中输入askLocalGPT(“prompt text”)。

另外经过测试发现它现在还不能记住上下文

目前还找不到API的详细介绍，截止目前测试了systemPrompt,initialPrompts参数似乎也未见生效。

使用评价

好用吗？响应速度一般。

不好用？真的吗？

这其实取决于你使用的衡量标准。如果你试图将它与Claude或ChatGPT进行比较，那是很糟糕的。

然而，对于本地玩耍和实验来说，它是很棒的！

所以如果你想进行一个模型“记住”之前说过的话的对话，你需要用你的新问题来提供之前的问题和答案。

它好玩吗？

是的。

我能够让它在我的浏览器中本地工作，这很酷。它还可以做简单的编码问题等。

而且，美妙之处在于没有大账单！你可以随意使用完整的32k上下文窗口，而不必担心因错误而产生大账单。

我只是触及了新API的表面，现在也只是出于本地AI的早起起步阶段。

本地AI有什么意义？

目前，希望使用语言模型的Web开发人员必须要么调用云API，要么自带并使用WebAssembly和WebGPU等技术运行它们。通过提供对浏览器或操作系统现有语言模型的访问，我们可以提供以下与云API相比的优势：

• 本地处理敏感数据，例如允许网站结合AI功能和端到端加密。
• 潜在的更快结果，因为没有服务器往返。
• 离线使用。
• 为Web开发人员降低API成本。

一旦AI对所有人在浏览器中可用，我们也就有了更大的想象空间：

• 通过 AI 增强内容消费：包括摘要、回答有关某些内容的问题、分类和特征。
• AI 支持的内容创作：例如写作辅助、校对、语法更正和重新表述。

最后的最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】