AIGC 与实时互动游戏:西游大绘战 |N3 连麦对谈干货
对谈是 Mixlab 与 ComfyUI 中文社区共同发起的语音连麦活动,关注AI+ 具体应用领域。希望能快速跟进AI 与不同领域相结合的落地方式,并创造新的可能性。ComfyUI 爱好者中文社区帮助优秀的 AI 创作者,提升个人品牌价值。Mixlab 无界社区开源、跨界线上孵化平台N3:生成式 AI 与实时互动游戏本期主要探讨:如何通过 ComfyUI 和其他技术(如ChatGPT、TTS...
对谈 是 Mixlab 与 ComfyUI 中文社区共同发起的语音连麦活动,关注 AI+ 具体应用领域。希望能快速跟进 AI 与不同领域相结合的落地方式,并创造新的可能性。
ComfyUI 爱好者中文社区
帮助优秀的 AI 创作者,提升个人品牌价值。
Mixlab 无界社区
开源、跨界线上孵化平台
N3:生成式 AI 与实时互动游戏
本期主要探讨:如何通过 ComfyUI 和其他技术(如ChatGPT、TTS)创造出有趣的游戏体验 ?
社区创建者 Shadow:
“我们可以用工具去「测试我们各种各样的想法」,把我们的创意变成产品。”
对谈嘉宾之一 Rui:
“现在的这个游戏它还是跟以前的不大一样。因为之前的那个剧情走向,只有几种选择。现在「借助 GPT,可以实现无限种可能」,画面还能实时生成。”
嘉宾 Rui 在本次连麦里,向大家展示了他使用 ComfyUI 创作的一款以《西游记》为主题的,实时互动游戏《西游大绘战》—— 这是一款将 AI 技术和游戏融合的游戏。
Rui 刚开始只是突发奇想,在绘画软件里搭了个互动对话游戏,结果的结果是:零代码,一天搞定!⚡️ 他通过 ComfyUI 做了一个与 GPT 实时互动来影响剧情的游戏,而故事的背景选的是《西游记》,引入了诸如,文本转语音(TTS)、ChatGPT、Stable Diffusion(SD) 等多种 AI 技术来进行创作。
在 ComfyUI 工作流中构建“西游记”
来,先给 ‘工具们’ 分工
你将扮演刚出生的美猴王,孙悟空。
GPT 负责剧本编写
SDXL 和 Dall.E3 负责创作插图
MS-TTS 负责提供各种声音的口语对话
经过这一系列的布置和设计,一切都像一幅卷轴画一样,呈现在你的眼前。
继续在 GPT 提供的 4 个选项里选,游戏将继续展开。在这个过程中,GPT 都能全程陪你,自由地改变故事情节,将想象力直观呈现出惊人的效果。
看到这里,大家一定已经有很多很好奇啦,比如:
所谓「技术的融合」是怎么做到的 ?
Rui 首先利用 ChatGPT 生成具有逼真性和相关性的对话,使游戏角色能够根据玩家的行动和选择作出有意义的反应。
同时,将文本转换为语音,为游戏角色提供了更加自然和生动的语音,增强了玩家的沉浸感。
再通过 GPT 生成 Stable Diffusion 的 Prompt,用于创造游戏中的视觉元素,如背景、角色和场景,使得游戏的视觉效果能够根据玩家的行为进行动态变化。
如何处理并优化 AI 生成的内容 ?
Rui 说,AI 技术在生成创意内容时非常好用,但同时也需要人的引导、调整以达到最佳效果。他也是通过不断试验和调整,才找到平衡 AI 自动生成和手动调整之间的最佳方式。
AI 如何改变游戏的叙事和互动 ?
AI 生成剧情充满无限可能性,与传统的线性剧情游戏相比,AI 实时生成的剧情可以提供更多元化和个性化的游戏体验,这种技术不仅限于文字,还可以结合图像生成,创造一个丰富、多模态的游戏世界。
点击图片阅读详细的工作流
学习 ComfyUI 的小 tips
Rui 指出,作为没有技术背景的设计师,可能最初接触 ComfyUI 会感到有些困难,其实不必太过担心。他给了 4 个建议:
首先,很多教程可能已经过时或不准确,特别是对于设计师来说,这是一个学习上的障碍点。他提议创建更基础的教程,尤其是关于环境设置的教程,大家可以查阅社区创建的教程。
其次,我们需要理解 SD 的整个生成流程和原理,这是灵活使用 ComfyUI 的基础。
另外,学习 ComfyUI 需要更多实践多探索,跨界学习。大家可以利用开源社区的资源,了解 ComfyUI 各个节点的参数和功能,这对于学习和使用 ComfyUI 也非常有帮助。
在连麦直播中,Shadow 和熊叔也提供了一系列学习建议,希望大家都通过自己的努力,成为 AI 时代的超级个体:
Shadow:
探索各类技术工具的同时,进行系统性的学习,比如Python 和JavaScript 的系统性。
熊叔:
要克服对未知学习信息的恐惧,利用 AI 技术解决具体的问题。
《西游大绘战》不仅是一款游戏,更是一个展示 AI 技术和创新思维如何结合,以创造独特体验的典范,我们也已经看到 AIGC 和实时互动游戏的巨大潜力。
嘉宾介绍
Rui zhang
Rui ,资深游戏设计师和管理人,曾在多家知名游戏公司担任重要角色。随着 AI 技术的不断发展,他开始探索将 AI 技术融入游戏设计/实时互动游戏领域。他 ComfyUI 工作流的作品,还在 Mixlab 和 ComfyUI 中文社区获得了广泛的关注。
- N3-
欢迎和我们预约下一期对谈主题:
![Logo](https://devpress.csdnimg.cn/79de2bf0b7994defa4242ef90d5513fa.jpg)
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)