Genmo 是一家专注于视频生成的人工智能公司,该公司宣布发布 Mochi 1 的研究预览版。Mochi 1 是一种新的开源模型,可根据文本提示生成高质量视频,其性能可与 Runway 的 Gen-3 Alpha、Luma AI 的 Dream Machine、Kuaishou 的 Kling、Minimax 的 Hailuo 等领先的闭源/专有竞争对手媲美,甚至超过它们。

Mochi 1 采用 Apache 2.0 许可,用户可免费使用尖端的视频生成功能,而其他模型的价格从有限的免费层级开始,最高可达每月 94.99 美元(Hailuo 无限层级)。用户可以在 Hugging Face 上免费下载完整的权重和模型代码,不过需要 "至少 4 个 "Nvidia H100 GPU 才能在用户自己的机器上运行。

随着越来越多的公司发布自己的模型,生成式人工智能大战正进入白热化阶段。生成视频似乎是当前最大的战场,而 Genmo 则采取了不同的方法。

该公司将其 Mochi-1 模型作为 "研究预览版 "发布,但新的视频生成模型属于 Apache 2.0 许可范围,因此是开源的,可以拆开再组装起来。

这也意味着Mochi-1可以免费使用,你可以在Genmo的网站上亲身体验。Mochi-1开源的好处还在于,它将来可以在所有常见的生成式人工智能平台上使用,有朝一日还可以在优秀的游戏 PC 上运行。

在这里插入图片描述
Huggingface: genmo/mochi-1-preview
GIthub: https://github.com/genmoai/models

推动最先进技术的发展

Mochi 1 为视频生成领域带来了多项重大进步,包括高保真运动和强大的及时性。

根据 Genmo 的说法,Mochi 1 擅长遵循详细的用户指令,可以精确控制生成视频中的人物、设置和动作。

Genmo 将 Mochi 1 定位为缩小开放式和封闭式视频生成模式之间差距的解决方案。

"我们距离生成视频的未来还有1%的距离。真正的挑战是创建长、高质量、流畅的视频。Genmo 首席执行官兼联合创始人 Paras Jain 在接受 VentureBeat 采访时说:"我们非常重视提高运动质量。

Jain 和他的联合创始人创办 Genmo 的使命是让每个人都能使用人工智能技术。"贾因强调说:"视频是生成式人工智能的下一个前沿领域,我们认为将其交到普通人手中非常重要。他补充说:"我们从根本上认为,让这项技术平民化,让尽可能多的人掌握它,这一点非常重要。这也是我们将其开源的原因之一。

Genmo 声称,在内部测试中,Mochi 1 在及时性和运动质量方面优于大多数其他视频人工智能模型,包括专利竞争产品 Runway 和 Luna。

在这里插入图片描述
在这里插入图片描述

开放合作–但培训数据仍处于保密状态

Mochi 1 采用 Genmo 创新的非对称扩散变压器 (AsymmDiT) 架构。

它拥有 100 亿个参数,是有史以来最大的开源视频生成模型。该架构侧重于视觉推理,用于处理视频数据的参数是处理文本数据的四倍。

效率是该模型设计的一个关键方面。Mochi 1 利用视频 VAE(变异自动编码器)将视频数据压缩到原始大小的一小部分,从而降低了终端用户设备的内存需求。这使得开发人员社区更容易访问该模型,他们可以从 HuggingFace 下载模型权重或通过 API 进行集成。

Jain 认为,Mochi 1 的开源性质是推动创新的关键。"开放模型就像原油。它们需要完善和微调。他说:"这正是我们希望为社区带来的,这样他们就可以在此基础上构建令人难以置信的新事物。

然而,当被问及该模型的训练数据集时–这是人工智能创意工具中最有争议的方面之一,因为有证据表明,许多人工智能创意工具都是在未经明确许可或补偿的情况下,在网上对大量人类创意作品进行训练的,其中一些还是受版权保护的作品。

他告诉 VentureBeat:"一般来说,我们使用公开数据,有时也会与各种数据合作伙伴合作。"但出于竞争原因,他拒绝透露具体细节。“拥有多样化的数据真的很重要,这对我们来说至关重要。”

https://www.genmo.ai/

开发环境问题

在这里插入图片描述
https://github.com/kijai/ComfyUI-MochiWrapper 该框架允许低显存运行 mochi-1

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐