📢 #Gate观点任务# 第一期精彩启程!调研 Palio (PAL) 项目,在Gate广场发布您的看法观点,瓜分 $300 PAL!
💰️ 选取15名优质发帖用户,每人轻松赢取 $20 PAL!
👉 参与方式:
1. 调研$PAL项目,发表你对项目的见解。
2. 带上$PAL交易链接。
3. 推广$PAL生态周系列活动:
为庆祝PAL上线Gate交易,平台特推出HODLer Airdrop、CandyDrop、VIP Airdrop、Alpha及余币宝等多项PAL专属活动,回馈广大用户。请在帖文中积极宣传本次系列活动,详情:https://www.gate.com/announcements/article/45976
建议项目调研的主题:
🔹 Palio 是什么?
🔹 $PAL 代币经济模型如何运作?
🔹 如何参与 $PAL生态周系列活动?
您可以选择以上一个或多个方向发表看法,也可以跳出框架,分享主题以外的独到见解。
注意:帖子不得包含除 #Gate观点任务# 和 #PAL# 之外的其他标签,并确保你的帖子至少有 60 字,并获得至少 3 个点赞,否则将无法获得奖励。
⚠️ 重复内容的帖子将不会被选取,请分享属于你独特的观点。
⏰ 活动时间:截止至 2025年7月11日 24:00(UTC+8)
文本、图像、音频和视频......随意组合,微软的跨模态模型 CoDi 究竟有多强大
微软 Azure 研究团队与北卡罗莱纳大学研究人员发布了一篇论文《通过可组合扩散实现任意生成》,介绍了一种新的多模态生成模型——CoDi(Composable Diffusion)。
CoDi 能够从输入模态的任意组合生成输出模态的任意组合,例如语言、图像、视频或音频。 与现有的生成式人工智能系统不同,CoDi 可以并行生成多种模态,并且其输入不限于文本或图像等模态子集。 CoDi 可以自由地调节任何输入组合并生成任何模态组,即使它们不存在于训练数据中。
CoDi 通过同时处理和生成文本、图像、音频和视频等多模式内容,引入了前所未有的内容生成水平。 使用扩散模型和可组合技术,CoDi 可以从单个或多个输入生成高质量、多样化的输出,从而改变内容创建、可访问性和个性化学习。
CoDi具有高度可定制性和灵活性,可实现强大的联合模态生成质量,并且优于或与单模态合成的最先进的单模态相媲美。
近日,CoDi 有了新进展,已经正式在微软 Azure 平台可用,目前可以免费使用 12 个月。
CoDi 究竟有多么强大
CoDi的出现是微软雄心勃勃的 i-Code 项目的一部分,该项目是一项致力于推进多模态 AI 能力的研究计划。CoDi 能够无缝整合各种来源的信息并生成一致的输出,有望彻底改变人机交互的多个领域。
CoDi可以带来变革的领域之一是辅助技术,使残疾人能够更有效地与计算机交互。 通过跨文本、图像、视频和音频无缝生成内容,CoDi 可以为用户提供更加身临其境且易于访问的计算体验。
此外,CoDi有潜力通过提供全面的交互式学习环境来重塑定制学习工具。 学生可以参与无缝集成各种来源信息的多模式内容,增强他们对主题的理解和参与。
CoDi也将彻底改变内容生成。 该模型能够跨多种模式生成高质量的输出,可以简化内容创建过程并减轻创作者的负担。 无论是生成引人入胜的社交媒体帖子、制作交互式多媒体演示,还是创建引人入胜的讲故事体验,CoDi 的功能都有可能重塑内容生成格局。
为了解决传统单模态AI 模型的局限性,CoDi 为组合特定模态生成模型的繁琐且缓慢的过程提供了解决方案。
这种新颖的模型采用了独特的可组合生成策略,可以桥接扩散过程中的对齐,并促进交织模态的同步生成,例如时间对齐的视频和音频。
CoDi的模型训练流程也颇具特色。 它涉及将图像、视频、音频和语言等输入模式投影到公共语义空间中。 这允许灵活处理多模态输入,并且通过交叉注意模块和环境编码器,它能够同时生成输出模态的任意组合。
丨单个或多个输入——>多个输出
CoDi模型可以采用单个或多个提示(包括视频、图像、文本或音频)来生成多个对齐的输出,例如带有伴音的视频。
例如:
1.文本+图像+音频 ——>音频+视频
“滑板上的泰迪熊,4k,高分辨率”+纽约时代广场的图片+一段下雨的音频——>经过 CoDi 生成之后,得到一段“一只泰迪熊在雨中在时代广场玩滑板,伴随着同步的雨声和街道噪音。”
2 文本+音频+图像——>文本+图像
丨多个输入——>单个输出
1. 文本+音频——图像
丨单输入——单输出
1 文本——>图像