查看原文
其他

人人都是“作曲家”——人工智能音乐生成器 MusicGen开源测试

影视制作杂志 影视制作 2023-08-29

整理自 |  拍吧paibar、机器之心、音乐财经 ‍‍‍‍

阅 | 010-86092062



Meta新推出的人工智能音乐生成器 MusicGen 在几周前发布,使用该工具,你可以从简单的文本描述中创建高质量、免版税的音乐,并直接在你的项目中使用。人工智能的进步和对我们生活的渗透能力在自动生成图片后,再一次让我们感到震惊。

MusicGen

是什么


在开始前,先听两段 MusicGen 生成的音乐。当输入文本描述「a man walks in the rain, come accross a beautiful girl, and they dance happily」



然后再次尝试输入周杰伦《七里香》歌词中的前两句「窗外的麻雀在电线杆上多嘴,你说这一句 很有夏天的感觉」(支持中文)


简单来说,MusicGEN,一种简单且可控的音乐生成模型,能够根据文本描述生成高质量的音乐。这个方法建立在以前的研究基础上,提出了一种用于建模多个并行声学令牌流的通用框架。


为了增强可控性,该方法引入了无监督的旋律调节,使模型能够生成与给定和声和旋律结构相匹配的音乐。因其生成音乐过程,既保证基于输入文本又兼顾旋律调节,MusicGEN生成的音频连贯,并符合提供的和声结构。

MusicGEN 是如何工作的


操作非常简单,你提供一个基本的文本描述,比如“一首带原声吉他的欢快乡村歌曲”,如果愿意的话,也可以给它提供一个参考曲目,然后点击“生成”。
仅仅几秒钟后,MusicGen就会根据你的文本和音乐提示提供15秒的音频。如果你上传源音乐,模型会尝试将其旋律融入到生成的音乐剪辑中。所以,为你的创意视频制作一个类似于《Friends》的音乐素材目前已经不是问题了。

Meta的MusicGen测试


当然,你作为提示的文本描述可以更加丰富和具体。例如,MusicGen确定了给定的每分钟节拍数(bpm),这对创建音乐很重要。在电影配乐领域,即使只有15秒的配乐也能创造出奇迹般的效果。与此同时,注册该项目的用户将能够访问长达120秒的剪辑。

MusicGEN

如何应对道德争议


我们看到了MusicGen的卓越能力,但有些关于道德方面的问题仍然需要仔细考虑。生成人工智能对创作者社区的影响已经不是什么秘密了,引发了广泛的讨论和争议。在大多数情况下,开发人员使用每一段可用的视频来“训练”他们的模型,而不关心版权和归属问题。而Meta选择了一条不同的路。
据Meta介绍,MusicGen学会了使用10000小时的“高质量”授权歌曲和39万首器乐曲目。此外,据研究人员说,Meta已就MusicGen使用的数据库与版权持有人签订了法律协议,整个项目是根据麻省理工学院的许可证进行的。

许可证信息


在报告中Meta还谈到,他们还有另一项,就是“开源”。Meta称,通过这种方式,MusicGen确保所有玩家都能平等地访问该模型,他们不想为艺术家制造不公平的竞争。
“通过开发更先进的控件,例如我们引入的旋律调节,我们希望这些模型对音乐爱好者和专业人士都有用。”

在视频中MusicGen创建的音乐



Meta的MusicGen现已向公众开放。试一试直接用文本描述生成自己想要的音乐片段吧⬇️
https://huggingface.co/spaces/facebook/MusicGen

推荐阅读


6期热点|《长空之王》LED虚拟拍摄、《海洋公开课》幕后、《瞬息全宇宙》剪辑艺术观念

美术设计、剧本创作,《长空之王》主创分享制作故事

iPhone就可以实现的动捕?MetaHuman Animator 为数字人制作降低成本

XR技术打造沉浸式课堂!知识交互类节目《海洋公开课》总导演李灿宇谈幕后创作

如何制作一个3D超写实的虚拟人?


我知道你在看


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存