跳过正文

如何使用 NEUTRINO 让歌姬为你而唱

·2481 字·5 分钟· loading ·
技术教程 NEUTRINO
褐瞳さん
作者
褐瞳さん
Everyone is mania in general
目录

前言
#

本人很喜欢听歌,各种风格。而很早的时候使用软件调教的歌让我觉得很有意思,所以也想自己试着调教一首。市面上主流的歌姬调教软件有什么 UTAU、VOCALOID 和 CeVIO AI,其中 UTAU 是免费的调教软件,你在 bilibili 听到的很多人力其实也是 UTAU 调教的。而 VOCALOID 和 CeVIO AI 都是付费软件。(因为我只用过 UTAU,所以本文很多预处理都是使用 UTAU 进行的)

UTAU 的调教刚开始用时会比较难,要想让歌姬唱的很自然有感情的话需要进行很多修饰和调音,而我只是想听听我喜欢的歌姬唱出来是什么样子,后来突然就兴起了 AIKiritan 让我很感兴趣,Kiritan 的声音很可爱,并且 AIKiritan 唱出来的歌声音都非常自然。于是我就去了解了一下,知道了 NEUTRINO。

开始之前
#

NEUTRINO是由SHACHI开发的免费歌声合成器。它基于音频合成深度学习模型(例如WaveNet,WaveRNN)与Morise开发的NSF来完成合成唱歌任务

据官方推特,此软件的名称(软件直译:中微子)来源于一个“希望能开拓未曾听说过的乐曲与流派”的想法。

引自萌娘百科( https://mzh.moegirl.org.cn ),文字内容默认使用《知识共享 署名-非商业性使用-相同方式共享 3.0 中国大陆》协议。

提示 本节需要一些上网方法才能访问相关链接

你需要下载 NEUTRINO,官网是 https://studio-neutrino.com/ ,点击“Start Now”就可以前往下载页

在下载页里找到“ダウンロード(Google Drive)”一节,点击链接“NEUTRINO Diffusion ダウンロード(Google Drive)”就会进入 NEUTRINO 的谷歌网盘

云盘根目录会有一个文件夹叫NEUTRINO Diffusion - Muon vx.x,这里的x.x是版本号,这个文件夹默认就是 NEUTRINO 的最新版。在这个文件夹里找到NEUTRINO-windows-vx.x.x.zip并下载(这里我就默认你使用的 Windows 系统了,如果你使用的是其他系统请自行选择对应的文件下载)

同时,在这个文件夹会有很多有人名的压缩文件,格式为<名字>(NEUTRINO-Library)-<版本>.zip,比如 Kiritan 的就是東北きりたん(NEUTRINO-Library)-v2.5.3.zip,选择你想要让其为你而唱的歌姬,也下载下来。

接下来你就拥有了 NEUTRINO 和歌姬的声音模型,接下来可以先将 NEUTRINO 解压到你想要的位置,解压之后可以看见 NEUTRINO 的文件夹内容为

NEUTRINO
├── bin/                               NEUTRINO 的运行所需文件
├── license/                           NEUTRINO 的相关协议
├── model/                             存放声音模型
├── output/                            默认的生成输出位置
├── score/                             存放生成歌曲的谱子
│   ├── label/                         和生成相关
│   └── musicxml/                      存放 musicxml 谱子
├── settings/                          NEUTRINO 的默认设定
├── Readme(お読みください).pdf         使用说明
├── Run.bat                            运行脚本
├── Run_single_phrase.bat              运行单句
├── ひらがな・カタカナ・音素一覧表.pdf    平、片假名、音素列表
├── リリースノート.pdf                  发行说明
└── 利用許諾契約書.pdf                  最终用户许可协议

接下来将你下载的声音模型放入model文件夹中,model文件夹格式如

model
├── KIRITAN          东北切蒲英的声音模型
├── MERROW           Merrow的声音模型
├── NAKUMO           Nakumo的声音模型
... 

乐谱准备
#

想让歌姬唱出来至少要让ta知道唱什么吧,所以我们需要一个谱子。在 NEUTRINO 中使用的乐谱格式为.musicxml格式,所以我们需要一个格式正确的.muscixml文件。官方推荐的是 MuseScore,一个乐谱编辑软件。如果你是专业的音乐师或者能够看懂五线谱推荐使用 MuseScore。因为我不是音乐系科班出身,所以这里使用了另外的方法来生成乐谱文件。

以下我就使用 ピフ優警報のあった日 谱子做演示了:

当然,你如果不想自己从头写谱的话可以去网上搜索你想要听的歌曲的.ust文件,一般都很好搜索到(但如果真的很冷门的话就需要你来当第一人了

提示
下面使用OpenUTAU部分如果嫌麻烦可以直接下载好需要的.ust后直接跳过,如果你有其他调音之类的需求可以参照

准备工具:

  1. OpenUTAU
  2. UtaFormatix
  3. UTAU声源

准备以上工具,你就可以开始创作了。OpenUTAU 是用来创作和调整乐谱的,但 OpenUTAU 只能将乐谱导出为.ust.ustx或者.midi,所以我们还需要使用 UtaFormatix 来将上述格式转换为.musicxml注意:不包括.midi,因为该格式不包含歌词

  1. 在搜索引擎中搜索关键字“<歌名+ust>”比如我是“警報のあった日 ust”
  2. 寻找心仪的作者的谱子下载
  3. 打开 OpenUTAU,点击左上角菜单栏“文件”,找到导入轨道,选择你的.ust文件。我这里 ピフ優 的 警報のあった日 有三个.ust文件,将其全部导入进去
  4. 选择音源,我这里使用了Kiritan(东北切蒲英)
  5. 给每个轨道选择好音源后点击左上角播放键可以进行试听,如果有觉得不对的地方可以进行调整
  6. 将每个轨道导出为.ust格式

导入1

导入2

选择音源

乐谱转换
#

上面我们准备好了.ust文件,现在打开UtaFormatix,将你的.ust文件全部放进去,向下翻页,找到MusicXml

MusicXml

设置部分一般默认即可,最后点击导出,会下载一个压缩包

压缩包

使用NEUTRINO生成音乐
#

将上面获得的压缩包文件解压到你的NEUTRINO\score\musicxml中(如果文件名有符号尽量修改掉,尽量只用字母、数字、连接符和下划线,不然可能会报错)

MusicXml导入

回到NEUTRINO的根目录,右键Run.bat,选择编辑(这里我是用了Microsoft VS Code,完全可以使用记事本进行编辑),主要修改BASENAME(文件名)和ModelDir(模型名),其他参数可以参照这篇文章

编辑Run.bat

双击Run.bat,便会开始生成声音文件,等待进程结束(如果有多个音轨文件就多次修改和运行Run.bat文件)

Run.bat

现在在NEUTRINO\output中就可以看见生成的声音,需要使用的都是.wav格式,带和不带world的哪个效果更好都看你自己的选择

输出

混音和合成
#

现在有了人声部分,我们还需要伴奏,请自行去寻找,可以通过搜索引擎搜索“<歌名>+off vocal或者instrumental”来搜索

使用音频编辑软件(例如Adobe Audition、Wave Editor等)进行对轴和混音等,因为我也是菜鸡,所以这里就不进行展开了,可以自行搜索教程等

希望你可以使用NEUTRINO用自己喜欢的声源创造出属于自己的歌


本文作者: 褐瞳さん
本文链接: https://hetong-re4per.com/posts/neutrino/
版权声明: 本文文字在未特别注明下默认使用 CC BY-NC-SA 4.0 许可协议。

相关文章

Java MC服务器搭建
·3337 字·7 分钟· loading
技术教程 Minecraft
如何搭建自己的 ts3 服务器
·1790 字·4 分钟· loading
技术教程 Teamspeak3
校园网防止多设备检测指北
·2551 字·6 分钟· loading
技术教程 校园网 OpenWRT 多设备检测