基本资料 | |
软件名 | NEUTRINO |
---|---|
开发者 | SHACHI |
操作系统 | Windows / Linux / macOS(M1芯片) / 线上(基于Google Colab) |
软件类型 | 唱歌合成,语音合成 |
首次发布 | v0.101(2020年2月22日) |
目前版本 | v0.430(2021年03月29日) |
NEUTRINO是由SHACHI开发的免费歌声合成器。它基于音频合成深度学习模型(例如WaveNet,WaveRNN)与Morise开发的NSF来完成合成唱歌任务
据官方推特,此软件的名称(软件直译:中微子)来源于一个“希望能开拓未曾听说过的乐曲与流派”的想法。
SHACHI在他的推特中上传了他用自己开发的引擎所合成的音声的片段。
SHACHI表示已将合成引擎转换成C++,并预告将会把引擎从Linux(Ubuntu)移植到Windows上。
名为SHACHI的nico用户发布演示demo与NEUTRINO正式版本v0.101,内含东北切蒲英与谣子音源模型。
NEUTRINO发布v0.103版本,并公开macOS版引擎。
发布了在线版(online),Google Drive与Colab互联后就能直接进行合成并输出。
发布的v0.200版本中加入了新的合成模型-NSF(之前只有WORLD引擎【仅仅是一个音素提取模型】),在使用NSF合成时还需要支持CUDA的NVIDIA显卡
(macOS版本因环境上不支持NVIDIA显卡而无法使用NSF)。
NEUTRINO发布v0.300版本[1],加入了新的音源模型-JSUT,GPU优化加速快了4倍,(macOS版本的GPU支持和NSF移植被暂停)
NEUTRINO发布v0.310版本,重新在东北切蒲英与谣子和JSUT的音源数据集上训练NSF。
NEUTRINO发布v0.310版本,添加了样式转换选项(-k)
NEUTRINO发布v0.400版本[3],增加东北伊达子音源(从这一版本开始系统默认压缩包只包括切蒲英的音源,其他音源需要另行下载),既有音源品质改善,NSF提升采样率(24khz->32khz)
NEUTRINO发布0.411版本,再次提升采样率(32khz->48khz),优化高频噪音,提高质量优化时序
NEUTRINO发布0.411版本
NEUTRINO发布0.412版本,增加音源(Merrow)[4]
NEUTRINO发布0.422版本,macOS(Apple Silicon)重新兼容
NEUTRINO发布0.430版本,呼吸声优化
小岩井小鸟录制了50首歌曲,交付给大学开放研究[5],将在NEUTRINO作为SEVEN出道
NEUTRINO发布0.431版本,增加音源(NAKUMO)[6]
面向赞助者的东北俊子音源公开
东北俊子音源完全公开
SEVEN音源完全公开[7]
NEUTRINO发布0.500Beta版本,更新了所有的声库,并不再兼容0.431之前版本的声库
另存为Google Drive,并在Colab上挂载,运行即可[8][9]
(多人正在开发分支,详情见官方推特相关)
首先需要用制谱软件(如自由软件MuseScore)来创建一个乐谱文件并加上歌词。注意,呼吸符号(∨)有着重要的意义,把呼吸符号和促音“っ”叠放的话,会更容易发出稳定的声音。还有,四分以下的休止符要尽可能少一些。歌词用全角平假名、片假名输入,一个音符最好只输入一个元音。
然后导出MusicXML文件,将其拖入NEUTRINO\score\musicxml
文件夹中之后,返回NEUTRINO根目录,用记事本打开Run.bat
,将set BASENAME=
之后的文字改成导出的MusicXML的文件名,将set ModelDir=
后改成欲使用的歌手,之后保存退出,再直接运行Run.bat
,耐心等候,当命令行窗口自动关闭后,便可在Output
文件夹中找到合成出的WAV文件。
最后再将导出的文件用根据所需在第三方软件(如WaveSurfer、Melodyne)中进行修音以及其他调整。
由于是深度学习应用,推荐使用搭载RTX显卡的计算机配置
或直接使用google colab版本
歌声ライブラリ(ナクモ)を追加しました。