NEUTRINO

萌娘百科,万物皆可萌的百科全书!转载请标注来源页面的网页链接,并声明引自萌娘百科。内容不可商用。
贡献者:
此页面中存在需要长期更新的内容及资料列表,现存条目中资料未必是最新。
另请编辑者注意:请不要在人物历程等相关内容中悬挂此模板。具体使用方法详见模板说明文档
基本资料
软件名 NEUTRINO
开发者 SHACHI
操作系统 Windows / Linux / macOS(M1芯片) / 线上(基于Google Colab
软件类型 唱歌合成,语音合成
首次发布 v0.101(2020年2月22日)
目前版本 v2.6.1(2024年10月11日)

NEUTRINO是由SHACHI开发的免费歌声合成器。它基于音频合成深度学习模型(例如WaveNet,WaveRNN)与Morise开发的NSF来完成合成唱歌任务。

2023年,NEUTRINO v1.0.0发布,项目更名为NEUTRINO Electron。

2024年,NEUTRINO v2.0.0发布,项目更名为NEUTRINO Diffusion Muon。

据官方推特,此软件的名称(软件直译:中微子)来源于一个“希望能开拓未曾听说过的乐曲与流派”的想法。

发展历程

2019年
12月3日SHACHI在他的推特中上传了他用自己开发的引擎所合成的音声的片段。
2020年
1月27日SHACHI表示已将合成引擎转换成C++,并预告将会把引擎从Linux(Ubuntu)移植到Windows上。

v0.1x~0.3x

v0.1x~0.3x是项目的α测试阶段,按顺序实现了基本功能。

2020年
2月22日名为SHACHI的nico用户发布演示demo与NEUTRINO正式版本v0.101,内含东北切蒲英谣子音源模型。
2月29日更新v0.102,公开Linux版引擎。
3月7日更新v0.103,并公开macOS版引擎。
3月20日发布v0.200α,添加随机生成(-r),解决了气噪声和时序估计错误的问题。v0.2x开始,加入了新的合成模型-NSF(之前只有WORLD引擎【仅仅是一个音素提取模型】),在使用NSF合成时还需要支持CUDA的NVIDIA显卡(macOS版本因环境上不支持NVIDIA显卡而无法使用NSF)。为切蒲英训练了NSF的新声库。
3月22日发布了在线版(online),Google Drive与Colab互联后就能直接进行合成并输出。NSF添加到了在线版中。Linux版也集成到了在线版中。
4月10日更新v0.200β,为谣子训练了NSF的新声库。NSF添加到了Windows版中,并将NSF的输入输出与其他模块统一。
4月17日更新v0.200正式版,修复了NSF相关的问题,并添加了运行NSF相关的Visual Studio运行库。
4月20日更新MacOS版本,但NSF的移植被搁置。
5月29日发布v0.300[1],加入了新的音源模型-JSUT。v0.3x起,提高了引擎的渲染速度和模型的加载速度,GPU优化加速快了4倍,(macOS版本的GPU支持和NSF移植被暂停)
6月22日更新v0.310,重新在东北切蒲英谣子和JSUT的音源数据集上训练NSF。改善了模型加载,并不再支持以前的模型。
7月7日东北伊达子音源数据库制作[2],仅仅两天就完成众筹目标。
7月10日发布v0.320,加快了GPU上运行的速度,并添加了样式转换选项(-k)。

v0.4x~0.5x

β测试阶段的v0.4x增加了声库数量,而v0.5x提升了质量和功能。

2020年
9月18日发布v0.400[3],增加东北伊达子音源,既有音源品质改善,NSF提升采样率(24khz->32khz)。从这一版本开始系统默认压缩包只包括切蒲英的音源,其他音源需要另行下载。
11月11日发布v0.411,再次提升采样率(32khz->48khz),优化高频噪音,提高质量优化时序。
12月09日更新v0.412。
12月24日发布v0.420,增加音源(Merrow)[4]
2021年
1月29日更新v0.422版本,重新兼容macOS(Apple Silicon)。
3月29日发布v0.430,呼吸声优化。
4月21日小岩井小鸟录制了50首歌曲,交付给大学开放研究[5],将在NEUTRINO作为SEVEN出道。
4月23日发布v0.431,增加音源(NAKUMO)[6]
6月21日面向赞助者的东北俊子音源公开。7月5日,东北俊子音源完全公开。7月7日,SEVEN音源完全公开[7]
10月1日发布v0.500β,更新了所有的声库,并不再兼容0.431之前版本的声库。本版本开始,默认声库由切蒲英更改为Merrow。
11月15日发布v0.510,可以微调WORLD(β版本)的平滑选项,支持日英双语显示错误信息,并将未定义或不包含歌词的音符改为生成静音片段。
2022年
2月10日发布v0.540,更新NSF版本,现可在CPU/GPU上合成NSF,并在Windows、MacOS和在线版本上使用。
3月25日发布v0.551,提高了引擎的估计精度,修复了NSF在MacOS上的错误。

Neutrino Electron(v1.x)

2022年
4月22日v1.0.0发布。项目更名为Neutrino Electron。规格和操作已经稳定,因此作为正式版发布。同时注册了Niconico Commons和PIXIV FANBOX。
6月8日v1.1.0发布,提高了NSF合成质量,改进了NSF框架。不再兼容之前的语音库。
8月1日v1.2.0发布。
10月14日更新v1.2.1。
11月15日v1.3.0发布,提高了NSF在GPU上的运行速度,并支持多GPU。

Neutrino Diffusion Muon(v2.x)

2023年
4月28日v2.0.0发布。项目更名为Neutrino Diffusion Muon。
6月16日v2.1.0发布。提高f0和WORLD的精度,更新onnx runtime框架的版本。
7月14日v2.2.0发布。更改了NSF和WORLD的输出音量。
10月27日v2.3.0发布。更新Merrow,GPU版本的一些操作从CPU改为GPU。
10月30日更新v2.3.1,12月16日更新v2.3.2。
2024年
1月12日v2.4.0发布。
3月13日v2.5.0发布,更新了CUDA版本,默认声库增加了Nakumo。
5月10日更新v2.5.1。
9月20日v2.6.0发布。
10月11日更新v2.6.1。

使用方法

运行要求

使用 GPU 进行合成需要 NVIDIA 制造的 CUDA 兼容 GPU。由于是深度学习应用,推荐使用搭载RTX显卡的计算机配置,或直接使用google colab版本。

Google Colab

Google Colaboratory(以下简称 Colab)是一项网络服务,可让您在浏览器上运行 Google 的云 PC。

首次运行时可能会很慢,但之后再运行就会变得很快。

  1. 下载并解压缩 NEUTRINO(在线版)
  2. 转到 Google Drive
  3. 在 My Drive 中创建一个“Colab Notebooks”文件夹,并复制您刚刚解压缩的 NEUTRINO。
  4. 转到 NEUTRINO 文件夹,右键单击它,选择“更多”→“添加应用程序”。
  5. 搜索 “Colaboratory” 并添加它。
  6. 右键单击 NEUTRINO 文件夹中的“NEUTRINO.ipynb”→在“Google Colaboratory”中打开笔记本→“在应用程序中打开”。
  7. 在屏幕顶部的菜单中打开 notebook 设置→ “Runtime” “Change runtime type”。 确保选择 GPU 进行硬件加速。
  8. 按单元格左侧显示的 [] 或 play 按钮以执行它。如果您看到用于对用户进行身份验证的链接,请单击该链接进行身份验证。 将显示验证码,因此请将其复制并粘贴到其中。
  9. 之后,如果按顺序执行,音频将在 NEUTRINO/output 下方输出。
  10. 如果您想使用自己的 MusicXML,请将其上传到 score/musicxml 文件夹,更改 BASENAME,然后再次执行数字 4。
  11. 如果要使用在本地 PC 上创建的声学特征文件 (mel-spec, f0) 或标签文件,请按原样上传乐谱文件夹和输出文件夹,更改 BASENAME,然后再次执行编号 5 的 NSF。*请注意,如果您移动数字 4,它将被覆盖!

[8][9]

Linux

在线版本也可以在本地 PC 上的 Ubuntu 上运行。

  1. 安装 Ubuntu (20.04 LTS)
  2. 安装 gcc
  3. 安装最新的 nvidia-driver
  4. 安装 CUDA 工具包CUDA 工具包 12.3 或更高版本(适用于 NEUTRINO Diffusion v2.5 或更高版本CUDA 工具包 11.8)CUDA 工具包(适用于 NEUTRINO Diffusion v2.4 或更早版本)
  5. 为您的 CUDA 工具包版本安装 cuDNN
  6. 下载并解压 NEUTRINO (在线版)
  7. 使用 chmod 命令更改权限,等等。
  8. 导航到 NEUTRINO 文件夹并运行 Run.sh
  9. 如果 sample1.wav/sample1_world.wav 在 output 下输出,则表示工作正常。

Windows

截至2020年7月10日,NEUTRINO尚没有官方图形界面(GUI),所以无法调整发声参数。

(多人正在开发分支,详情见官方推特相关)

首先需要用制谱软件(如自由软件MuseScore)来创建一个乐谱文件并加上歌词。注意,呼吸符号(∨)有着重要的意义,把呼吸符号和促音“っ”叠放的话,会更容易发出稳定的声音。还有,四分以下的休止符要尽可能少一些。歌词用全角平假名、片假名输入,一个音符最好只输入一个元音。

然后导出MusicXML文件,将其拖入NEUTRINO\score\musicxml文件夹中之后,返回NEUTRINO根目录,用记事本打开Run.bat,将set BASENAME=之后的文字改成导出的MusicXML的文件名,将set ModelDir=后改成欲使用的歌手,之后保存退出,再直接运行Run.bat,耐心等候,当命令行窗口自动关闭后,便可在Output文件夹中找到合成出的WAV文件。

最后再将导出的文件用根据所需在第三方软件(如WaveSurfer、Melodyne)中进行修音以及其他调整。


相关链接

  1. SNACHI. Version.0.3系アップデート. NEUTRINO. 2020-07-07 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07). 
  2. 东北ずん子. 东北イタコは歌いたい!しゃべりたい!东北イタコ音声合成データベース制作プロジェクト. greenfunding.jp. 2020-07-07 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07). 
  3. SNACHI. Version.0.4系アップデート. NEUTRINO. 2020-07-04 [引用时间: 2020-07-07]. (原始内容存档于2020-07-07). 
  4. SNACHI. イラスト·设定资料. NEUTRINO. 2021-07-04 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07). 
  5. 藤本健. 小岩井ことりさん作词·作曲·歌唱のDB公开で、AI歌声合成の民主化へ跃进。NEUTRINOの新キャラクタ『No.7』がリリースへ. DTMステーション. 2021-04-21 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07). 
  6. SNACHI. Version.0.4系アップデート. NEUTRINO. 2021-07-04 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07). 歌声ライブラリ(ナクモ)を追加しました。 
  7. 藤本健. 小岩井ことりさんの歌声を人工知能で完全に实现!? 本人も自分そのものと认めるソフト完成への里舞台. DTMステーション. 2021-07-07 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07). 
  8. SNACHI. オンライン版の使い方. NEUTRINO. 2021-03-28 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07). 
  9. 木三聿. 如何使用NEUTRINO软件v0.2?. 知乎. 2020-04-29 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07). 
0 人评价
0 人推荐
评论0
搜索萌娘百科 (按"/"快速搜索)
有新的未读公告

阅读更多:https://zh.moegirl.org.cn/NEUTRINO
本文引自萌娘百科(https://zh.moegirl.org.cn ),文字内容默认使用《知识共享 署名-非商业性使用-相同方式共享 3.0 中国大陆》协议。