此页面中存在需要长期更新的内容及资料列表，现存条目中资料未必是最新。
另请编辑者注意：请不要在人物历程等相关内容中悬挂此模板。具体使用方法详见模板说明文档。
另请编辑者注意：请不要在人物历程等相关内容中悬挂此模板。具体使用方法详见模板说明文档。
| |
| 基本资料 | |
| 软件名 | NEUTRINO |
|---|---|
| 开发者 | SHACHI |
| 操作系统 | Windows / Linux / macOS（M1芯片） / 线上（基于Google Colab） |
| 软件类型 | 唱歌合成，语音合成 |
| 首次发布 | v0.101（2020年2月22日） |
| 目前版本 | v2.6.1（2024年10月11日） |
NEUTRINO是由SHACHI开发的免费歌声合成器。它基于音频合成深度学习模型（例如WaveNet，WaveRNN）与Morise开发的NSF来完成合成唱歌任务。
2023年，NEUTRINO v1.0.0发布，项目更名为NEUTRINO Electron。
2024年，NEUTRINO v2.0.0发布，项目更名为NEUTRINO Diffusion Muon。
据官方推特，此软件的名称（软件直译：中微子）来源于一个“希望能开拓未曾听说过的乐曲与流派”的想法。
目录
发展历程
2019年 | ||
|---|---|---|
| 12月3日 | SHACHI在他的推特中上传了他用自己开发的引擎所合成的音声的片段。 | |
2020年 | ||
| 1月27日 | SHACHI表示已将合成引擎转换成C++，并预告将会把引擎从Linux（Ubuntu）移植到Windows上。 | |
v0.1x~0.3x
v0.1x~0.3x是项目的α测试阶段，按顺序实现了基本功能。
2020年 | ||
|---|---|---|
| 2月22日 | 名为SHACHI的nico用户发布演示demo与NEUTRINO正式版本v0.101，内含东北切蒲英与谣子音源模型。 | |
| 2月29日 | 更新v0.102，公开Linux版引擎。 | |
| 3月7日 | 更新v0.103，并公开macOS版引擎。 | |
| 3月20日 | 发布v0.200α，添加随机生成(-r)，解决了气噪声和时序估计错误的问题。v0.2x开始，加入了新的合成模型-NSF（之前只有WORLD引擎【仅仅是一个音素提取模型】），在使用NSF合成时还需要支持CUDA的NVIDIA显卡（macOS版本因环境上不支持NVIDIA显卡而无法使用NSF）。为切蒲英训练了NSF的新声库。 | |
| 3月22日 | 发布了在线版(online)，Google Drive与Colab互联后就能直接进行合成并输出。NSF添加到了在线版中。Linux版也集成到了在线版中。 | |
| 4月10日 | 更新v0.200β，为谣子训练了NSF的新声库。NSF添加到了Windows版中，并将NSF的输入输出与其他模块统一。 | |
| 4月17日 | 更新v0.200正式版，修复了NSF相关的问题，并添加了运行NSF相关的Visual Studio运行库。 | |
| 4月20日 | 更新MacOS版本，但NSF的移植被搁置。 | |
| 5月29日 | 发布v0.300[1]，加入了新的音源模型-JSUT。v0.3x起，提高了引擎的渲染速度和模型的加载速度，GPU优化加速快了4倍，（macOS版本的GPU支持和NSF移植被暂停） | |
| 6月22日 | 更新v0.310，重新在东北切蒲英与谣子和JSUT的音源数据集上训练NSF。改善了模型加载，并不再支持以前的模型。 | |
| 7月7日 | 东北伊达子音源数据库制作[2]，仅仅两天就完成众筹目标。 | |
| 7月10日 | 发布v0.320，加快了GPU上运行的速度，并添加了样式转换选项（-k）。 | |
v0.4x~0.5x
β测试阶段的v0.4x增加了声库数量，而v0.5x提升了质量和功能。
2020年 | ||
|---|---|---|
| 9月18日 | 发布v0.400[3]，增加东北伊达子音源，既有音源品质改善，NSF提升采样率（24khz->32khz）。从这一版本开始系统默认压缩包只包括切蒲英的音源，其他音源需要另行下载。 | |
| 11月11日 | 发布v0.411，再次提升采样率（32khz->48khz），优化高频噪音，提高质量优化时序。 | |
| 12月09日 | 更新v0.412。 | |
| 12月24日 | 发布v0.420，增加音源（Merrow）[4]。 | |
2021年 | ||
| 1月29日 | 更新v0.422版本，重新兼容macOS（Apple Silicon）。 | |
| 3月29日 | 发布v0.430，呼吸声优化。 | |
| 4月21日 | 小岩井小鸟录制了50首歌曲，交付给大学开放研究[5]，将在NEUTRINO作为SEVEN出道。 | |
| 4月23日 | 发布v0.431，增加音源（NAKUMO）[6] | |
| 6月21日 | 面向赞助者的东北俊子音源公开。7月5日，东北俊子音源完全公开。7月7日，SEVEN音源完全公开[7] | |
| 10月1日 | 发布v0.500β，更新了所有的声库，并不再兼容0.431之前版本的声库。本版本开始，默认声库由切蒲英更改为Merrow。 | |
| 11月15日 | 发布v0.510，可以微调WORLD（β版本）的平滑选项，支持日英双语显示错误信息，并将未定义或不包含歌词的音符改为生成静音片段。 | |
2022年 | ||
| 2月10日 | 发布v0.540，更新NSF版本，现可在CPU/GPU上合成NSF，并在Windows、MacOS和在线版本上使用。 | |
| 3月25日 | 发布v0.551，提高了引擎的估计精度，修复了NSF在MacOS上的错误。 | |
Neutrino Electron（v1.x）
2022年 | ||
|---|---|---|
| 4月22日 | v1.0.0发布。项目更名为Neutrino Electron。规格和操作已经稳定，因此作为正式版发布。同时注册了Niconico Commons和PIXIV FANBOX。 | |
| 6月8日 | v1.1.0发布，提高了NSF合成质量，改进了NSF框架。不再兼容之前的语音库。 | |
| 8月1日 | v1.2.0发布。 | |
| 10月14日 | 更新v1.2.1。 | |
| 11月15日 | v1.3.0发布，提高了NSF在GPU上的运行速度，并支持多GPU。 | |
Neutrino Diffusion Muon（v2.x）
2023年 | ||
|---|---|---|
| 4月28日 | v2.0.0发布。项目更名为Neutrino Diffusion Muon。 | |
| 6月16日 | v2.1.0发布。提高f0和WORLD的精度，更新onnx runtime框架的版本。 | |
| 7月14日 | v2.2.0发布。更改了NSF和WORLD的输出音量。 | |
| 10月27日 | v2.3.0发布。更新Merrow，GPU版本的一些操作从CPU改为GPU。 | |
| 10月30日 | 更新v2.3.1，12月16日更新v2.3.2。 | |
2024年 | ||
| 1月12日 | v2.4.0发布。 | |
| 3月13日 | v2.5.0发布，更新了CUDA版本，默认声库增加了Nakumo。 | |
| 5月10日 | 更新v2.5.1。 | |
| 9月20日 | v2.6.0发布。 | |
| 10月11日 | 更新v2.6.1。 | |
使用方法
运行要求
使用 GPU 进行合成需要 NVIDIA 制造的 CUDA 兼容 GPU。由于是深度学习应用，推荐使用搭载RTX显卡的计算机配置，或直接使用google colab版本。
Google Colab
Google Colaboratory（以下简称 Colab）是一项网络服务，可让您在浏览器上运行 Google 的云 PC。
首次运行时可能会很慢，但之后再运行就会变得很快。
- 下载并解压缩 NEUTRINO（在线版）
- 转到 Google Drive
- 在 My Drive 中创建一个“Colab Notebooks”文件夹，并复制您刚刚解压缩的 NEUTRINO。
- 转到 NEUTRINO 文件夹，右键单击它，选择“更多”→“添加应用程序”。
- 搜索 “Colaboratory” 并添加它。
- 右键单击 NEUTRINO 文件夹中的“NEUTRINO.ipynb”→在“Google Colaboratory”中打开笔记本→“在应用程序中打开”。
- 在屏幕顶部的菜单中打开 notebook 设置→ “Runtime” “Change runtime type”。 确保选择 GPU 进行硬件加速。
- 按单元格左侧显示的 [] 或 play 按钮以执行它。如果您看到用于对用户进行身份验证的链接，请单击该链接进行身份验证。 将显示验证码，因此请将其复制并粘贴到其中。
- 之后，如果按顺序执行，音频将在 NEUTRINO/output 下方输出。
- 如果您想使用自己的 MusicXML，请将其上传到 score/musicxml 文件夹，更改 BASENAME，然后再次执行数字 4。
- 如果要使用在本地 PC 上创建的声学特征文件 （mel-spec， f0） 或标签文件，请按原样上传乐谱文件夹和输出文件夹，更改 BASENAME，然后再次执行编号 5 的 NSF。*请注意，如果您移动数字 4，它将被覆盖！
Linux
在线版本也可以在本地 PC 上的 Ubuntu 上运行。
- 安装 Ubuntu （20.04 LTS）
- 安装 gcc
- 安装最新的 nvidia-driver
- 安装 CUDA 工具包CUDA 工具包 12.3 或更高版本（适用于 NEUTRINO Diffusion v2.5 或更高版本CUDA 工具包 11.8）CUDA 工具包（适用于 NEUTRINO Diffusion v2.4 或更早版本）
- 为您的 CUDA 工具包版本安装 cuDNN
- 下载并解压 NEUTRINO （在线版）
- 使用 chmod 命令更改权限，等等。
- 导航到 NEUTRINO 文件夹并运行 Run.sh
- 如果 sample1.wav/sample1_world.wav 在 output 下输出，则表示工作正常。
Windows
截至2020年7月10日，NEUTRINO尚没有官方图形界面（GUI），所以无法调整发声参数。
（多人正在开发分支，详情见官方推特相关）
首先需要用制谱软件（如自由软件MuseScore）来创建一个乐谱文件并加上歌词。注意，呼吸符号（∨）有着重要的意义，把呼吸符号和促音“っ”叠放的话，会更容易发出稳定的声音。还有，四分以下的休止符要尽可能少一些。歌词用全角平假名、片假名输入，一个音符最好只输入一个元音。
然后导出MusicXML文件，将其拖入NEUTRINO\score\musicxml文件夹中之后，返回NEUTRINO根目录，用记事本打开Run.bat，将set BASENAME=之后的文字改成导出的MusicXML的文件名，将set ModelDir=后改成欲使用的歌手，之后保存退出，再直接运行Run.bat，耐心等候，当命令行窗口自动关闭后，便可在Output文件夹中找到合成出的WAV文件。
最后再将导出的文件用根据所需在第三方软件（如WaveSurfer、Melodyne）中进行修音以及其他调整。
| ||||||||||||||
相关链接
- ↑ SNACHI. Version.0.3系アップデート. NEUTRINO. 2020-07-07 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ 东北ずん子. 东北イタコは歌いたい！しゃべりたい！东北イタコ音声合成データベース制作プロジェクト. greenfunding.jp. 2020-07-07 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2020-07-04 [引用时间: 2020-07-07]. （原始内容存档于2020-07-07）.
- ↑ SNACHI. イラスト·设定资料. NEUTRINO. 2021-07-04 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ 藤本健. 小岩井ことりさん作词·作曲·歌唱のDB公开で、AI歌声合成の民主化へ跃进。NEUTRINOの新キャラクタ『No.7』がリリースへ. DTMステーション. 2021-04-21 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2021-07-04 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
歌声ライブラリ（ナクモ）を追加しました。
- ↑ 藤本健. 小岩井ことりさんの歌声を人工知能で完全に实现!? 本人も自分そのものと认めるソフト完成への里舞台. DTMステーション. 2021-07-07 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ SNACHI. オンライン版の使い方. NEUTRINO. 2021-03-28 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ 木三聿. 如何使用NEUTRINO软件v0.2？. 知乎. 2020-04-29 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.