NEUTRINO、MuseScoreを駆使して歌声ライブラリ（四国めたん、ずんだもん）に歌ってもらう
MuseScoreという楽譜作成ソフトは、音符を入力したり、すでに作成されたデータを開いたりできます。MuseScoreは、ベルギーのブリュッセルを拠点に開発されている無料の楽譜作成ソフトウェアです。このソフトを使って楽譜を作成します。さらに音符の下に歌詞を入力しておきます。ひとつの音符に複数の文字を割り当てることも可能です。
MuseScoreを使った動画です。
次にNEUTRINOをダウンロードします。このソフトはMuseScoreで作成した歌詞付き楽譜を、歌声ライブラリに歌ってもらうことを可能にしてくれます。音声ライブラリには、四国めたんやずんだもんなどがいます。ここではWindows版をダウンロードしました。
ダウンロードしたファイルを解凍します。特に何もしないとNEUTRINOというフォルダ付きで展開されているはずです。まずはこのフォルダにあるにあるrun.batというバッチファイルの内容をメモ帳などで見てみます。最初に覚えておいた方がいいと思う項目は「set BASENAME」です。ここにMuseScoreでエクスポートしたファイル名を記述します。
MuseScoreを起動します。音符があるのに歌詞がないとNEUTRINOでファイルを作成する時にエラーになります。また、音符のない空白の小節は削除しておきます。MuseScoreでは一度に全部作成せず、少しずつ作成しました。というのもファイル作成に時間がかかったからです。満足する部分を後からまとめて結合することにしました。
それではMuseScoreのメニューにあるファイルから、ファイルをエクスポートしましょう。エクスポートの設定では、フォーマットをPDFからMusicXMLに変更し、ファイルの種類でも非圧縮にしておきます。拡張子は.musicxmlです。
エクスポートする場所は下記に示します。
NEUTRINOscoremusicxml
先ほどのバッチファイルに、MuseScoreでエクスポートしたファイル名を記述して上書き保存します。拡張子は必要ありません。
次にコマンドプロンプトを起動して、バッチファイルがある場所に切り替えます。ここでバッチファイルを実行します。
記述例
cd C:UsersminokDownloadsNEUTRINOoutput
run.bat
出力例
C:UsersminokDownloadsNEUTRINO>run.bat
2023/04/09 11:41:14.75 : start MusicXMLtoLabel
Convert MusicXML to label -> scoremusicxmltest.musicxml
warning: The score does not start with a rest. Added a rest to the first measure.
warning: 楽譜の開始が休符で無いため、最初の小節に休符を追加しました。
warning: The end of the score is not a rest. Added a rest to the last measure.
warning: 楽譜の終わりが休符では無いため、最後の小節に休符を追加しました。
output full label -> scorelabelfulltest.lab
output mono label -> scorelabelmonotest.lab
2023/04/09 11:41:14.90 : start NEUTRINO
NEUTRINO - NEURAL SINGING SYNTHESIZER (Electron v1.3.0-Stable)
Copyright (c) 2020-2022 STUDIO NEUTRINO All rights reserved.
Setup linguistic feature (timing) : 0 [msec]
Load timing model : 4 [msec]
-> Load completed.
-> Merrow - NEUTRINO Singer Standard Library (v1.3.0-Stable-Timing model)
Predict timing feature : 181 [msec]
Linguistic feature (acoustic) : 228 [msec]
Setup GPU : 231 [msec]
-> NVIDIA GeForce GTX 1060 (GPU 0)
Load acoustic model : 276 [msec]
-> Load completed.
-> Merrow - NEUTRINO Singer Standard Library (v1.3.0-Stable-Acoustic model)
Predict acoustic features : 1648 [msec]
Finish : 4049 [msec]
Generation rate : 1.18548 [gen/sec]
-- File and Parameter information --
label length : 16 [line]
wav length : 4.8 [sec]
frame period : 5 [frame]
full label file : scorelabelfulltest.lab
timing label file : scorelabeltimingtest.lab
output f0 file : outputtest.f0
output mgc file : outputtest.mgc
output bap file : outputtest.bap
model directory : modelMERROW
timing model : modelMERROWmodel_timing.bin
timing model (stats) : modelMERROWstats_timing.bin
acoustic model : modelMERROWmodel_acoustic.bin
acoustic model (stats) : modelMERROWstats_acoustic.bin
skip timing prediction : 0
skip acoustic prediction : 0
single phrase prediction : 0
single phrase number : -1 [phrase number]
number of threads (CPU) : 1 [thread]
style shift : 0 [key]
use GPU : 1
GPU ID : 0
trace phrase information : 0
trace information : 1
------------
2023/04/09 11:41:19.78 : start WORLD
WORLD - NEUTRINO Edition (v1.2.0-Stable)
Load Acoustic features : 4 [msec]
Decode Acoustic features : 7 [msec]
Synthesis : 51 [msec]
Finish : 364 [msec]
Generation rate : 13.1868 [gen/sec]
-- File and Parameter information --
wav Length : 4.8 [sec]
sampling rate : 48000 [Hz]
sampling bit : 16 [bit]
pitch shift : 1
formant shift : 1
number of parallel : 4 [thread]
hi-speed synthesis : 0
realtime synthesis : 0
smooth pitch : 0
smooth formant : 0
enhance breathiness : 0
-------------------
2023/04/09 11:41:20.25 : start NSF
NSF - Neural Source Filter (v1.3.0-Stable)
Copyright (c) 2020-2022 STUDIO NEUTRINO All rights reserved.
Load acoustic features : 2 [msec]
Load phrase information : 8 [msec]
Setup GPU : 9 [msec]
-> NVIDIA GeForce GTX 1060 (GPU 0)
Predict waveform (NSF) : 48 [msec]
-> Progress = 100 % (4800 / 4800 msec)
output waveform : 5839 [msec]
Finish : 5854 [msec]
Generation rate : 0.819952 [gen/sec]
-- File and Parameter information --
wav length : 4.8 [sec]
number of frames : 960 [frame]
input f0 file : outputtest.f0
input mgc file : outputtest.mgc
input bap file : outputtest.bap
output wav file : outputtest_nsf.wav
multi phrase prediction : 1
phrase info file : scorelabeltimingtest.lab
num threads (CPU) : 1 [thread]
num threads (session) : 1 [thread]
use GPU : 1
GPU ID : 0
trace information : 1
------------
2023/04/09 11:41:26.60 : end
C:UsersminokDownloadsNEUTRINO>
音声ファイルはoutputフォルダに作成されます。
実際に出力されたwaveファイル。
バッチファイルでは、歌声を変更することができます。歌い手を変更してみます。歌声ライブラリも先ほどと同じNEUTRINOのサイトでダウンロードすることができます。ずんだもんの歌声ライブラリをダウンロードしてみました。圧縮ファイルを展開すると日本語のフォルダの下の階層に英語表記のフォルダがあります。このフォルダごと指定のフォルダに移動します。移動先はNEUTRINOにあるmodelというフォルダです。
また、バッチファイルにも記述します。「set ModelDir」に記述しますが、歌い手のフォルダ名と同じにします。上書き保存して先と同じようにしてバッチファイルをコマンドプロンプトで実行します。
