ゆっきー@音声合成

I think it’s an improvement over the last version. I reduced the aperiodic components and displayed the mel spectrogram below. v3.2.1 used harmonics for what should be aperiodic, creating a harsh sound.

遊びに来ました

複数ノートにまたがる英単語の分割ルールについて考え中。今のところ音響モデルに「skies -」は「s k ay ay z」が入力されてしまうので、思ったより色々改修する必要がありそうだ…。

使用の断念を決意(こういうラベルが少なからずある)

絶対静音じゃないとこに静音ラベル付きまくってて困惑している。DiffSingerの論文でこのデータセット(PopCS)が使われたらしいけど本当なのか

SHIROに中国語教えて中国語の音素ラベル直すためのアプリClaudeに作ってもらったのだけど、正直SHIRO側も全然合ってない…。あとPopCS変なとこに休符入れすぎでは…。

中国語のデータセット(OpenCpop)を学習させた。どうやっても発音が明瞭にならない…。

PopCSとM4Singerの音素ラベル、流石に厳しいかもしれん(例に挙げたやつが特別ズレてるとかじゃなく全体的にこう)

重音テト…、嘘だよな…？

bilibiliのDeepSeek娘の歌声合成モデル(DeepSeekの読み上げ音声を学習させてる)、違法すぎるという問題はあるのだけど完成度高くて驚いてた。教師データどうしたんだと思ったが、DeepSeekには読み上げ音声を歌わせるというハックがあるらしい(ChatGPTやGeminiだとできなかった)。