有没有具备感情的 tts？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 949 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题，想把一些日语文字转换成具有感情的音频，有没有开源的仓库？付费的服务也可以。

背景：小组想把某 galgame 中缺少的语音补全，已经利用 vits 训练好了模型，对话也提取出来了，但发现普通 tts 缺乏感情，导致最终的音频很机械。

TTS

感情

音频

vits

19 条回复 • 2023-06-23 16:39:49 +08:00

renmu

2023 年 6 月 22 日 via Android

自己读，然后用再转换

DTCPSS

2023 年 6 月 22 日

不要纯靠 TTS
自己充满感情地读一遍后用 Voice Conversion 转成目标说话人的声音

shalingye

2023 年 6 月 22 日 via Android

@DTCPSS
@renmu
太多了，而且人读需要成本

Phasma

2023 年 6 月 22 日

可能是相关内容 https://zhuanlan.zhihu.com/p/365232061

shalingye

2023 年 6 月 22 日 via Android

@hymzhek 谢谢，不过这个仓库已经很久没更新了

fox

2023 年 6 月 22 日

初音未来？

shalingye

2023 年 6 月 22 日 via Android

@fox 非也

x77

2023 年 6 月 22 日

https://xinlake.dev/#/app-azure-tts

pochy06

2023 年 6 月 22 日

要不试试 bark ，支持情绪化的一些语音生成
https://github.com/suno-ai/bark

whatalittleboy

2023 年 6 月 22 日

前两天刚好看到的 https://www.bilibili.com/video/BV1Vg411h7of/

在线 demo https://huggingface.co/spaces/innnky/nene-emotion
情感特征提取 https://github.com/audeering/w2v2-how-to
VITS 情感控制语音合成 https://github.com/innnky/emotional-vits

shalingye

2023 年 6 月 22 日 via Android

@x77 不太符合...

shalingye

2023 年 6 月 22 日 via Android

@spico1026 已测试，感情很不稳定...每次生成很随机

findex

2023 年 6 月 22 日 via iPhone

同求啊

strp

2023 年 6 月 22 日

男声的话 iOS 的 British Voice 2 还有 Russian Voice 1 我觉得都挺有感情的。Japanese Voice 1 是男声 Voice 2 是女声。

id80108900

2023 年 6 月 23 日

现阶段不敢奢求感情，只求『自然』点。

shalingye

2023 年 6 月 23 日 via Android

@id80108900
@findex
@whatalittleboy
已测试 emotion-vits ，其携带感情向量，基本达到预期效果。然而，项目错误太多，经过艰难险阻后最终也没有办法训练出模型，只能曲线救国使用它的面板制作前置 tts 语音，然后借助前置语音用自己的模型在 so-vits 面板上推理出最终的效果。

id80108900

2023 年 6 月 23 日

@shalingye 我挺相信人工智能的，说不定过些日子，就有突破了。

shalingye

2023 年 6 月 23 日

进展：已成功开启 emotion-vits 训练，等晚上用面板推理实际文件。

shalingye

2023 年 6 月 23 日

@strp 不太符合需求，因为不仅仅是需要感情，还有一些情景的考虑，这些变量应该让人来选择。