ChatTTS：一款效果炸裂的语音合成模型，居然听不出是AI，停顿呼吸极其自然

ChatTTS：一款效果炸裂的语音合成模型，居然听不出是AI，停顿呼吸极其自然
2024-6-22 22:13:54 Author: mp.weixin.qq.com(查看原文) 阅读量:11 收藏

今天七夜在逛github的时候发现了一个特别优秀的语音合成模型ChatTTS，语音合成效果太炸裂了，停顿都极其自然，真有点担心，之后会被诈骗利用，伪装成真人，着实可怕。

特点

ChatTTS的设计初衷是服务于对话场景，特别是为大型语言模型（LLM）助理等提供支持。它通过以下几个方面展现了其卓越的性能：

对话式语音合成：ChatTTS优化了对话任务，使得合成的语音不仅自然，而且富有表现力。它支持多角色朗读，为互动式对话提供了真实的声音体验。
细粒度控制：模型能够预测和控制包括笑声、停顿和插话在内的细粒度韵律特征，这为合成的语音增添了更多的真实性和多样性。
优越的韵律表现：在韵律表现上，ChatTTS超越了大多数开源TTS模型，提供了预训练模型以支持进一步的研究和开发。
多语言支持：ChatTTS支持中英文混合输入，满足了多语言环境下用户的全球化沟通需求。
易用的Python接口：简洁的Python接口使得开发者可以轻松集成和使用ChatTTS，无论是研究、开发还是实际应用，都能迅速上手。
可定制化的语音风格：用户可以根据需要调整生成语音的速度、音调和情感等，以适应不同场合的需求。

安装与使用

ChatTTS的安装和使用过程相对简单。用户可以通过Python环境轻松安装所需的依赖，并快速启动ChatTTS。无论是通过WebUI界面体验，还是通过命令行生成音频，或是在Python代码中直接调用，ChatTTS都提供了相应的指南和示例代码，确保用户能够快速上手。

在线体验

为了让更多的用户体验ChatTTS的魅力，项目团队提供了一个在线体验地址，用户可以通过这个链接直接在线体验ChatTTS的语音合成效果。

https://chattts.com/zh

快速开始

对于希望快速体验ChatTTS的用户，项目提供了快速开始的指南。用户可以通过简单的命令行操作，快速生成音频并体验ChatTTS的功能。

1.安装依赖：

pip install git+https://github.com/2noise/ChatTTS

如果使用的是`conda`则使用下面的方式进行安装：

git clone https://github.com/2noise/ChatTTScd ChatTTSconda create -n chatttsconda activate chatttspip install -r requirements.txt

2. 拉取项目：

git clone https://github.com/2noise/ChatTTS

3.启动webui

通过运行examples/web/webui.py来启动webui界面来体验该项目

python examples/web/webui.py

命令行方式也可以：

python examples/cmd/run.py "输入需要生成音频的文字."

Python调用示例

ChatTTS的Python调用示例为用户提供了一个清晰的参考，展示了如何在Python代码中集成ChatTTS，并生成所需的音频。这不仅为开发者提供了便利，也为ChatTTS的进一步集成和应用提供了可能。

# 导入依赖import torchimport ChatTTSfrom IPython.display import Audio
# 初始化ChatTTSchat = ChatTTS.Chat()chat.load_models()
# 准备一段内容texts = ["待生成音频的内容",]# 生成音频wavs = chat.infer(texts, use_decoder=True)# 播放音频Audio(wavs[0], rate=24_000, autoplay=True)

ChatTTS的应用场景广泛，它可以用于大型语言模型助手的对话任务、生成对话语音、视频介绍、教育和培训内容的语音合成，以及任何需要文本到语音功能的应用或服务。

最后

关注下方公众号，发送消息 202406，返回下载链接。

一键三连，加星标，这样才能及时看到我。

特点

安装与使用

在线体验

如果使用的是conda则使用下面的方式进行安装：

最后

推荐阅读

如果使用的是`conda`则使用下面的方式进行安装：