Voz neural (XTTS v2) e transcrição (STT)
Nas duas edições, a Hikari envia notas de voz nativas do aplicativo em vez de anexos .mp3 comuns. No Discord, a mensagem aparece com o player oficial de microfone (flags: 8192), seletor de velocidade (1x, 1.5x, 2x) e waveform de 256 picos; no WhatsApp, é entregue como gravação PTT em OGG Opus (ptt: true).
Arquitetura da síntese vocal
Seção intitulada “Arquitetura da síntese vocal”[Pedido do usuário] │ ▼[LLM] -> Aciona 'send_voice_note', trigger '!' (Discord) ou '.' / '>audio' / '>falar' (WhatsApp) │ ▼[cleanForTts] -> Dicionário fonético PT-BR e remoção de links, códigos e emojis │ ├──► 1º Hugging Face Space (ZeroGPU) (~5 a 7 s, Always-ON) │ │ (Se ocupado ou sem cota) └──► 2º Modal.com (NVIDIA T4) (~1,5 a 2 s aquecido / ~35 a 45 s cold start) │ ▼ [FFmpeg OGG Opus 48 kbps VBR] -> voice-message.ogg (Discord) / PTT (WhatsApp) │ ├──► Discord: Cálculo de 256 blocos PCM RMS em Base64 + Upload REST em 2 etapas └──► Bypass: registerBotAudio() salva o texto original em transcriptionCacheLimpeza e dicionário fonético (cleanForTts)
Seção intitulada “Limpeza e dicionário fonético (cleanForTts)”Antes da chamada ao servidor de voz, os blocos de código, URLs, menções e emojis são filtrados e palavras recorrentes em inglês são adaptadas para pronúncia natural em português brasileiro (discord → "discórd", gameplay → "gueime-plei", setup → "setáp", wifi → "uai-fai").
Hierarquia entre Hugging Face Space e Modal.com
Seção intitulada “Hierarquia entre Hugging Face Space e Modal.com”| Provedor | Prioridade | Tempo aquecido | Partida a frio | Cota / Comportamento |
|---|---|---|---|---|
| Hugging Face Space | Primário | ~5,5 s |
~5 a 7 s |
Always-ON com alocação ZeroGPU por chamada (@spaces.GPU) |
| Modal.com Serverless | Fallback | ~1,5 a 2,0 s |
~35 a 45 s |
GPU T4 sob demanda (créditos mensais gratuitos), timeout de 90s |
Mensagens de voz nativas por plataforma
Seção intitulada “Mensagens de voz nativas por plataforma”Como bibliotecas de alto nível costumam ignorar metadados internos da waveform, o envio no Discord executa o fluxo oficial em REST (v10):
- O FFmpeg converte o WAV de saída (
24.000 Hz) via streaming (-c:a libopus -b:a 48k -vbr on -f ogg) com o nome obrigatóriovoice-message.ogg. - O sistema analisa as amostras PCM de 16 bits, divide em
256blocos uniformes e codifica o pico RMS normalizado (0a255) em Base64. - Executa upload em duas etapas na API REST:
POST /channels/{channel_id}/attachmentspara obter URL pré-assinada,PUTenviando o binário OGG, ePOST /channels/{channel_id}/messagescomflags: 8192,duration_secsewaveform.
Gatilhos de voz no Discord:
- Decisão autônoma (
send_voice_note): durante a síntese, o bot exibe status temporárioGravando voz...antes de publicar o áudio. Se houver dados sobre o criador ou tópicos salvos, consultadb_readantes de gerar a fala curta (1 a 4 frases). - Gatilho forçado do proprietário (
!): quando o dono configurado (config.isOwner) inicia a mensagem com!(por nome, menção ou resposta a uma mensagem da Hikari), a resposta sai obrigatoriamente falada. - Slash
/ia_chat: usevoice:Truepara forçar nota de voz ouvoice:Falsepara manter em texto. Caso os provedores TTS falhem, o texto vai normalmente com o rodapéHouve uma falha na voz..
Bypass de Whisper (transcriptionCache): assim que a mensagem de voz do bot é enviada, registerBotAudio(messageId, text) guarda o texto original em cache. Quando um membro responde àquele áudio ou o histórico é lido, resolveMessageAudioContent recupera o texto sem gastar API de transcrição (Hikari: [audio transcrito]: texto).
No WhatsApp (HikariZap), o WAV sintetizado é convertido para container OGG Opus e transmitido via Baileys com ptt: true, exibindo o ícone nativo de nota de voz gravada no celular:
. <pergunta>: atalho rápido com ponto inicial para perguntar e receber resposta falada.>audio <pergunta>: responde em nota de voz PTT após processar o assunto com a IA.>falar <texto>: sintetiza literalmente a frase enviada.
Quando nenhum endpoint TTS estiver configurado ou ambos estiverem indisponíveis, a Hikari entrega a resposta em texto na conversa.
Transcrição de áudio recebido (STT Whisper)
Seção intitulada “Transcrição de áudio recebido (STT Whisper)”- No Discord (histórico sob demanda): áudios presentes no histórico do canal só são transcritos quando alguém menciona ou pergunta algo à Hikari naquele canal, usando Wit.ai em prioridade e fallback automático para Groq (
whisper-large-v3-turbo). O resultado fica em cache por ID da mensagem; arquivos de música (.mp3) não são transcritos e mantêm apenas o nome do arquivo no histórico. - No WhatsApp (
>transcrevere DM): o módulosrc/services/sttService.jsimplementa download com cabeçalhos anti-403 para mídias do WhatsApp e tenta na ordem configurada: Groq (whisper-large-v3-turbo, abaixo de 800 ms), Wit.ai, OpenAI Whisper (OPENAI_STT_KEY) e endpoints próprios (HF_STT_URLouLOCAL_STT_URL).
Tutorial: clonagem e hospedagem própria de XTTS v2
Seção intitulada “Tutorial: clonagem e hospedagem própria de XTTS v2”Em vez de treinar um modelo inteiro do zero, o XTTS v2 extrai dois vetores latentes (gpt_cond_latent e speaker_embedding) a partir de uma amostra limpa de voz (30s a 2 min sem ruído, eco ou música, em WAV 24.000 ou 44.100 Hz mono).
1. Extrair latentes (extrair_latentes.py)
Seção intitulada “1. Extrair latentes (extrair_latentes.py)”Com Python 3.10 ou 3.11 e o pacote TTS instalado:
import torchfrom TTS.api import TTS
audio_referencia = "golden_sample.wav"arquivo_saida = "voz_personalizada_v1.pth"
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to( "cuda" if torch.cuda.is_available() else "cpu")
gpt_cond_latent, speaker_embedding = tts.synthesizer.tts_model.get_conditioning_latents( audio_path=[audio_referencia])
torch.save( { "gpt_cond_latent": gpt_cond_latent.cpu(), "speaker_embedding": speaker_embedding.cpu(), }, arquivo_saida,)2. Subir o servidor de síntese
Seção intitulada “2. Subir o servidor de síntese”Crie um Space em huggingface.co/spaces com SDK Gradio e hardware ZeroGPU, enviando voz_personalizada_v1.pth junto dos arquivos abaixo:
requirements.txt:
torchtorchaudiosoundfilenumpyTTSspacesgradiogradio_clientapp.py:
import osimport spacesimport torchimport numpy as npimport soundfile as sfimport gradio as grfrom TTS.api import TTS
BASE_DIR = os.path.dirname(os.path.abspath(__file__))MODEL_PATH = os.path.join(BASE_DIR, "voz_personalizada_v1.pth")
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to("cuda")
latents_data = torch.load(MODEL_PATH, map_location="cpu")cond_latent = latents_data["gpt_cond_latent"].to("cuda")speaker_emb = latents_data["speaker_embedding"].to("cuda")
@spaces.GPU(duration=30)def synthesize(text, model="v1", speed=1.15, temperature=0.65, pause_spacing_ms=200): if not text or len(text.strip()) == 0: return None
out = tts.synthesizer.tts_model.inference( text=text, language="pt", gpt_cond_latent=cond_latent, speaker_embedding=speaker_emb, temperature=temperature, speed=speed, enable_text_splitting=True, )
out_path = os.path.join(BASE_DIR, "output.wav") sf.write(out_path, np.array(out["wav"]), 24000, format="WAV") return out_path
with gr.Blocks(title="Neural Voice TTS") as demo: t_in = gr.Textbox(label="Texto") m_in = gr.Dropdown(choices=["v1"], value="v1", label="Modelo") s_in = gr.Slider(0.8, 1.5, value=1.15, label="Velocidade") tmp_in = gr.Slider(0.4, 0.9, value=0.65, label="Temperatura") p_in = gr.Slider(50, 400, value=200, label="Pausa (ms)") btn = gr.Button("Sintetizar") a_out = gr.Audio(label="Áudio", type="filepath")
btn.click( synthesize, inputs=[t_in, m_in, s_in, tmp_in, p_in], outputs=[a_out], api_name="synthesize", )
demo.launch(server_name="0.0.0.0", server_port=7860)Copie a URL gerada (https://seu-usuario-space.hf.space) para HF_TTS_ENDPOINT no .env.
Instale e autentique a CLI do Modal (pip install modal && modal setup) e publique modal_app.py junto com voz_personalizada_v1.pth:
import ioimport osimport modalimport numpy as npimport soundfile as sfimport torch
app = modal.App("hikari-voice-tts")
image = ( modal.Image.debian_slim(python_version="3.10") .apt_install("ffmpeg", "git") .pip_install("torch", "torchaudio", "soundfile", "numpy", "TTS", "fastapi[standard]") .copy_local_file("voz_personalizada_v1.pth", "/root/voz_personalizada_v1.pth"))
@app.cls(gpu="T4", image=image, scaled_down_window=300)class TTSService: @modal.enter() def load_model(self): os.environ["COQUI_TOS_AGREED"] = "1" from TTS.api import TTS
self.tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to("cuda") dados = torch.load("/root/voz_personalizada_v1.pth", map_location="cpu") self.cond_latent = dados["gpt_cond_latent"].to("cuda") self.speaker_emb = dados["speaker_embedding"].to("cuda")
@modal.fastapi_endpoint(method="POST") def synthesize(self, payload: dict): from fastapi.responses import JSONResponse, Response
text = payload.get("text", "") speed = float(payload.get("speed", 1.15)) temperature = float(payload.get("temperature", 0.65))
if not text: return JSONResponse({"error": "Texto ausente"}, status_code=400)
out = self.tts.synthesizer.tts_model.inference( text=text, language="pt", gpt_cond_latent=self.cond_latent, speaker_embedding=self.speaker_emb, temperature=temperature, speed=speed, enable_text_splitting=True, )
buffer = io.BytesIO() sf.write(buffer, np.array(out["wav"]), 24000, format="WAV") buffer.seek(0) return Response(content=buffer.read(), media_type="audio/wav")Publique com modal deploy modal_app.py e preencha a URL retornada em MODAL_TTS_ENDPOINT.
Variáveis de voz e transcrição no .env
Seção intitulada “Variáveis de voz e transcrição no .env”| Variável | Função | Valor de referência |
|---|---|---|
HF_TTS_ENDPOINT |
Space Hugging Face ZeroGPU primário | URL .hf.space |
MODAL_TTS_ENDPOINT |
Fallback Serverless NVIDIA T4 no Modal | URL .modal.run |
VOICE_SPEED |
Velocidade da síntese vocal (0.5 a 2.0) |
1.15 |
VOICE_TEMPERATURE |
Variação e entonação da voz (0.0 a 2.0) |
0.65 |
VOICE_MAX_CHARS |
Teto de caracteres enviados por síntese | 180 (Discord) / 1000 (WhatsApp) |
VOICE_CHAT_ENABLED |
Ativa notas de voz no chat do Discord | true / false |
WIT_AI_KEY / WITAI_TOKEN |
Chave gratuita para transcrição STT | Console Wit.ai |
GROQ_API_KEY |
Chave da Groq para whisper-large-v3-turbo |
Console Groq |
