Pular para o conteúdo

Pesquise guias, comandos, ferramentas MCP e arquitetura

Hikari Discord

Voz neural e chamadas DAVE

No Discord, a voz da Hikari atua em duas frentes distintas: notas de voz nativas nos canais de texto e chamadas de voz em tempo real com criptografia DAVE v1.

Ao responder falando no chat de texto ou DM, a Hikari envia uma mensagem de microfone oficial do Discord com barra de waveform e controle de velocidade (1x, 1.5x, 2x):

  1. cleanForTts remove códigos, links e emojis e aplica o dicionário fonético PT-BR.
  2. O áudio WAV (24.000 Hz) é gerado no Hugging Face Space (ZeroGPU) ou no Modal.com (NVIDIA T4) em contingência.
  3. O FFmpeg converte em streaming para voice-message.ogg (libopus, 48 kbps VBR).
  4. O sistema extrai 256 blocos PCM RMS de 16 bits, normaliza de 0 a 255 em Base64 e realiza upload REST em 2 etapas com flags: 8192.
  5. registerBotAudio(messageId, text) guarda o texto no transcriptionCache, evitando gastar cota do Whisper quando membros respondem ao áudio da própria Hikari.
  • Pedido natural: mencione a Hikari pedindo áudio (send_voice_note).
  • Comando /ia_chat: passe voice:True para forçar nota de voz (1 a 4 frases) ou voice:False para manter em texto.
  • Atalho ! do proprietário: mensagens do dono (config.isOwner) iniciadas por ! forçam resposta em voz. Caso os servidores TTS falhem, envia em texto com o aviso Houve uma falha na voz..

Ao entrar em um canal de voz com /entrar-call (conversa, radio ou hibrido):

  • Criptografia ponta a ponta: conecta via @discordjs/voice com suporte nativo ao DAVE Protocol v1.
  • Filtro de silêncio e microfone mutado: analisa o sinal PCM recebido e descarta blocos de usuários mutados ou abaixo de RMS 250 antes de chamar a API STT.
  • Matcher fonético de 75+ variações: soma hint de prompt "Hikari" no Whisper a expressões regulares que captam mais de 75 variações próximas por sotaque ou ruído ("Hicari", "Icari", "Ficari", "Vicari", "Ricardo").
  • Saída automática: quando todos os humanos saem da call, aguarda 10 segundos e desconecta sozinha.

Para conferir o tutorial completo de extração de latentes .pth e deploy do servidor XTTS v2 no Hugging Face e Modal, acesse Voz neural e transcrição.