O áudio é parte integrante de muitas aplicações de IoT, incluindo produtos de consumo, como alto -falantes e fones de ouvido, wearables e dispositivos médicos (por exemplo, aparelhos auditivos), aplicações de automação e controle industrial, sistemas de entretenimento e unidades de entretenimento automotivo.
O áudio da IoT pode ser amplamente categorizado em três tipos: streaming (ou seja, música, voz e dados), reconhecimento de voz/comandos e sem fio via conectividade Bluetooth e Wi-Fi (por exemplo, streaming de áudio multicanal por Wi-Fi para um sistema de som surround em casa). No entanto, projetar subsistemas de áudio acústicos ininterruptos e ininterruptos pode ser um desafio quando os engenheiros devem aderir às restrições estritas necessárias para os dispositivos baseados em IoT.
Designs mais complexos são necessários para incluir recursos avançados, como reconhecimento de voz, como permitir que os motoristas controlem o sistema de infotainment em seu carro da mesma maneira com as mãos livres que um telefone celular. Como o MCU está no centro de todos esses sistemas de áudio, é importante selecionar um MCU que integra as tecnologias de áudio necessárias para projetar um sistema de áudio confiável sem ruído. Este artigo explora as tecnologias de áudio que podem ser usadas para projetar esses sistemas.
Componentes de um subsistema de áudio
O Audio da IoT envolve três atividades principais: Voz/dados de alta qualidade a vapor, transmissão sem fio e controle de reorganização de voz. A Figura 1 mostra os blocos de construção mais importantes em um sistema incorporado.
Este diagrama de blocos mostra os blocos de construção mais importantes do subsistema de processamento de áudio
Observe que muitos desses recursos podem ser integrados ao MCUS moderno, como o Cypress Cyw43907 com o Wi-Fi 802.11n integrado usado neste exemplo. Alguns das importantes tecnologias de áudio que podem ser incluídas em um sistema baseado em IoT incluem:
Aplicativos musicais
O MCUS habilitado para o áudio permite que os engenheiros decodifiquem fluxos MP3/4 usados pelos players de mídia mais populares e provedores de conteúdo. Muitos designs também precisam suportar a decodificação da WMA e AAC da Apple, o que requer poder adicional de processamento. Em aplicativos de áudio do consumidor, o MCUS de áudio de baixo custo pode ser utilizado geralmente gerenciando fluxos de música digital a partir de acessórios de áudio, como conjuntos de alto-falantes digitais.
Nesses aplicativos, um quadro de dados de áudio PCM (encapsulado em um formato de classe de áudio USB) chega a cada 1 ms através de um dos canais seriais SPI/I²C do processador. Dependendo da fonte, o fluxo de áudio pode chegar a um dos vários formatos (ou seja, alinhado à esquerda, alinhado direito, I2s, etc.). No entanto, alguns codecs de baixo custo podem aceitar apenas determinados formatos. Nesses casos, o MCU desempenha um papel importante para garantir que os dados estejam alinhados corretamente antes de serem alimentados ao codec.
Como nem todas as fontes de áudio usam a mesma taxa de amostragem, o codec também deve adaptar sua frequência de amostragem à fonte ou depender do MCU para converter o fluxo de dados amostrado em uma taxa de dados comum (consulte a Figura 2). Nesses casos, o MCU deve gerenciar o fluxo para evitar condições de sobrecarga ou sobrecarga que podem levar a silenciadores, pops e descontinuidades de áudio que podem causar perda de dados e interromper a experiência de audição do usuário. Observe que o MCU de áudio também pode ser usado para implementar outras funções do subsistema de áudio, como controlar a iluminação durante a reprodução de áudio.
O MCU de áudio pode precisar executar a conversão de formato, o ajuste da taxa de amostra e o gerenciamento de fluxos, além de suportar interfaces de usuário de áudio.
Para implementar o áudio em uma ampla gama de aplicativos, o Audio MCUs precisa suportar uma variedade de tecnologias de áudio. A Figura 3 mostra exemplos dessas tecnologias de áudio.
tecnologia de som
Codecs de áudio
Os codecs de áudio são o principal componente front-end de um sistema de áudio. Muitos MCUs criados para aplicativos IoT suportam a funcionalidade do codec no hardware. Isso permite que o sistema reduza o tamanho das amostras de áudio digital para acelerar a transmissão sem fio (economizar energia) e salvar o espaço de armazenamento (reduzindo a tensão na capacidade de memória interna). O codec pode suportar vários formatos padrão de áudio, como AAC, AC -3 e ALAC. Para fazer isso, requer uma unidade de acesso de decodificação (Au), que é implementada antes de qualquer pós-processamento de áudio (por exemplo, dsola, sola). Quando usado com formatos de áudio padrão, como AAC, AC -3 e ALAC, o áudio é categorizado de maneira a que as amostras de áudio subsequentes estejam dentro do formato prescrito especificado no fluxo de dados do pacote de áudio. O espaçamento de pacotes também é gerenciado para permitir um jitter cruzado mínimo e operação ininterrupta na presença de congestionamento. O tamanho da carga útil da AU permite a execução de qualquer ocultação que precise ser executada.
Processamento da banda base
Um sinal de banda base é o grupo fundamental de frequências em uma forma de onda analógica ou digital que pode ser processada por circuitos eletrônicos. Um sinal de banda base pode consistir em uma única frequência ou um grupo de frequências ou, no domínio digital, um fluxo de dados enviados sobre um canal não multiplexado. A banda base é definida como a banda base (sinal/segundo) misturada com o sinal da transportadora para produzir um sinal modulado. Observe que, no MCUS suportando áudio da IoT, o codec de áudio integra o processamento da banda base e a RF em um único chip. O codec de áudio pode ser implementado em uma variedade de transceptores sem fio para fornecer dados de voz e/ou funcionalidade musical. O codec também possui canais mono e estéreo para saída de áudio, bem como entradas estéreo.
Ocultação de perda de pacotes e replicação de dados
Latência excessiva, perda de pacotes e jitter de alta latência podem prejudicar a qualidade da comunicação. A probabilidade de perda súbita de pacotes aumenta com a carga de rede e resulta em interrupções que podem ser ouvidas pelo usuário. A transmissão de áudio robusta sobre Wi-Fi pode ser aprimorada com recursos avançados, como a tecnologia de ocultação de perda de pacotes da Cypress. A fonte/receptor da arquitetura do sistema é a seguinte: Uma fonte captura o áudio, multiplex os dados do PCM através da estrutura do fluxo RTP e sincroniza o relógio com todos os receptores conectados à fonte do PLC.
Observe que o desempenho do link de comunicação depende da qualidade do desempenho do orçamento do link. Esse orçamento de link é determinado por três fatores: transmitir energia, transmitir ganho da antena e receber ganho da antena. Por exemplo, a comunicação confiável em uma rede 802.11 é possível se a potência do caminho do link menos a perda do espaço disponível for maior que o nível mínimo de sinal recebido do rádio receptor (veja a Figura 4).
O desempenho de um link de comunicação depende da qualidade do desempenho do orçamento do link
Melhoria de inteligibilidade da fala (SIE)
O ruído de fundo no sistema de áudio pode reduzir a inteligibilidade da fala. Se o ruído exceder um certo nível, o discurso pode ser difícil para o usuário entender. A disponibilidade de reconhecimento contínuo de fala em tempo real em dispositivos incorporados requer um sistema que aprimore a inteligibilidade do discurso com problemas de ruído. A seleção de um MCU que suporta a porção e otimização de um grande sistema de reconhecimento de fala contínuo de vocabulário comumente usado pode simplificar o desenvolvimento.
Detecção de frase de despertar
Esse recurso avançado permite que os usuários ativem o sistema sem-livre, ativando o dispositivo com sua voz.
Multicast eficiente para um ou mais alto -falantes
Multicasting é um método de endereçamento de rede usado para enviar mensagens para um grupo de metas simultaneamente usando a estratégia mais eficiente. As mensagens são entregues apenas uma vez através de cada link na rede e as cópias são criadas apenas quando o próximo link se divide em vários destinos, geralmente em comutadores e roteadores de rede. No entanto, como o Protocolo de Datagrama do Usuário (UDP), o Multicast não garante a entrega do fluxo de mensagens, o que pode levar ao descarte de mensagens ou a entrega de mensagens desorganizadas. O Multicast confiável (RMC) fornece reconhecimentos para pacotes multicast (somente pacotes) para que certos pacotes multicast específicos possam ser entregues de maneira confiável. O transmissor seleciona o receptor com o RSSI mais fraco para reconhecer o quadro. Em um ambiente de IoT, a implementação do RMC significa que o transmissor Wi-Fi escolhe um dos muitos receptores Wi-Fi para reconhecer a recepção do quadro. O transmissor seleciona o receptor com o RSSI mais fraco para reconhecer o quadro. A implementação usa uma estrutura operacional contendo elementos proprietários de informação RMC para notificar e ativar o reconhecimento. A implementação também contém comandos de driver Wi-Fi específicos para RMC para definir o endereço MAC multicast e ativar e desativar o RMC.
Para atrasos de áudio e vídeo com atrasos de transmissão fixos e simétricos, os requisitos de sincronização de tempo são atendidos; Por exemplo, o RMC pode contar com o tempo e a sincronização altamente precisos para a transmissão suave de célula a célula de dados, vídeo e dados móveis. A obtenção de um momento altamente preciso e preciso não é fácil do ponto de vista técnico, por isso é importante encontrar implementações que possam ser verificadas para atender aos requisitos de aplicativo.
Formatos de enquadramento, correção de erro direto e replicação de pacotes
Para streaming de áudio, é fundamental que o relógio seja sincronizado com todos os receptores Wi-Fi. Uma abordagem é usar um relógio comum para dispositivos de origem e receptor, geralmente chamado de relógio de parede ou relógio do sistema (STC). Primeiro, cada receptor (receptor) sincroniza seu STC (relógio de parede) com o STC de origem/transmissor (relógio de parede principal). Agora, cada receptor pode recuperar o relógio do transmissor porque o registro de data e hora inserido pela fonte (disponível no cabeçalho estendido de cada pacote RTP) reflete o momento amostrado da mídia em relação ao relógio comum.
O STC é baseado nos valores do relógio de Grandmaster descritos na especificação 802.1as. Como todos os dispositivos de receptor estão cientes da correlação entre o STC e o relógio de mídia do dispositivo de origem (no que se refere ao Timestamp RTP ou da mídia), cada receptor pode reconstruir uma cópia do relógio de mídia RTP do dispositivo de origem e fila sua saída de acordo para a renderização adequada. O relógio transparente é onde os pacotes de hardware/ucode podem ser recebidos e transmitidos o mais próximo possível da interface MAC/PHY. Embora esse valor de relógio não seja usado para reprodução, ele pode ser usado para medir o jitter em todo o sistema e executar uma análise completa do desempenho.
Exemplo de um sistema de áudio doméstico inteligente
Para entender o áudio da IoT no contexto, considere o exemplo do Smart Home e o papel que o áudio pode desempenhar na melhoria da funcionalidade geral de um sistema doméstico inteligente. Uma casa se torna um lar inteligente quando os dispositivos e aparelhos nele podem se comunicar entre si e com as pessoas que moram lá. Ao aumentar nossa interconectividade, as casas inteligentes estão melhorando nossa qualidade de vida e aumentando nossa segurança.
Um dos principais casos de uso para áudio na casa inteligente é armazenar e compartilhar áudio sobre Wi-Fi ou Bluetooth. A escolha do Wi-Fi sobre o BLE varia de acordo com a aplicação e depende dos requisitos de qualidade e qualidade do áudio. Por exemplo, um controlador doméstico pode tocar um som específico em cada sala da casa se alguém tocar a campainha na porta, em vez de apenas conectar a campainha em uma parte da casa. Da mesma forma, o controlador pode limitar o som a salas específicas, como não em um berçário para bebês. Os controladores incorporados ajudam a processar esse áudio e tornar o sistema mais inteligente, gerenciando várias funções de controle de saída.
Sistemas de áudio de reprodução
Os sistemas de áudio reproduzidos tornaram -se um aplicativo importante no mercado de áudio. Os sistemas de reprodução de áudio sem fio estão no centro da casa inteligente, reunindo muitos dispositivos inteligentes diferentes em casa e tomando decisões inteligentes em nome do usuário. Por exemplo, um sistema de áudio pode controlar os padrões de iluminação em uma casa com base na música que está tocando atualmente. Ele também pode usar a conversão de texto em fala para ler as notificações ou e-mails do usuário em voz alta. Os usuários também têm a opção de criar zonas em um sistema de áudio com várias salas usando dispositivos de áudio em rede, como alto-falantes sem fio em diferentes salas da casa. Essa abordagem cria um ecossistema inteiro para garantir que a casa esteja sempre operando com eficiência de pico, minimizando as interações com as pessoas que moram lá. Para criar esse ecossistema, os designers de IoT precisam selecionar um microcontrolador incorporado com o desempenho certo e os recursos baseados em áudio que foram otimizados para aplicativos de IoT.
Efeitos de processamento de sinal digital
O processamento de sinal de áudio no domínio digital é uma parte importante de qualquer sistema de áudio antes de transmitir dados de áudio sobre um link sem fio. Esse processamento normalmente envolve medição, filtragem e/ou compactação do sinal analógico de áudio. O MCUS incorporado com a funcionalidade DSP integrada permite efeitos como a adição de um mixer digital e o suporte para funções de controle remoto. Com um equalizador de banda 5- para cada canal, a reprodução de áudio pode ser inteligentemente integrada à maioria dos aplicativos de sequenciador para criar um poderoso sistema de estúdio.