Fundamentos de udio Joaquim Macedo Departamento de Informtica

Fundamentos de Áudio Joaquim Macedo Departamento de Informática da Universidade do Minho & Faculdade de Engenharia da Universidade Católica de Angola 1

Sumário n n Características do Som O Sistema de Audição Humano Gravação de Áudio Representação do Sinal Áudio n n n Método da Forma de Onda Musical Instument Digital Interface Distribuição do TPC nº 2 2

O que é o som? n Fenómeno físico produzido pela vibração da matéria n n Cordas de Violino, Bater palmas , Cordas vocais Com a vibração da matéria n n n as moléculas vizinhas vibram no ar criando um variação de pressão no ar à volta Esta alteração das altas pressões (compressão) e baixas pressões (rarefacção) propaga-se no ar como uma onda Quando a onda atinge o nosso ouvido e processado pelo cérebro o som é ouvido 3

Ondas Sonoras compressão rarefacção amplitude Onda sinusoidal tempo 4

O que é o som? n n n Uma onda sonora produz áreas de alta e baixa pressão Quando a onda de alta pressão atinge o timpano ele move-se para dentro Quando a onda de baixa pressão atinge o timpano ele move-se para fora. 5

Ondas Sonoras n Uma onda mecânica é uma perturbação que viaja através dum meio transportando energia dum local para outro. 6

Características do Som n Propriedades normais das ondas n n Reflexão Refração Difração A percepção do som inclui três aspectos: n n n Intensidade (amplitude); Tom (frequência); e, Envelope (Timbre) n Porquê que o violino e o piano a tocar a mesma nota são tão diferentes? 7

Reflexão e Refração 8

Difração 9

Características do Som Frequência n O comprimento de onda (wavelength) é a distância entre dois pontos adjacentes na onda 10

Características do Som Frequência n n n A frequência da onda é o número de comprimentos de onda por ciclo (normalmente um segundo) É medida em Hertz (ondas por segundo) Quanto maior a frequência maior é o tom 1 wave 0 secs 2 waves time 1 sec t 2 Hz 11

Características do Som Frequência Categoria Intra Som Audível Ultra Som Hiper Som Gama de Frequência 0 – 20 Hz- 20 KHz - 1 GHz 1 GHz - 10 GHz 12

Características do Som Frequência n Limite da Gama Audível n n n Homem Cão Gato Morcego Golfinho 20 KHz 50 KHz 60 KHz 120 KHz 160 KHz 13

Características do Som Frequência n Gama audível para os humanos n n 20 Hz- 20 KHz Diminui com a idade n n Meia idade < 15 KHz Ondas sonoras n n Velocidade: 344 m/s (temperatura 20ºC) Comprimentos de onda n n 17 m (20 Hz) 1. 7 cm (20 KHz) 14

Características do Som Frequência n Diferentes composições do som n n Natural Fala Música Categorias de sons n n Periódicos Não periódicos 15

Características do Som Amplitude Intensidade 0 d. B 25 d. B 40 d. B 50 d. B 70 d. B 90 d. B 120 d. B 140 db Exemplos Típicos Limiar da audição Estúdio de Gravação Residência Escritório Conversação Típica Audição áudio em casa Limiar da dor Música Rock 16

Características do Som Envelope 17

Sistema de Audição Humana n n Mecanismo deveras complexo! Através dos ouvidos é realizada a captação das mais diversas formas de som Os nossos ouvidos transformam o som em sinais que são processados pelo nosso cérebro Vamos fazer uma descrição ligeira do nosso sistema de audição 18

Sistema de Audição Humana • O nosso sistema auditivo converte energia sonora em energia mecânica para um impulso nervoso que é transmitido para o cerébro. • O ouvido tem três partes: externa, média e interna. 19

Sistema de Audição Humana O ouvido externo • O ouvido externo compreende o pavilhão auricular e o meato acústico externo. O pavilhão capta os sons, tendo papel importante na localização espacial da fonte sonora, extremamente importante para ouvirmos em ambientes ruidosos. O meato acústico externo conduz os sons até a membrana timpânica. 20

Sistema de Audição Humana Ouvido médio • Serve para transformar a energia sonora em vibrações internas do estrutura óssea da orelha média • As vibrações são transformadas em ondas de compressão 21

Sistema de Audição Humana O ouvido interno • Serve para transformar a energia da onda de compressão num fluído interno do ouvido em implusos do nervo no fluído interno que podem ser transmitido ao cérebro 22

Sistema de Audição Humano n n Ouvido é um sistema altamente complexo Tem as suas ideossincrasias n n n Altamente sensível a defeitos a sinais atractivos Ignora defeitos graves em sinais assumidos como irrelevantes Essas propriedades podem ser exploradas para obter níveis de compressão elevados no armazenamento e transmissão de sinais áudio. 23

Sistema Humano de Audição Curvas de Igual Intensidade 24

Efeito de dissimulação n Quando um som forte numa determinada frequência estimula os pelos da cóclea n n As frequências próximas não são ouvidas caso sejam menos significativas (de menor amplitude) Apesar do nosso ouvido captar uma certa amplitude de frequências, parte delas não são processados por causa do processo de dissimulação(masking) 25

Sistema Humano de Audição Dissimulação Áudio 80 Sinal Nível de Pressão do Som [d. B-SPL] 70 60 50 40 Limiar da Dissimulação (Masking) 30 Limiar da Audição 20 10 0 -10 -20 -30 5000 10000 15000 Frequência 26

Sistema Humano de Audição Bandas Críticas Nº Banda Frequência Corte Crítica Inferior (Hz) Frequência Corte Superior(Hz) Banda Crítica (Hz) Frequência Central (Hz) 1 --- 100 ---- 50 2 100 200 150 3 200 300 100 250 4 300 400 100 350 5 400 510 110 450 6 510 630 120 570 7 630 770 140 700 8 770 920 150 840 9 920 1080 160 1000 10 1080 1270 190 1170 11 1270 1480 210 1370 12 1480 1720 240 1600 27

Sistema Humano de Audição Bandas Críticas Nº Banda Frequência Corte Crítica Inferior (Hz) Frequência Corte Superior(Hz) Banda Crítica (Hz) Frequência Central (Hz) 13 1720 2000 280 1850 14 2000 2320 2150 15 2320 2700 380 2500 . . . 28

Sistema Humano de Audição Som mestre e dissimulados 80 Nível de Pressão do Som [d. B-SPL] 70 60 Som mestre Limiar da Dissimulação (Masking) 50 40 30 Limiar da Audição 20 10 0 -10 -20 -30 5000 Sons dissimulados 10000 15000 Frequência 29

Gravação Áudio n Som gerado e reproduzido de várias Ouvintes formas n Fala : pessoa para pessoas n n Não há processamento Música e Radiodifusão n Fonte Processamento e armazenamento n Para posterior busca e reprodução 30

Acústica Som Ouvintes Fonte de Som Ambiente 31

Acústica Reverbação 32

História do Áudio Multicanal Décadas Principais acontecimentos 1930 Experiência com 3 canais áudio nos Laboratórios Bell 1950 4 -7 canais (cinema) 2 canais stereo (casa) 1970 Stereo ambiente (cinema) 4 canais stereo (casa) Cassetes vídeo mono e stereo 1980 3 -4 canais áudio de ambiente (casa) CD digital 2 canais (casa) 1990 5 canais áudio ambiente (casa) 33

Reprodução Áudio Multicanal L LFE C L-S R L R-S C R L-S R-S L-S Casa LFE R-S Cinema L (Left), R(right), C(center), L-S (Left-Surround), L-R(Right-Sorround), LFE (Low Frequency Effects) 34

Sistema de som ambiente Configuração dos altifalantes Posição dos Altifalantes Nome Código F-L F-C F-R Mono 1/0 Stereo 2/0 x 3 c Stereo 3/0 x 3 c amb. 2/1 x 4 c amb. 2/2 x x Amb. standard 3/2 x x x Ambiente Melhorado 5/2 x x x M-L M-R R-L R-C R-R x x x x 35

Gravação áudio ao vivo (a) Instrumentos Gravador Stereo Amplificador Colunas (b) Misturador Instrumentos Gravador Multipista Misturador (c) Gravador Stereo Gravador Multipista Efeitos 36

Representação do Sinal de Áudio n Métodos n Considerações n n Forma de Onda n n Complexidade do processamento Taxa de informação Flexibilidade Representação exacta do sinal de áudio produzido Paramétrico n Modelo do processo de geração n n Síntese de voz (para fala) n Compressão da fala Síntese de música n Norma MIDI 37

Forma de Onda: Geração e Reprodução Áudio Fonte Áudio Ouvinte Captura Reprodução Áudio (Altifalante) Conversão Amostragem & Digitalização D/A Armazenamento ou Transmissão Receptor 38

MIDI Musical Instrumental Digital Interface n Não transmite áudio digital n Transmite informação básica produzida pelo músico n n Que teclas são pressionadas ou libertadas Que pedais são pressionados ou libertados 39

Especificação MIDI n O MIDI é fisicamente : n Uma interface série assíncrona simplex n n n Simplex – os dados fluem numa única direcção do transmissor para o receptor Série – os bits de dados são transmitidos uns atrás dos outros Assíncrona – a duração de cada bit é fixa (32 µs para o MIDI). Tanto o transmissor como o receptor necessitam dum relógio preciso para medir essa duração. Não é transmitido nenhum relógio, pelo que só é necessário um par de fios. Baud rate = 31250 bits/second Dados transmitidos em pacotes de 8 bits com 1 bit de start e stop sem paridade. 40

Conexões MIDI n A maioria dos dispositivos MIDI têm 3 portas: n n n MIDI In: Recebe Informação MIDI Out: Transmite Informação MIDI Thru: Repete a entrada ‘MIDI In’ n Permite uma única saída MIDI controlar mais que um instrumento IN OUT A THRU IN OUT B THRU IN OUT THRU C 41

Sistema MIDI simples Módulo de Som Sequenciador Sinal MIDI Controlador 42

Estúdio Virtual Computer Mixer Audio In Digital Audio Track Audio Out Microphone Audio Out MIDI In MIDI Sequence MIDI Out MIDI In MIDI Out Audio Out 43

Organização de ficheiro MIDI Header Chunk Track 1 Track 2 Header Chunk . . . Dados da Música Status Data Bytes 44

Formato do cabeçalho e pista Deslocamento Comp Tipo Descripção Valor 0 x 00 4 char[4] ID do chunk MThd(0 x 4 D 546864) Header 0 x 04 4 dword Tamanho chunk 6(0 x 00000006) Chunk 0 x 08 2 word Tipo formato 0 -2 0 x 10 2 word Nº pistas 1 -65, 535 0 x 12 2 word div. tempo Ticks/quadro Track 0 x 00 4 char[4] ID do chunk MTrk (0 x 4 D 54726 B) Chunk 0 x 04 4 dword Tamanho chunk Tamanho dados da pista 0 x 08 Dados de eventos 45

Formato de Informação para Divisão no Tempo Bit: 15 14. . . 8 7. . . . . 0 <Divisão> 0 1 Ticks por semínima Frames/seg Ticks/frame 46

Mensagens MIDI n n Tudo que a interface física MIDI permite é a transmissão de mensagens de 8 bits Para tocar música, é necessária uma linguagem ou protocolo para associar semântica aos números O MIDI usa mensagens de um ou mais bytes A maioria das mensagens usam 2 ou 3 bytes no formato seguinte: Status Byte 1 Message Type Channel No. Data Byte 1 0 Data 1 (0 -127) Data Byte 2 0 Data 2 (0 -127) 47

Byte de estado e canais MIDI Status Byte 1 Message Type n Channel No. Data Byte 1 0 Data 1 (0 -127) Data Byte 2 0 Data 2 (0 -127) Todas mensagens MIDI começam com o byte de estado n n O MSB para o byte de estado é 1 para os restantes é 0 Os Bits 4, 5 and 6 do byte de estado indicam o tipo de mensagem (8 tipos possíveis) Os 4 bits restantes indicam o # do canal Os dispositivos MIDI podem ser configurados para responder a um único canal 48

Formato de eventos de canais MIDI Tempo Delta Valor do tipo de evento Canal MIDI Parâmetro 1 Parâmetro 2 Comprimento Variável 4 bits 1 byte 49

Eventos de Canal MIDI Valor Tipo Evento Parâmetro 1 Parâmetro 2 0 x 8 Note Off Note Number Velocity 0 x 9 Note On Note Number Velocity 0 x. A Polyphonic Aftertouch Note Number Pressure 0 x. B Control Change Controller Number Value 0 x. C Program Change Program Number (not used) 0 x. D Channel Aftertouch Pressure (not used) 0 x. E Pitch Bend LSByte MSByte 50

Note On/Off Status Byte 1 0 0 Data Byte 1 Channel No. 0/1 0 Data Byte 2 Note Number (0 -127) 0 Velocity (0 -127) Off/On C#2 D#2 F#2 G#2 A#3 C#3 D#3 F#3 G#3 A#4 49 51 54 56 58 61 63 66 68 70 C 2 D 2 E 2 F 2 G 2 A 3 B 3 C 3 D 3 E 3 F 3 G 3 A 4 B 4 48 50 52 53 55 57 59 60 62 64 65 67 69 71 n n Quando se pressiona uma tecla, é transmitida uma mensagem note-on Quando se liberta uma tecla, é transmitida uma mensagem note-off 51

Exemplo Acção Menagem MIDI Saída MIDI No key pressed Nothing Idle F 3 pressed F 3 Held F 3 released Note On, F 3, Velocity=100 Nothing Note Off, F 3, Velocity=55 10010000, 01000001, 01100100 (144, 65, 100) Idle 10000000, 01000001, 00110111 (128, 65, 55) 52

Mudança de Controlo Status Byte 1 0 1 1 n n Data Byte 1 Channel No. 0 Controller Number (0 -127) Data Byte 2 0 Value (0 -127) Para além do teclado, vários outros parâmetros afectam o som, como por exemplo o regulador de volume, o suster do pedal, modulação, etc. . . Quando qualquer desses parâmetros é ajustado é transmitido o novo valor usando uma mensagem de mudança de controlo O nº de controlo identifica o parâmetro a ser alterdo (i. e. 1 = modulação, 7 = volume) O valor pode ser: n n Um número entre 0 e 127 para controladores contínuos 0 ou 127 para comutadores off/on 53

Mudança de Programa Status Byte 1 n n 1 0 0 Channel No. Data Byte 1 0 Program Number (0 -127) A maioria dos instrumentos electrónicos são capazes de produzir uma variedade de sons Os diferentes sons são armazenados em memória e são conhecidos como programas (ou arranjos, vozes, etc). . . Para seleccionar um som diferente é transmitida uma mensagem de mudança de programa Trata-se duma mensagem de 2 bytes 54

Outras mensagens n Pós toque (Aftertouch) n Pós toque polifónico n n Pós toque de canal n n O pós toque polifónico mede a pressão de cada tecla. O pós toque de canal mede a pressão de todo teclado Mudança de tom n n Quando uma tecla é pressionada, a forca com que é pressionada pode ser detectada por sensores de pressãoconhecido como aftertouch Um controlador especial que muda subtilmente o tom de todas notas tocadas num canal. Mensagens de sistema n Várias mensagens específicas do sistema relacionadas com a temporização e reprogramação de sintetizadores 55

Aplicações preliminares n n Nos primeiros dias do MIDI, a maioria dos programas tinham um polifónico limitado e tocavam apenas uma voz (arranjo/programa) de cada vez. Usando mais que um instrumento e conexões MIDI os artistas podem: n n n Construir sons mais complexos misturando várias vozes Criar partituras (keyboard splits) e extinções de sons (cross-fades) Controlar sintetizadores com diferentes instumentos MIDI (i. e. pedais, guitarras, clarinetes, violinos etc. ) 56

Instrumentos Multi-Timbre (i) IN OUT THRU Master IN OUT THRU IN Channel 1 OUT THRU Channel 2 IN OUT THRU Etc. Channel 3 (ii) Synthesiser Channel 1 IN OUT Master THRU Synthesiser Channel 2 Single Multi -timbral synthesiser Synthesiser Channel 3 Etc. 57

MIDI Genérico n Na especificação inicial MIDI, não foram feitos pressupostos acerca dos instrumentos utilizados em termos de: n n Número de alocações de programa Controladores Polifonia (# notas tocadas em simultâneo) Um sintetizador MIDI genérico está de acordo com a especificação: n n Nomes de Programas e controladores fixos 16 canais multi-timbre 64 notas de polifonia Canal 10 reservado para tambores 58

Protocolo MIDI n Permite a comunicação entre os mais diversos equipamentos n n n Computadores, sintetizadores, teclados, outros equipamentos musicais É atribuído um número a cada dispositivo musical A maioria das músicas convencionais podem ser representadas eficientemente usando o MIDI n A qualidade do som produzido depende do equipamento de reprodução 59