Riem

INTRODUO
ESCRITA MUSICAL CARACTERSTICAS DA ESCRITA MUSICAL REPRESENTAO BIDIMENSIONAL SMBOLOS CONSTITUINTES PROBLEMAS NA PTICA DO RECONHECIMENTO/INTERPRETAO DE ESCRITA MUSICAL TIPOS DE RUDO NAS IMAGENS DE MSICA IMPRESSA DIFICULDADES DE RECONHECIMENTO DIFICULDADES DE INTERPRETAO REPRESENTAO DA ESCRITA MUSICAL REPRESENTAO ORIENTADA PARA PRIMITIVAS RVORES DE PRIMITIVAS REDES DE RVORES DE PRIMITIVAS EFICCIA REPRESENTAO ORIENTADA PARA EVENTOS EFICCIA LEITURA DO FICHEIRO DE ENTRADA - FORMATO TIFF RESOLUO ORIENTAO PR-CODIFICAO DA IMAGEM - COMPRIMENTOS DE SEQUNCIA OBJECTIVOS PROCEDIMENTO VANTAGENS IMPORTANTES DA PR-CODIFICAO DETECO DAS LINHAS DOS PENTAGRAMAS OBJECTIVO PROCEDIMENTO LOCALIZAO DE FRAGMENTOS DAS LINHAS CONSTRUO DE LINHAS SELECO DE LINHAS OUTROS MTODOS DE DETECO DE LINHAS EXPERIMENTADOS SEPARAO DE OBJECTOS OBJECTIVO PROCEDIMENTO SEPARAO DOS OBJECTOS - REMOO DAS LINHAS
1
5 5 5 5 9 9 11 12 14 14 16 17 19 20 22 23 23 23 24 24 24 25 26 26 26 26 27 28 29 30 30 30 30
CONSTRUO DOS CONTORNOS DIVISO DE CONTORNOS EM PRIMITIVAS GRFICAS OBJECTIVO PROCEDIMENTO PR-ALISAMENTO CLCULO DAS DERIVADAS - DIFERENCIAO PONDERADA CLASSIFICAO DE SEGMENTOS DE CURVATURA CONSTANTE LOCALIZAO DOS OBJECTOS
32 36 36 36 36 36 37 40
PR-CLASSIFICAO DE OBJECTOS
41
RECONHECIMENTO DOS OBJECTOS CONHECIMENTO DA NOTAO MUSICAL CONHECIMENTO DOS EFEITOS DO RUDO E DO PROCESSAMENTO DA IMAGEM UNIVERSO DE SMBOLOS RECONHECIDOS NESTE PROJECTO TCNICAS DE RECONHECIMENTO UTILIZADAS IDENTIFICAO DE SEQUNCIAS DE PRIMITIVAS GRFICAS PARTICULARES ANLISE DO TAMANHO E POSIO RELATIVA ENTRE VRIAS PRIMITIVAS ANLISE DA LOCALIZAO E TAMANHO DE CONTORNOS INTERNOS PROJECES LOCALIZADAS MDULOS DE RECONHECIMENTO RECONHECIMENTO DE NOTAS E GRUPOS DE NOTAS COM HASTE INTERPRETAO CLASSIFICAO DE NOTAS OBJECTIVO MTODOLOGIA EFICCIA CLASSIFICAO DE ALTERAES OBJECTIVO METODOLOGIA ATRIBUIO DE ALTERAES OBJECTIVO ACIDENTES PONTOS DE AUMENTAO OUTROS SMBOLOS ORDENAO DE EVENTOS DESCRIO METODOLOGIA EFICCIA PR-PROCESSAMENTO DE EVENTOS DURAO DE UM EVENTO NMERO DE VOZES
2
43 43 43 44 44 44 45 45 45 45 46 47 47 47 47 48 49 49 49 49 49 49 50 50 51 51 51 52 52 52 53
SEPARAO DE VOZES DESCRIO METODOLOGIA EFICCIA INTERPRETAO DE VOZES OBJECTIVO GERAO DO FICHEIRO DE SADA EM FORMATO SCORE GERAO DO FICHEIRO DE SADA EM FORMATO MIDI PERDA DE INFORMAO AUSNCIA DE INDICAO DE COMPASSO AUSNCIA DE EDIO PRVIA DAS PAUTAS RECONHECIDAS ESTRUTURA DO FICHEIRO MIDI GERADO RESULTADOS E CONCLUSES EFICCIA CRITRIOS DE AVALIO ANLISE DE RESULTADOS EFICINCIA TEMPOS RELATIVOS TEMPOS ABSOLUTOS CONCLUSES FINAIS BIBLIOGRAFIA PROCESSAMENTO E RECONHECIMENTO DE IMAGEM INTERPRETAO MUSICAL MANUAIS TCNICOS APENDICE 1 - OUTROS MTODOS DE LOCALIZAO DOS PENTAGRAMAS PROJECES HORIZONTAIS SIMPLES PROJECES HORIZONTAIS COM COMPENSAO DE ROTAO DA IMAGEM HISTOGRAMA DE CURTAS TRANSIES VERTICAIS COM COMPENSAO DE ROTAO APENDICE 2 - FLUXOGRAMA DO PROJECTO PASSO-A-PASSO
53 53 55 55 55 55 57 57 57 57 57 57 59 59 59 59 60 60 60 60 62 62 63 63 64 64 64 64 65
APENDICE 3 - O FICHEIRO EM FORMATO SCORE
67
INTRODUO
A utilizao de um suporte informtico para a representao musical hoje cada vez mais frequente. Entre as possiveis aplicaes podemos destacar:
edio musical
reproduo via MIDI
manipulao das pautas (transposies, alteraes na digitao, etc)
bases bibliogrficas
gerao de pautas em braile
anlise musical (estrutura, estilo, etc)
Seria assim de grande utilidade um sistema que permitisse, partindo da leitura ptica de uma pauta de msica, a sua traduo para um suporte informtico. Assim surgiu o RIEM (Reconhecimento e Interpretao de Escrita Musical) como uma tentativa de abordar este problema. Foi nosso objectivo durante este projecto, o desenvolvimento de um programa com estruturas slidas por forma a poder permitir o seu desenvolvimento futuro quer em termos de aumentar o dicionrio de smbolos reconhecidos como em termos de o expandir a outras reas de tratamento musical. Paralelamente, procurmos priviligiar o campo da edio musical, apesar de termos includo um conversor para o formato Midi, por este ser o mais exigente e o mais completo no que respeita informao que necessrio transmitir.
ESCRITA MUSICAL
Nota Histrica
A escrita musical teve ao longo dos sculos, vrias formas e notaes diferentes, que acompanharam diversas correntes e gneros musicais. Na notao musical actual, embora com uma base comum, subsistem pequenas diferenas, procurando responder s exigncias de diferentes estilos musicais (clssico, jazz, contemporneo ...) e tambm de numerosos instrumentos com particularidades tcnicas distintas. Este projecto contempla a notao musical actual, no estilo clssico, englobando um universo restrito de smbolos musicais que descreveremos posteriormente.
Caractersticas da Escrita Musical

Representao Bidimensional
Na notao musical comum, o referencial mais importante so as linhas. O sistema de cinco linhas horizontais, denominado pauta ou pentagrama, define duas dimenses importantes:
Dimenso Temporal: horizontalmente, ao longo dos pentagramas; define a distncia cronolgica entre eventos sucessivos.
Dimenso Tonal: verticalmente relativamente aos pentagramas; determina a altura (frequncia de oscilao) das notas.
As linhas de um pentagrama referenciam-se de baixo (1) para cima (5). Quando a cabea de uma nota se situa acima da 5 linha ou abaixo da 1 vulgar representar pequenos segmentos que permitam visualizar a posio relativa da nota. Estes segmentos denominamse por linhas suplementares. Os pentagramas esto normalmente divididos, por barras verticais, em compassos ou seja divises temporais de igual durao. Os pentagramas podem surgir agrupados em sistemas, unidos pelas barras de diviso de compasso, e por vezes por uma chaveta na margem esquerda, abrangendo todos os pentagramas de cada sistema.
Smbolos Constituintes
Os smbolos que constituem a escrita musical esto dispostos sobre ou prximo dos pentagramas. A sua posio determina quase sempre o seu significado ou valor. Os principais smbolos que assentam sobre linhas so as claves, as notas e as pausas.
Notas
A posio das notas na pauta representa relaes relativas de altura. A cabea da nota pode ser colocada sobre as linhas ou nos espaos que as separam. A sua localizao sobre ou entre as linhas determina a sua altura. A sua forma ou figura indicam a durao do som.
E S C R I T A M U S I C AL
perna cabea
cauda
trao
Vrias notas de diferentes duraes podem ser unidas por um trao horizontal, a que chamamos grupo, em combinaes quase ilimitadas. As notas podem ainda ser agrupadas verticalmente, em acordes, ocorrendo por isso no mesmo instante temporal. A unidade de medida a semibreve, que pode ser subdividida como se ilustra na figura. Note-se que estas divises so apenas em potncias de dois.
semibreve semibreve seminima colcheia semicolcheia
fusa semifusa
Notas e a sua durao relativa
Quando se pretende dividir o valor de uma nota, por exemplo, em trs partes iguais utiliza-se a figura mais prxima, correspondente a esse divisor, mas coloca-se o algarismo 3 sobre o grupo de trs notas.
Tercinas e Quintinas
Pausas
As pausas representam eventos silenciosos numa msica. A durao destas pausas tambm representada pela sua figura. Assim, correspondentes aos smbolos das notas existem smbolos para as pausas, com igual durao:
pausa de semibreve pausa de mnima pausa de semnima pausa de colcheia pausa de semicolcheia pausa de fusa
Pausas
A pausa de semibreve surge sob uma linha enquanto que a de mnima surge sobre uma linha.
Claves
A altura absoluta do som (das notas) s determinada pela colocao de uma clave na pauta correspondente. As claves definem a altura absoluta de uma das cinco linhas do pentagrama onde se colocam, determinando-se a altura de todas as notas a partir dessa referncia. Actualmente utilizam-se trs tipos de claves:
Sol (2 linha)
F (4 linha)
D (3 linha)
D (4 linha)
Claves
Note-se que a clave de D pode surgir em duas posies diferentes, indicando que o d se situa na 3 ou na 4 linha.
Outros smbolos importantes so ainda:
Pontos de Aumentao
Tanto as notas como as pausas podem ser prolongadas em metade da sua durao colocando um ponto direita da cabea da nota ou direita da pausa.
+ +
Ponto de aumentao
Indicaes de Compasso
No comeo de um trecho musical, indica-se mediante algarismos, a dimenso (valor temporal) que devem ter os compassos, delimitados por sucessivas barras verticais. Esta indicao apresenta normalmente a forma de uma fraco; por exemplo a indicao 3/8 diznos que cada compasso ter a durao equivalente a 3*1/8 semibreve, ou seja 3*colcheias ( ver quadro notas e sua durao relativa).
...
=
Os tempos de compasso mais frequentes surgem por vezes abreviados, representados por uma letra;
=
Acidentes
Os acidentes so smbolos que alteram a altura das notas quando colocados imediatamente antes destas. Sustenido eleva meio tom
Duplo sustenido Bemol Duplo bemol Bequadro
eleva um tom baixa meio tom baixa um tom anula quaquer alterao anterior
O efeito dos acidentes s prevalece dentro de um mesmo compasso. Os acidentes podem ainda surgir no incio de um pentagrama, agrupados logo aps uma clave, a que chamamos armao de clave. Neste caso o seu efeito prolonga-se ao longo de todo o pentagrama podendo apenas ser anulado com auxlio de bequadros e/ou de uma nova armao de clave.
Ligaduras
As ligaduras, surgem normalmente sobre ou sob a notas, e tal como o nome indica, ligando ou abrangendo vrias notas.
Exemplos de ligaduras
As ligaduras podem ter trs funes distintas:
Ligaduras de Durao: indicam que o valor das notas abrangidas deve ser somado formando um nico som.
Ligaduras de Articulao: alteram a forma como as notas devem ser articuladas temporalmente.
Ligaduras de Expresso: permitem assinalar o fraseado, indicando que trechos de certa melodia pertencem mesma frase musical.
A notao musical no se esgota nos smbolos apresentados, no entanto estes permitem representar toda a informao musical elementar. Outros smbolos, aqui omitidos, prendemse com a expresso e a dinmica musical, ou com a execuo prtica do(s) instrumento(s), e sobretudo aqui, que se verificam algumas variaes na notao musical .
Problemas na ptica do Reconhecimento/Interpretao de Escrita Musical

Tipos de Rudo nas Imagens de Msica Impressa
Rudo de alta frequncia
Provocado por pequenos pontos escuros ou manchas no papel, este tipo de rudo quase irrelevante para o processo de reconhecimento.
Rotao e Distoro global da imagem

A maior parte da rotao presente introduzida na digitalizao embora quase sempre exista originalmente uma ligeira inclinao da imagem em relao esquadria da pgina. Outro tipo de distoro global da imagem, resulta de um arrastamento (movimento) da folha durante a impresso, provocando um arqueamento sensvel nas linhas dos pentagramas.
Fragmentao e Quebras na imagem

So exemplos as interrupes nas linhas, separao ou falhas em partes de alguns smbolos...
Interseco de smbolos
Nas imagens mais densas podem surgir smbolos colados a outros. A prpria notao musical permite ainda (nem sempre evitvel) que alguns smbolos se sobreponham.
Smbolos sobrepostos
Smbolos colados
Smbolos auxiliares e texto

Na maioria das pautas musicais existe uma percentagem significativa de smbolos que no contm qualquer informao musical. o caso de pautas que incluem a letra da msica (texto), anotaes auxiliares da execuo (digitao, utilizao de pedais, direco do arco ou palheta...). Considera-se assim que estes smbolos so uma forma de rudo no sentido em que ser necessrio ignor-los, ou distingui-los de outros relevantes, por vezes com algumas semelhanas.
10
Notao auxiliar misturada com smbolos musicais
Dificuldades de Reconhecimento
Similitude entre smbolos com significados diferentes
Existem de facto alguns smbolos que so exactamente iguais, e no entanto com significados diferentes, mas na maioria dos casos a posio do smbolo determinante. So exemplo os pontos de aumentao e marcas de staccato (exemplo da figura), ou ainda as pausas de semibreve / pausas de mnima.
Pontos de aumentao vs. marcas de staccato
Os casos mais delicados so aqueles em que o efeito do rudo torna ambgua a identidade de um smbolo, podendo mesmo confundi-lo com outro semelhante. So exemplos: sustenidos com bequadros (exemplo da figura), hastes separadas de notas com barras de diviso de compasso, ou ainda algarismos 0(zero) ou letras O com semibreves.
Sustenidos e bequadros podem confundir-se
Variao do tamanho dos smbolos

Alguns smbolos idnticos podem surgir numa mesma pauta com tamanhos distintos, impondo nestes casos o seu reconhecimento grfico em termos mais relativos do que absolutos. Alm disso, alguns smbolos que podero confundir-se com outros devido a um desvio excessivo do seu tamanho normal.
11
Coexistncia(por vezes interdependncia) de smbolos grficos, letras e algarismos

Os casos mais importantes so os das notas de diviso irregular (tercinas, quintinas ...) em que sua durao determinada pelo algarismo associado, e as indicaes de compassos de espera tambm definidas por um algarismo sobre um smbolo de pausa de semibreve.
Dificuldades de Interpretao
Vozes concorrentes
A diviso de vozes uma tarefa que envolve conceitos complexos e conhecimentos musicais difceis de representar num algortmo, e nem sempre possvel efectuar correctamente esta diviso, pela simples disposio grfica das notas de um trecho musical.
Cruzamento de pentagramas
possvel que a representao de uma frase musical (voz) atravesse dois pentagramas de um mesmo sistema. o caso frequente das pautas para piano em que as notas graves (metade inferior das teclas) e as notas agudas(metade superior das teclas) so escritas em dois pentagramas separados. Por isso normalmente as notas executadas por cada mo so escritas em pentagramas distintos , no entanto as mos podem cruzar-se durante a execuo...
Notas atravessando dois pentagramas
Mtrica incompleta
Na escrita musical corrente por vezes omitida alguma informao que intuitivamente tida em conta pelo executante experimentado. Trata-se de mais um caso de conhecimento emprico de dificil representao. Na perspectiva do reconhecimento e interpretao automtica, estas omisses so tidas como falhas. A resoluo deste problema passa pela adopo de algumas regras de sincronizao que permitam resolver os casos mais frequentes. Note-se ainda que este problema est intimamente ligado com a diviso de vozes.
12
A voz inferior deste compasso est metricamente incompleta
Nos captulos seguintes, descreveremos como foram abordadas e/ou resolvidas as dificuldades aqui apresentadas.
13
REPRESENTAO DA ESCRITA MUSICAL

A complexidade da escrita musical deriva do facto de:
a maior parte dos smbolos existentes serem complexas composies a partir de smbolos mais simples.
o resultado final em termos do seu significado musical estar dependente no apenas do prprio smbolo mas tambm do contexto definido por outros smbolos.
recorrer a uma representao bidimensional, nomeadamente no que se refere representao de vozes concorrentes.
Isto faz com que os smbolos reconhecidos da imagem necessitem de um tratamento (interpretao) de modo a que o seu significado musical seja extrado e possa ser criado o ficheiro de sada. Assim, surgiu a necessidade de criar uma linguagem intermdia entre a imagem de entrada e o ficheiro de sada que permitisse, de uma forma simples e sistemtica, representar os objectos reconhecidos e ser manipulada de modo a permitir a interpretao do seu significado musical para a linguagem do ficheiro de sada (ver apendice). Surgiram como abordagem a este problema, duas linguagens:
representao orientada para primitivas
representao orientada para eventos
que sero descritas em seguida.
Representao orientada para primitivas

Podemos subdividir os smbolos constituintes da escrita musical, de um ponto de vista estritamente grfico, em:
smbolos elementares
smbolos compostos
Por smbolos elementares, refermo-nos aqueles que, tendo por funo a alterao das caractersticas de uma nota ou de uma pauta, quer em termos de altura, quer em termos de expresso musical, apenas podem existir numa forma isolada, sempre igual em termos de estrutura e podendo apenas variar no seu tamanho. Nesta categoria, podemos encontrar os seguintes smbolos:
acidentes
pontos de aumentao
ligaduras
claves
divises de compasso entre outros.
Incluremos tambm nesta categoria, por existirem sempre de uma forma isolada e igual, apesar de no estarem abrangidos pela descrio acima mencionada, os seguintes smbolos:
pausas de semibreve
pausas de mnima
14
R E P R E S E N T A O D A E S C R I T A M U S I C AL
pausas de semnima smbolos elementares isolados: constituda pelas pausas, claves e divises de compasso.

A categoria de smbolos elementares pode anda ser dividida em duas sub-categorias:
smbolos elementares associados: constituda por todos os smbolos no includos na categoria anterior como sejam os acidentes, pontos de aumentao, e todos os smbolos referentes dinmica e articulao musical.
A razo desta diviso tem directamente haver com o formato do ficheiro de sada como veremos mais adiante. Por smbolos compostos, referimo-nos s:
pausas de durao igual ou inferior a uma colcheia:
constitudas por uma haste e uma ou vrias caudas.
notas e grupos de notas:
que so construidos a partir de uma combinao de cabeas, hastes, caudas e traos. Surge assim o conceito de primitivas como sendo os elementos bsicos que na sua forma elementar, ou quando combinados do origem aos smbolos musicais. Definimos ento o universo de primitivas como sendo constituido por:
todos os elementos pertencentes classe de smbolos elementares isolados;
todos os smbolos bsicos de que so constitudos os elementos pertencentes classe de smbolos compostos;
Quanto aos elementos pertencentes classe de smbolos elementares associados, e porque tm um tratamento diferente resultante do seu significado musical, no esto includos neste universo. Sero tratados de uma forma independente e posteriormente atribudos aos objectos a que esto associados. Assim, o universo de primitivas inclui:
cabea preta
(NP) (NB) (NS) (RS) (NT) (RT)

15
cabea branca
haste de nota
haste de pausa
cauda de nota
cauda de pausa
trao
(B) (TR) (BA) (AL) (QR) (HR) (WR) (M)
clave de Sol
clave de F
clave de D
pausa de seminima
pausa de mnima
pausa de semibreve
diviso de compasso
Necessitamos agora de encontrar uma forma para descrever um dado objecto a partir das primitivas que o constituem.
rvores de primitivas
Uma forma de obter esta descrio do objecto seria atravs de uma rvore cujos ns seriam as primitivas, e cujas ligaes entre ns representariam uma ligao fisica entre elas. Para construir esta rvore de modo a torn-la unvoca e facilitar a posterior interpretao, foi necessrio definir uma espcie de hierarquia de primitivas no que respeita ordem pela qual elas seriam detectadas. Esta hierarquia de certa forma est implicitamente definida na forma como os objectos compostos so construdos porquanto existem primitivas que afectam todo ou parte do objecto, ao passo que outras no tm influncia no resto do objecto. Como exemplo do primeiro caso temos os traos nos grupos de notas que influenciam a durao de todas as notas por eles abrangidas e portanto devem ser ascendentes de todas as subrvores por eles afectadas. A ordem pela qual as primitivas sero procuradas dada pelo seguinte esquema: 0

0

0

1

1

1 0

0

1

0 0

0
! "
1
! "
1
! "
0 - no encontrou 1 - encontrou pelo menos uma
Assim, e comeando pelo canto superior esquerdo, as primitivas sero detectadas de acordo com o esquema, e a respectiva rvore construda a partir da raz em direco s folhas.
16
&
&
&
Grupo de notas e respectiva rvore de primitivas
'
'
'
&
Pausa e respectiva rvore de primitivas
Tendo como ponto de partida as rvores de primitivas que descrevem os objectos, agora necessrio relacion-las de forma a descrever as suas posies relativas.
Redes de rvores de primitivas

Considerando apenas o caso de existir uma unica voz em cada pentagrama, a posio relativa de um objecto em relao a outro poderia ser de um dos seguintes tipos:
)
direita de
)
esquerda de
)
envolvente (caso em que um dos objectos est dentro do outro)
Assim, para cada objecto que no estivesse envolvido por outro, procurar-se-iam os seus vizinhos direito e esquerdo para construir uma rede de rvores.
17
imagem
objectos
rvores de primitivas
B B NS NS 1 NS
NP
NP
NP NP
rede de rvores
RT 2 1 4 RT 3 RS 3 RT RS 2
relao envolvente relao esquerda/direita
NS
NB
Exemplo de um compasso : rvores de primitivas e rede de rvores
No passo seguinte, seria necessrio eliminar todas as relaes do tipo envolvente de modo a que a posio exacta do objecto envolvido no objecto envolvente, em termos musicais, seja determinada. Para isso, recorre-se a uma primitiva artificial, que represente uma separao fsica dos objectos, e permita a insero da rvore do objecto envolvido na rvore do objecto envolvente. Assim, para o exemplo anterior, a relao envolvente seria eliminada atravs da juno das duas rvores na seguinte rvore:
B B NS NS RT NP NP RS NP NP 1* // NS
A rede de rvores aps a alterao viria:
1*
Este artifcio, em algumas situaes, poderia ser til para eliminar erros devidos a separao indevida de objectos como seja o caso de uma haste quebrada no interior de um grupo de notas.
18
Os smbolos elementares associados seriam atribudos s notas correspondentes nesta fase, por intermdio de uma pesquisa rede e respectivas rvores de primitivas. A partir desta rede de rvores resultante, seria relativamente fcil a sua interpretao para qualquer formato musical, fazendo uma interpretao sequncial das rvores atravs de leituras recursivas, mantendo actualizadas variveis com o nmero de caudas/traos dentro de cada rvore, e com o contexto (clave, etc.).
Eficcia
Partindo do princpio de que seria vivel o reconhecimento das primitivas e construo das rvores nos termos descritos acima, podemos conclur que sendo uma forma de representao musical muito prxima da utilizada nas pautas, no que respeita estrurura dos smbolos, obtem-se uma boa descrio dos objectos. no entanto pouco eficiente nos seguntes pontos:
Falhas no reconhecimento de primitivas

Para que a interpretao das rvores de primitivas fosse feita de uma forma eficiente, teriamos que garantir de alguma forma que as rvores no continham erros gramaticais. Para isso, elas teriam de ser verificadas, corrigidas quando possvel, ou em ltimo caso eliminadas. A falha do reconhecimento duma primitiva, poderia ser em alguns casos fatal para a interpretao do objecto, levando perda de toda a informao recolhida do objecto.
Manipulao de estruturas
Este mtodo representa uma grande carga em termos de manipulao de estruturas pois a leitura das rvores nem sempre to simples como a descrita. A extenso deste mtodo para pautas com vozes concorrentes, introduziria vrios problemas por vezes de dificil resoluo de onde destacamos os seguintes:
Representao de vozes concorrentes na rede de rvores
Compasso com duas vozes
Seria necessrio introduzir dois novos tipos de relaes entre objectos (acima de e abaixo de) para permitir descrever dois objectos referentes a duas vozes concorrentes como o exemplo da figura.
19
Representao de objectos pertencentes a vrias vozes
Nota partilhada por duas vozes
Para descrever um objecto deste tipo, teriamos que abandonar o modelo das hierarquias pois segundo este no poderiamos representar a haste assinalada na figura. Teriamos ento de construir a rvore apenas a partir das relaes grficas entre elas. Esta alternativa permitiria manter uma descrio fiel dos objectos mas introduziria problemas muito complicados aquando da interpretao da rvore.
Eliminao de relaes do tipo envolvente
Exemplo complexo
Seria extremamente complicado de resolver este tipo de relaes pois o resultado final seria composto por vrias rvores, consoante o nmero de vozes representadas. Poderiam inclusivamente existir casos onde num pentagrama houvesse um objecto que envolvesse todos os outros, caso que seria de quase impossivel resoluo utilizando este mtodo. Em concluso, temos que este mtodo, ainda que relativamente eficiente no que respeita representao de pautas simples, poderia implicar, aquando da sua aplicao a casos mais complexos, a introduo de problemas impossveis de resolver e a consequente estagnao do projecto. Isto deve-se fundamentalmente ao facto de estarmos unicamente a descrever a imagem sem praticamente nenhuma utilizao do conhecimento existente partida sobre a notao musical e a forma como os objectos so construdos. Seria portanto necessrio desenvolver outro tipo de representao musical que se distanciasse mais da imagem de entrada e se aproximasse do formato do ficheiro de sada, interpretando algumas caracteristicas dos objectos aquando do reconhecimento por forma a facilitar o mesmo e o posterior processo de interpretao.
Representao orientada para eventos

Fazendo uma analise informao necessria completa descrio de um smbolo composto, quer em termos grficos quer em termos da sua interpretao musical, conclumos que, para possibilitar a sua completa reconstituio, apenas necessrio reconhecer certas caractersticas. Do ponto de vista do seu significado musical, uma pauta representa uma sequncia de acontecimentos que so caracterizados por dois atributos fundamentais:
0
a altura (que nula para as pausas)

0
a durao
20
Estes acontecimentos sero designados por eventos. Assim, o objectivo inicial seria:
1
extrar de cada objecto os eventos que o constituem (no caso por exemplo de um grupo de notas com trs acordes, teramos de extrar as trs hastes a que corresponderiam trs eventos)
1
determinar a sua localizao na pauta que representa o instante em que esses eventos tero lugar
1
para cada evento, detectar as suas caractersticas em termos de altura e durao.
A par desta separao de eventos, seria necessrio manter informao que relacione todos os eventos extrados de um mesmo objecto (no caso de grupos de notas) para que posteriormente eles possam ser reagrupados pelo editor de msica. Feita esta identificao de eventos, e aps a sua ordenao em termos de instante em que ocorrem, temos uma pauta descrita como uma sequncia temporal de eventos. Definindo dois tipos de eventos <R> e <N>, representando pausas (rests) e acordes de notas respectivamente, temos para o seguinte exemplo:
Para cada evento viria associada informao sobre a sua durao (normalmente associada ao nmero de traos/caudas), e para o caso dos eventos tipo <N>sobre as notas que o compem. Paralelamente teramos que manter informao sobre o facto de os eventos 2, 3 e 5 pertencerem ao mesmo grupo de notas. Dos smbolos elementares:
1
as trs pausas sero tratadas como eventos do tipo <R>

1
mantm-se o mesmo tipo de tratamento utilizado na representao por rvores de primitivas, no que respeita aos smbolos elementares associados.
1
quanto aos restantes smbolos (divises de compasso, claves, etc.), definiremos um novo tipo de evento sem durao, cujo objectivo a alterao do contexto (claves, armaes de clave) ou a estruturao da pauta (divises de compasso). A este tipo de evento chamaremos evento intemporal, por no ter durao. <N>
1 1
O universo de eventos passa a ser: nota pausa (Rest) clave de Sol (Treble) clave de F (Bass) clave de D 3linha (Alto) clave de D 4linha (Tenor)
21
<R>
1
<TR>
1
<BA>
1
<AL>
1
<TE>
<M>
2
diviso de compasso (Mark) armao de clave (Key Signature)
<SIGN>
A representao de uma pauta com vozes concorrentes fica resolvida com a possibilidade de existirem eventos simultneos como se demonstra no seguinte exemplo:
R M BA SIGN N N
N N N M
Eficcia
Em comparao com o mtodo de representao por rvores de primitivas, podemos salientar as seguintes vantagens:
2
maior clareza.
2
possibilita a representao de vozes concorrentes de uma forma simples.

2
diminui a carga em termos de manipulao de estruturas pois no necessita de complexas leituras a rvores o que implica uma maior eficincia.
2
elimina o problema criado pelos objectos envolvidos por outros.

2
facilita o processo de reconhecimento pois a procura das caracteristicas de um evento faz-se de uma forma muito mais localizada, com um grau de incerteza menor, aumentando a sua taxa de sucesso.
Por representar um bom ponto intermdio entre a imagem de entrada e o ficheiro de sada, esta foi a opo escolhida.
22
LEITURA DO FICHEIRO DE ENTRADA - FORMATO TIFF

As imagens de entrada lidas por este sistema tero de ser em formato grfico TIFF (Tagged Image File Format). A escolha deste formato, deve-se sobretudo sua grande portabilidade, e ao facto de quase todo o software de suporte a scanners poder exportar as imagens naquele formato. O conversor implementado, est de acordo com a norma standard TIFF 5.0 e permite a leitura de TIFFs provenientes de sistemas MS-DOS/Windows ou Macintosh, sem compresso.
Resoluo
A resoluo recomendada dever situar-se entre os 300 e os 400 dpi (dependendo do tamanho das pautas). Para resolues inferiores a 300 dpi o reconhecimento de alguns smbolos poder ser defeituoso ou omisso. Para resolues superiores a 400 dpi teremos informao redundante, podendo resultar num excesso de recursos de memria, que o programa ou o sistema podero no alocar. Uma imagem de tamanho A4, digitalizada a 300 dpi tem um tamanho de pouco mais de 1 MB. A imagem dever ser binria (1 bit por pixel).
Orientao
As imagens de entrada devero estar orientadas longitudinalmente (Portrait), caso contrrio dever recorrer-se a software de manipulao grfica que permita efectuar uma rotao de 90, sobre o ficheiro TIFF.
23
PR-CODIFICAO DA IMAGEM - COMPRIMENTOS DE SEQUNCIA

Objectivos
3
Reduo da quantidade de informao a manipular durante o processo de reconhecimento, permitindo no entanto uma fcil reconstruo e manipulao da imagem, e sem qualquer perda de informao.
3
Aumento da performance dos algoritmos de reconhecimento.
Veremos mais frente as vantagens e a importncia desta codificao, e veremos tambm que em algumas fases do reconhecimento, a ausncia de pr-codificao, isto a manipulao da matriz de pontos original, se tornaria incomportavelmente ineficiente.
Procedimento
A matriz de pontos que constitui a imagem binria original, analizada coluna a coluna. Em cada coluna memorizam-se sequencialmente os comprimentos dos segmentos (sequncias) de bits encontrados, alternadamente brancos (bits = 0) e pretos (bits = 1). Para cada coluna regista-se ainda o nmero de segmentos encontrados. Esta segmentao permite assim reduzir significaticamente a informao que necessria manter em memria. Note-se que esta reduo inversamente proporcional complexidade de uma imagem; uma imagem complexa conter colunas com um maior nmero de transies branco/preto ou preto/branco resultando por isso um maior nmero de segmentos necessrios para representar essas colunas. Ainda, o primeiro segmento de cada coluna ser obrigatoriamente um segmento branco, que ter comprimento = 0 caso a coluna se inicie realmente por um segmento preto. Esta obrigatoriedade vai permitir melhorar a eficincia no acesso informao contida na imagem, j que se garante priori que todos os segmentos brancos ocuparo ordenadamente posies pares e os segmentos pretos posies mpares. Vejamos um pequeno exemplo ilustrativo:
4 5 6 7 8 7 9 @ 7 A B C 8 D E E E F F G H E E D
P D
I D
Q D
24
P R - C O D I F I C A O D A I M AG E M - C O M P R I M E N T O S D E S E Q U E N C I A
A codificao da imagem decorre em simultneo com a leitura do ficheiro TIFF. Surge aqui uma dificuldade resultante do facto de a leitura do ficheiro ser feita por linhas e no por colunas como seria favorvel. Assim, uma linha da imagem lida do ficheiro, de cada vez, procedendo-se actualizao de todas as colunas da matriz de segmentos, em cada leitura.
Vantagens Importantes da Pr-Codificao

1. Reduo da memria utilizada para armazenar a imagem Da codificao de vrias imagens de dimenso A4, com resolues de 300 e 400 dpi, verificou-se uma reduo mdia de cerca de 50%, na memria utilizada. Para armazenar os segmentos referentes a cada coluna da imagem, utilizaram-se matrizes de inteiros de 2 bytes (tipo int). Uma anlise estatstica do comprimento dos segmentos que ocorrem em imagens de pautas musicais (com as resolues testadas), demonstrou que o comprimento da maioria dos segmentos inferior a 256 pixels sugerindo assim o seu armazenamento em matrizes de inteiros de 1 byte (tipo char), resultando ainda numa maior economia de memria. No entanto, neste caso, para contemplar os segmentos de comprimento superior seria necessrio armazenar dois inteiros consecutivos, sendo ainda necessrio assinalar de alguma forma que ambos pertencem a um nico segmento de igual cor. A traduo da informao contida na imagem a partir dos segmentos armazenados, seria assim visivelmente mais complexa, deixando de haver a relao j descrita: Posico(Par/Impar) => Segmento(Branco/Preto) importante referir que aqui interessa reduzir a memria de trabalho apenas enquanto isso no comprometa a performance no processamento posterior da imagem. 2. Acentuao de particularidades teis ao processo de reconhecimento A segmentao vertical da imagem vai dar origem ao aparecimento de pequenos segmentos verticais, contguos horizontalmente, e de comprimento aproximado, que sero posteriormente indentificados como partes constituintes das linhas da pauta musical. Esta segmentao previligia e descreve as distncias e dimenses verticais dos objectos, que como veremos so dados determinantes no reconhecimento e na interpretao desses objectos, muito mais do que as dimenses horizontais. 3. Imunidade eventual rotao da imagem A rotao inadvertida da imagem aquando da digitalizao, poder afectar o reconhecimento sobretudo dos objectos de maiores dimenses. O caso mais notrio o das linhas da pauta musical. Como foi referido no ponto 2) a segmentao vertical tornar o processo de identificao das linhas imune a pequenas rotaes da imagem. 4. Menor dependncia da resoluo original da imagem digitalizada Uma imagem com 600 dpi tem 4 vezes o nmero de pontos de uma imagem de igual dimenso mas com 300 dpi. Com a segmentao vertical a primeira ter apenas 2 vezes o nmero de segmentos da segunda imagem, consequentemente apenas 2 vezes (e no 4) a memria necessria ao seu armazenamento. Note-se que para cada coluna da imagem de 300 dpi, existiro 2 colunas na imagem de 600 dpi, mas cada uma com o mesmo nmero de segmentos da coluna da primeira imagem.
25
DETECO DAS LINHAS DOS PENTAGRAMAS

Objectivo
J foi referido que o referencial mais importante de uma pauta musical so as linhas. A sua deteco e localizao deve ser rigorosa e inequvoca por trs razes fundamentais:
X
As linhas perturbam o processo de reconhecimento de smbolos que se lhes sobrepem, sendo por isso necessrio isolar prviamente esses smbolos. Para tal necessrio distinguir e ignorar apenas os fragmentos das linhas sem excluir partes dos simbolos envolvidos.
X
A localizao das linhas tem um papel fundamental na interpretao de todos os smbolos cujo significado depende directamente da sua posio relativa s linhas.
X
A distncia entre as linhas e a sua espessura permanecem sensivelmente constantes ao longo de toda uma pgina de msica, constituido assim medidas padro (constantes) dependentes do contexto, que sero utilizadas em subsequentes algortmos de reconhecimento, evitando assim a utilizao de constantes independentes ou nmeros mgicos.
As linhas surgem em grupos de 5 equidistantes (pentagramas), podendo vrios pentagramas surgir agrupados em sistemas, ligados por barras verticais (divises de compasso) e por uma chaveta na margem esquerda. Em algumas pautas podero surgir dentro de um sistema linhas isoladas, normalmente referentes a instrumentos de percusso, no entanto neste projecto estas no foram consideradas. Numa pauta musical impressa as linhas so practicamente rectilneas, embora por vezes apresentem uma ligeira curvatura, quase desprezvel. Mais relevante o declive dessas linhas em relao s margens, e que agravado por alguma rotao inadvertida da pgina aquando da digitalizao da imagem.
Procedimento
Localizao de fragmentos das linhas
A matriz de segmentos verticais percorrida uma nica vez por colunas, procurando localizar segmentos contguos horizontalmente de comprimento aproximado e inferior a um mximo estabelecido (chamaremos MAXCOMP) que podero constituir fragmentos das linhas. Uma lista mantm, todos os fragmentos abertos, que so actualizados na leitura de cada nova coluna da imagem. Cada entrada nessa lista mantm registo do comprimento do fragmento da sua espessura mdia e das suas coordenadas de inicio e fim. Cada novo fragmento encontrado colocado na lista que est ordenada por ordem crescente da posio vertical dos fragmentos. Um fragmento fechado e retirado da lista quando em dada coluna da imagem no existe um segmento contguo (fim ou a interrupo numa linha), ou o segmento contguo a esse fragmento tem um comprimento superior a MAXCOMP (possivelmente a interceco da linha com um objecto). Veremos mais frente o seguimento dado aos fragmentos retirados da lista. O valor de MAXCOMP no incio deste processo, muito superior ao valor esperado da espessura das linhas, e consequentemente dos seus fragmentos constituintes. No entanto ele ajustado dinamicamente, em funo da espessura mdia dos fragmentos que vo sendo encontrados (maioritriamente fragmentos de linhas) de tal forma a que o seu valor seja sempre sensivelmente superior espessura mdia das linhas, localmente.
26
D E T E C O D AS L I N H AS D O S P E N T AG R AM AS
Consegue-se assim:
Y
Eliminar fragmentos horizontais pertencentes a outros objectos da imagem, de maior espessura.

Y
Permitir comportar as pequenas e frequentes oscilaes na espessura dos fragmentos (resultantes do processo de aquisio da imagem) e ainda prever uma eventual variao da espessura mdia das linhas ao longo da imagem (verifica-se por vezes que a espessura das linhas aumenta ligeiramente junto s margens, e por vezes junto s barras de diviso de compasso).
Note-se que inicialmente o valor de MAXCOMP relativamente elevado, no entanto ele rapidamente ajustado pelo aparecimento dos primeiros fragmentos junto margem esquerda dos pentagramas, onde normalmente no surgem outros fragmentos de maior espessura, constituindo assim uma boa referncia que garante a selectividade do processo logo no incio da pgina. Existe ainda um limite para o declive mximo admitido num fragmento. Este limite permite excluir todos os fragmentos que embora tenham a espessura adequada no possam pertencer a uma linha. o caso frequente dos ligados e de algumas marcas de dinmica como sejam os crescendos ou diminuindos. O sistema no poder assim processar pautas cujas linhas apresentem um ngulo com a horizontal, superior a 10 , limite que nos parece razovel na prtica, j tendo em conta a rotao introduzida na digitalizao.
Construo de linhas
A reconstituio das linhas feita de forma anloga utilizada na contruo dos fragmentos. Cada fragmento encontrado ento inserido numa nova lista que mantm entradas para todas as linhas reconstruidas at ao momento. Para cada novo fragmento feito um teste de colinearidade para determinar se j existe uma linha que poder conter esse fragmento, ou se o fragmento o inicio de uma nova linha. Cada entrada nesta lista contm os parmetros a e b da equao da recta (y = a*x + b) da linha respectiva e os campos que permitem recalcular aqueles parmetros, pela aproximao dos Mnimos Quadrados, cada vez que um novo fragmento agregado. Existem ainda campos que mantm o comprimento da linha, os seus pontos extremos, a espessura mdia e o nmero de fragmentos associados. O teste de colinearidade processa-se do seguinte modo:
Y
Cada linha candidata projectada na direco do segmento, calculando-se ento a menor distncia (d) desta recta ao ponto mdio do fragmento considerado.
Y
Calcula-se tambm a diferena entre os declives (a) da recta projectada e do fragmento.
Definiu-se ento um coeficiente de colinearidade com base nos valores calculados, e ainda em funo do comprimento do fragmento e da espessura da linha: COEFcool = (a * comprimento do fragm. + d / 2 ) / espessura Considera-se que um fragmento colinear com a linha sempre que: COEFcool < 1 Este coeficiente foi definido com base em testes feitos em vrias imagens de pautas musicais sendo por isso dependente do contexto. Alguns autores, referem testes de colinearidade entre segmentos de recta em que a distncia longitudinal entre os segmentos afecta o grau de colinearidade, no entanto essa restrio no pode aqui ser aplicada pois as descontinuidades nas linhas so provocadas pela sobreposio de smbolos de tamanho
27
imprevisvel, sendo por isso muito varivel a distncia que separa os extremos de uma linha, do seu prximo fragmento constituinte. Assim, quanto maior a diferena entre os declives, menor dever de ser a distncia da projeco da recta ao ponto mdio do fragmento. De forma inversa, se a distncia ao ponto mdio assinalvel, o fragmento dever ter um declive prximo do da recta projectada. De referir ainda que quanto mais longo o fragmento, maior ser o peso da diferena de declives, no coeficiente de colinearidade. Para maior clareza sobre o significado e a influncia dos parmetros referidos ilustramos em seguida os dois casos extremos de colinearidade em relao aos parmetros d e a.
d
a = 0 , d = 2 * espessura
d = 0 , a = 1 / comprimento do segmento Nota: as dimenses da figura foram propositadamente exageradas
Seleco de linhas
Do processo de reconstituio de linhas anteriormente descrito, resulta uma lista de linhas, candidatas a formar os pentagramas, no entanto surgem tambm outras linhas que devero ser ignoradas. Estas ltimas surgem essencialmente de duas situaes:
Linhas Suplementares
A presena de vrias linhas suplementares pode induzir o aparecimento de uma linha, formada por todos esses segmentos. A existncia de espaos em branco entre os vrios segmentos de uma linha, no um critrio seguro de eliminao: as linhas verdadeiras podem apresentar interrupes, e as sequncias de linhas suplementares podem surgir sem espaos entre elas (ver figura).
Notao auxiliar
So exemplo as linhas horizontais de repetio (exemplo da figura), indicao de quadratura, ou at marcas de crescendo mais longas.
28
A seleco das linhas dos pentagramas levada a cabo por um processo iterativo. Prviamente, feita uma estimativa do espao mdio entre linhas recorrendo a um histograma das distncias entre linhas, duas a duas e trs a trs. Com esta medida estimada procuram-se formar arranjos de 5 linhas aproximadamente equidistantes, sendo atribuido a cada arranjo uma pontuao em funo da varincia de vrios parmetros caractersticos:
`
Distncias entre as linhas

`
Declives das linhas

`
Espessuras das linhas

`
N de segmentos que constitui cada linha

`
Distncia horizontal entre margens
Assim em cada grupo de arranjos que se intersectam (que tm linhas em comum) selecciona-se aquele que tiver melhor pontuao. Refira-se por exemplo que as linhas suplementares so regra geral, mais espessas do que as linhas dos pentagramas. Note-se ainda que, como j foi referido, o comprimento efectivo das linhas no tido em conta (apenas a distncia entre margens) pois no previsvel a densidade e o tamanho dos objectos que intersectam as linhas.
Outros mtodos de deteco de linhas experimentados

Ver apndice 1.
29
SEPARAO DE OBJECTOS
Objectivo
Separar ou isolar todos os objectos / smbolos da imagem, que na sua maioria esto sobrepostos s linhas dos pentagramas, utilizando para o efeito a informao sobre a localizao, j determinada, daquelas linhas. Definir o contorno de cada objecto individual.
Procedimento
Separao dos Objectos - Remoo das Linhas
A abordagem mais imediata a este problema, seria a de percorrer a matriz de segmentos identificando e removendo literalmente os elementos da matriz da imagem pertencentes s linhas, deixando apenas a informao relativa aos segmentos constituintes dos objectos, procedendo-se ento construo dos contornos correspondentres. No entanto, no existe qualquer vantagem em separar estes dois processos: se possivel identificar os segmentos que constituem as linhas, ento possvel apenas ignor-los durante o processo de construo dos contornos, evitando assim uma segunda passagem pela matriz de segmentos e o processamento adicional da remoo daqueles elementos na matriz da imagem. Esta opo foi intencional pois permite deixar a informao da imagem intacta; posteriormente alguns algoritmos de reconhecimento recorrero a projeces de pequenas reas localizadas da imagem, nas quais surgiro projectadas tambm as linhas, que sero teis como pontos de referncia na anlise da projecao.
Critrio de pertena de um segmento a uma linha

Admite-se que um segmento da matriz da imagem, pertence a uma linha de um pentagrama se respeitar duas condies: Comprimento do Segmento < Espessura Mdia da Linha * MAX_VAR_ESPESS_LINHA Distncia do ponto mdio do segmento linha < Espessura Mdia da Linha A figura seguinte ilustra os conceitos envolvidos nestas duas condies:
espessura mdia linha distncia
compr. segmento
Posio relativa de um segmento candidato a pertencer a uma linha
A linha recta representada determinada pela sua equao da recta conhecida, permitindo calcular a distncia ao ponto mdio de um segmento. A espessura mdia das linhas dos pentagramas tambm j um dado conhecido, e representa a espessura mdia de todas as linhas de cada pentagrama (preve-se assim a possibilidade de diferentes pentagramas terem diferente espessura mdia das suas linhas, facto que embora sensvel ocorre na prtica).
30
S E P AR A O D E O B J E C T O S
Resta apenas clarificar o significado da constante MAX_VAR_ESPESS_LINHA; esta um dado estatstico obtido de vrias pautas sujeitas digitalizao em scanner. Ela reflecte a variao mxima percentual que ocorre na espessura de uma linha, que apresenta sempre uma oscilao em torno do seu valor mdio (ilustrada na figura).
Variao na espessura de uma linha
Eficcia e sensibilidade do processo de separao

O processo de separao apresentado permite isolar com sucesso os objectos das linhas, permitindo comportar duas formas importantes de rudo, para as quais definimos valores mximos tolerados: 1)Variao mxima relativa da espessura das linhas (j descrita) ---> 1,7 Exemplo: uma linha com espessura mdia = 4 pixels poder apresentar seces at 1,7 * 4 = 7 pixels de espessura. 2)Curvatura das linhas - As linhas dos pentagramas deveriam ser, idealmente, linhas rectas, no entanto algum arqueamento ou curvatura est sempre presente. Assim admissvel que uma linha represente um arco, cuja distncia perpendicular ao ponto mdio da corda respectiva seja inferior a 2 * espessura mdia da linha (ver figura).
2*espessura
Curvatura mxima admissvel numa linha
Da anlise efectuada em vrias pautas musicais durante testes, podemos afirmar que uma pauta que apresente estas duas formas de rudo com valores superiores aos apresentados, uma pauta graficamente distorcida, em mau estado, ou mal impressa. Convem lembrar que este projecto contempla apenas o reconhecimento de pautas impressas (por meios mecnicos), o que pressupe critrios mnimos de qualidade, que quantificmos como aqui, ao longo de todo o projecto.
Eliminao indesejada de partes de objectos

O processo de discriminao das linhas no isento de erros. A sobreposio de partes de alguns objectos sobre as linhas incorre na remoo pontual de algumas seces que por terem a espessura aproximada das linhas, se tornam quase indistinguveis destas. Nesta perspectiva existem mesmo alguns casos de pura infelicidade, inerentes prpria notao musical, obrigando sobreposio exacta de alguns smbolos sobre ou mesmo entre duas linhas dos pentagramas. A figura seguinte ilustra uma destas situaes.
31
Antes e depois da remoo das linhas
Para tornar mais sensvel o processo de separao, seria necessria informao contextual muito complexa e detalhada, alm disso indisponvel nesta fase do processamento da imagem. Uma primeira abordagem possvel seria a de tornar o processo de separao mais selectivo nas imediaes de objectos. Assumindo que seria possvel detectar essa proximidade, verificamos no entanto que um aumento de selectividade se tornaria to indesejvel como vantajosa. A figura seguinte ilustra um caso, entre muitos, em que a remoo das seces das linhas no interior de um objecto ou entre objectos muito prximos seria comprometida.
Antes da separao
Separao normal
Separao selectiva
Note-se que, tal como j foi referido, a espessura das linhas tende a aumentar nas imediaes dos smbolos (devido, possivelmente a um maior volume de tinta concentrado nessas areas, durante a impresso...).
Minimizar os efeitos da fragmentao de objectos

A eliminao inadvertida de partes de alguns objectos pode em alguns casos quebrar ou mesmo fragmentar esses objectos. Veremos mais frente, com maior detalhe, como se pode minimizar estes efeitos. Sucintamente podemos referir duas solues importantes adoptadas: 1)O reconhecimento de smbolos ter em conta os casos mais frequentes de fragmentao, dando nfase a partes desses smbolos pouco ou nada afectadas pela fragmentao. 2)O recurso imagem original (matriz de segmentos) para reconstruo de alguns objectos, atravs de projeces localizadas.
Construo dos Contornos

A separao dos objectos decorre em simultneo com a criao dos contornos envolventes desses objectos. O mtodo desenvolvido permite numa nica passagem pela matriz de segmentos da imagem, construir os contornos (externos e internos) de todos os objectos, registando ainda a relao topolgica entre os vrios contornos de um. Interessa aqui referir que muitos dos smbolos musicais no podem ser unicamente identificados pelo seu contorno externo, apresentando um ou vrios buracos que correspondero a outros tantos contornos internos. Esta informao adicional tornar mais complexo o modelo de anlise e reconhecimento, no entanto ela ser utilizada
32
posteriormente, como auxiliar na pr-classificao de smbolos, e de forma determinante na interpretao desses smbolos. A relao entre os vrios contornos de um objecto ter uma representao do tipo pai-filho em rvore binria, como se ilustra na figura.
filhos
irmo
irmo
Relao topolgica entre contornos de um objecto
A matriz de segmentos da imagem lida coluna a coluna, da esquerda para a direita e tal como quando da deteco das linhas, iremos procurar segmentos verticais adjacentes horizontalmente, que formem os objectos. Agora, apenas os segmentos no pertencentes a linhas dos pentagramas so considerados (testando-se cada pelo processo j descrito).
Abertura de um contorno
Sempre que surge numa coluna um segmento vertical que no tenha nenhum segmento contguo da coluna anterior, um novo contorno externo iniciado, etiquetado com um nmero sequencial (identificador), e os seus extremos abertos so guardados numa lista de contornos abertos.
ultima coluna lida
Abertura de um contorno externo (Ident. 1)
Os extremos do contorno vo sendo actualizados medida que novas colunas de segmentos so lidas, e em funo da posio dos novos segmentos contguos. A abertura de um contorno interno processa-se de forma anloga, e os seus extremos abertos so igualmente inseridos na lista e de acordo com a sua posio relativa.
33
2 1
Abertura de um contorno interno ( Ident. 2)
Fecho de um contorno
Quando ocorre o fecho de um contorno, os seus extremos so unidos e retirados da lista de contornos abertos. Antes ainda, inspecciona-se qual o contorno pai que o envolve, e registase o seu nmero identificador. O contorno ento colocado numa lista de contornos fechados, e recolhe dessa lista todos os contornos j existentes cujo identificador do pai o do contorno agora inserido. Importa salientar que nenhum contorno pode fechar sem que todos os seus filhos o tenham j sido.
Juno de dois contornos

Quando ocorre a juno de duas extremidades de dois contornos distintos, elas so unidas e retiradas da lista. As duas restantes extremidades sero as extremidades de um novo contorno nico que adoptar o identificador daquele que foi aberto mais cedo. A chave deste sistema assenta numa correcta actualizao das listas de contornos (abertos e fechados) aps uma juno. De facto aps a juno podero existir contornos fechados, cujo pai o contorno que cessou de existir, pelo que devero actualizar-se todos os respectivos identificadores.
2 1 3 4
Juno de 2 com 3: O contorno 4 (anteriormente filho de 3) dever ser marcado como filho do contorno 2 que prevalece
Convencionou-se que os contornos exteriores correm no sentido anti-horrio e os interiores no sentido horrio, de forma a facilitar a ligao entre duas cadeias de vectores, aquando de uma juno de dois contornos. Um novo objecto estar completamente formado quando o identificador do pai do contorno que fecha, zero, ou seja a raz de todos os objectos da imagem.
34
2 1 3 4
Fecho de um novo objecto
35
DIVISO DE CONTORNOS EM PRIMITIVAS GRFICAS

Objectivo
Dividir os contornos de cada objecto em segmentos de curvatura constante (que sero classificados em primitivas grficas tipificadas), permitindo assim descrever claramente a sua geometria. Torna-se tambm mais fcil a decomposio de alguns objectos compostos (sobretudo notas) em partes elementares, possibilitando o seu reconhecimento genrico.
Procedimento
Teremos que calcular o valor da curvatura em todos os pontos do contorno. Para esse efeito recorremos a um desenvolvimento matemtico conhecido que permite calcular a curvatura num ponto em funo das derivadas de primeira e segunda ordem das posies X e Y, em ordem a t, onde dt representa um deslocamento ao longo do contorno.
k (t ) =
x ' (t ) y ' '(t ) x '' (t ) y ' (t )
( x '(t )
+ y ' (t )
K(t) ser ento a curvatura no ponto (x(t),y(t)), e exprime-se em pixel . representa o recproco do raio do arco de circunferncia local.
-1
O valor de K
Dado o carcter discreto dos valores (x,y) de um contorno (limitado matriz de pontos da imagem) no possvel derivar directamente os contornos pelo facto de que pequenas oscilaes, introduziro grandes variaes no valor das derivadas. Para contornar este efeito procederemos a um pr-alisamento dos contornos reduzindo substancialmente essas oscilaes, e efectuaremos depois uma diferenciao ponderada por um pulso gaussiano.
Pr-alisamento
Duas operaes de alisamento so efectuadas sobre os contornos. Nas figuras seguintes as linhas a tracejado representam o contorno aps o alisamento.
Eliminao de saltos
Eliminao de escadas
Com este pr-alisamento possvel eliminar grande parte do rudo de alta-frequencia, mais evidente nas seces rectilneas dos contornos.
Clculo das derivadas - Diferenciao ponderada

Utilizou-se uma funo gaussiana (pulso), para ponderar a soma das diferenas esquerda e direita em cada ponto do contorno, permitindo atenuar o efeito das variaes abruptas entre pontos contguos.
36
D I V I S O D E C O N T O R N O S E M P R I M I T I V AS G R F I C AS
g (t ) =
+
2 e 2
dx (t ) = g (i ) [ x ( t i ) x ( t i 1) + x ( t + i + 1) x ( t + i )]
i =
(os valores de dy(t) so calculados de forma idntica)
Finalmente calcula-se o valor da curvatura a partir dos valores das derivadas calculados. A utilizao do pulso gaussiano na diferenciao provoca um alisamento no grfico da curvatura, eliminando as variaes mais abruptas. O parmetro da funo gaussiana permite regular esse alisamento; um aumento de provoca uma diminuio das altas frequncias mas simultaneamente uma perda de resoluo no grfico da curvatura. O valor adoptado neste projecto fixo ( = 6 ) e relaciona-se com as caractersticas dos smbolos musicais: procurou-se obter o mximo alisamento sem perda do detalhe necessrio identificao das particularidades daqueles smbolos. Refira-se ainda que o valor escolhido apresenta alguma robustez; uma variao unitria em torno do valor adoptado (entre 5 e 7), no afecta o processo de reconhecimento.
Classificao de segmentos de curvatura constante

A diviso do contorno em segmento de curvatura concretizada em trs passos:
Votao dos maiores segmentos de K. constante

Para cada ponto do contorno fechado, determinada uma votao que dada pelo n de pontos esquerda e direita desse ponto e que no ultrapassam uma variao de curvatura estabelecida (MAX_VAR_K). Na figura seguinte ilustra-se este conceito, onde todos os pontos entre A e B votam (unitariamente) para o ponto P do contorno.
A P
MAX_VAR_K
Votao dos pontos do grfico de curvatura
Os pontos do contorno com maior votao sero os centros (relativamente curvatura) dos maiores segmentos com curvatura constante isto inferior a MAX_VAR_K.
Classificao dos segmentos mais votados

Procura-se o ponto do contorno mais votado. Por inspeco esquerda e direita regista-se o segmento de curvatura constante a centrado, e anulam-se os votos de todos os pontos que ele contm. O processo repetido enquanto houver pontos do contorno com votao no nula, ou at que o comprimento do segmento seguinte seja inferior a um mnimo estabelecido (MIN_COMPR_SEG). A figura seguinte ilustra o grfico de curvaturas para um dado contorno (representado no topo da figura). Os votos para cada ponto do contorno esto representados na parte inferior
37
da figura por um grfico de barras. Os segmentos de curvatura constante extraidos, esto marginados por umas linhas horizontais.
Extraco de segmentos de curvatura constante
Os segmentos registados so inseridos numa lista circular (respeitando a ordem natural do contorno), e so etiquetados como sendo primitivas grficas do tipo ARCO, SEGMENTO VERTICAL, HORIZONTAL ou OBLIQUO, de acordo com as sua caractersticas. Cada primitiva nessa lista registar tambm outros parmetros caractersticos tais como:
a
comprimento
a
curvatura mdia
a
moldura
a
declive (nos arcos o declive da corda)

a
sentido (em relao ao eixo cartesiano de maior variao)
A constante MIN_COMPR_SEG toma sempre o valor de metade do espaco mdio entre as linhas dos pentagramas, representando assim o grau mnimo de detalhe representvel por uma primitiva grfica.
Processamento das junes entre primitivas

Algumas seces do contorno no so registadas no processamento anterior, por terem comprimento inferior ao mnimo definido ou por apresentarem uma variao muito acentuada da curvatura que excedendo sempre a variao mxima permitida. Todas estas junes so analisadas e algumas igualmente etiquetadas. Os tipos possveis de junes registadas so ANGULOS DE 90 , DE 180 , e JUNES COMPLEXAS. Os dois primeiros dispensam explicao. O ltimo, atribui-se a seces cujo grfico de curvatura apresenta uma variao oscilante (do tipo senoidal) em torno da curvatura nula. Nestes casos regista-se tambm o nmero de mudanas de sinal (n de zeros) da curvatura nesse segmento. As restantes junes, que no cabem nestes trs tipos, so normalmente pequenos saltos no grfico de curvatura originados por rudo no contorno (imperfeies) ou transies suaves entre duas primitivas. Elas so por isso ou ignoradas ou fundidas (divididas) entre as duas primitivas adjacentes. A figura que se segue ilustra um exemplo do processamento de junes. A sequncia de primitivas inicialmente extraida : VERTICAL , VERTICAL , ARCO , ARCO
38
Processamento de junes entre primitivas
Aps a classificao das junes entre cada par de primitivas obtm-se nova sequncia: VERTICAL , ANGULO180 , VERTICAL , ANGULO90 , ARCO , ( ? ) , ARCO Neste exemplo apenas uma juno no foi classificada; trata-se de uma juno suave entre dois ARCOs de igual sinal, sendo por isso fundida com as duas primitivas adjacentes resultando finalmete a sequncia: VERTICAL , ANGULO180 , VERTICAL , ANGULO90 , ARCO No final de todo este processo obtm-se para cada contorno um anel de primitivas grficas que o representa.
39
LOCALIZAO DOS OBJECTOS

Aps a separao dos objectos das linhas, cada objecto localizado em relao aos pentagramas. Pretende-se apenas determinar a que pentagrama o objecto pertence (posteriormente alguns objectos ou mesmo partes de objectos, sero alvo de uma localizao mais rigorosa, dentro de cada pentagrama, como o caso das notas). Existem alguns casos em que esta localizao requer um tratamento particular:
Objectos que intersectam vrios pentagramas

Este o caso frequente das barras de diviso de compassos. Neste caso registam-se todos os pentagramas que o objecto abrange. Na realidade a partir das barras de compasso que se determina o n de pentagramas por sistema (normalmente tambm abrangidos por uma chaveta na margem esquerda).
Objectos no pertencentes imagem musical

Estes objectos localizam-se normalmente fora das margens esquerda e direita dos pentagramas ou visivelmente afastados, acima ou abaixo destes (este ltimo normalmente s ocorre em relao ao primeiro e ao ltimo de uma pgina). Alguns exemplos so a numerao de pgina, titulos ou outro texto no topo ou no rodap da pgina, ou ainda sombras provocadas pelas margens da folha durante a digitalizao. Todos estes objectos so ignorados priori.
40
PR-CLASSIFICAO DE OBJECTOS
A classificao e o reconhecimento dos objectos musicais no recorre a um mtodo genrico nico, vlido para todos. Pelo contrrio, a existncia de objectos de mltiplas dimenses e de objectos compostos, obriga utilizao de procedimentos diversos com algortmos algo complexos e que fazem uso extensivo do conhecimento do domnio. Esta especificidade dos algortmos de reconhecimento refora a ideia de que necessrio dividir os objectos em classes que permitam a canalizao para algortmos dedicados. Procurou-se dividir os objectos em grupos ou classes com caractersticas globais semelhantes. Esta pr-classificao no est relacionada com a diviso lgica dos smbols musicais, embora nalguns casos haja coincidncia. Os critrios de pr-classificao so os seguintes:
b
rea da moldura envolvente do objecto

b
Propores da moldura envolvente (Largura vs. Altura)

b
N de contornos interiores (ou buracos) Espao Mdio entre Linhas

b b
Relembramos que as medidas padro utilizadas so: Espessura Mdia das Linhas
A figura seguinte ilustra o procedimento de pr-classificao dos objectos e o seu encadeamento com os mdulos de reconhecimento. A unidade padro o espao mdio entre linhas.
41
P R C L AS S I F I C A O D E O B J E C T O S
Objecto com moldura menor que ( 1 , 1 ) ?

N
Objecto com moldura menor que ( 3 , 1.5 ) ?

N
Objecto com: Altura > Comprimento ?

N
Acidente Simples ?
N
S N S N S N S N S N S N S N
Clave de Sol ?
N
Clave de F ?
N
Clave de D ?
N
Pausa de Semnima ?
N
Diviso de Compasso ?
N
Pausa com Cauda ?

N
Candidato a Notas com Haste ?

N
Testes de Pr-Classificao: Tamanho Propores N de Contornos Filhos
Candidato a Ligadura ?
N
Reconhecimento
Lixo
O encadeamento dos vrios mdulos foi escolhido de forma a minimizar a entrada de smbolos em classes erradas. De qualquer forma os algortmos de reconhecimento so bastante estanques, permitindo rejeitar a grande maioria das entradas inadvertidas, reenviando os objectos para a classe seguinte.
42
RECONHECIMENTO DOS OBJECTOS

Na elaborao dos procedimentos de reconhecimento foi fudamental toda a informao contextual que dividimos aqui em dois domnios distintos:
Conhecimento da Notao Musical

Para reconhecer um qualquer smbolo necessrio conhecer as variaes de forma, tamanho ou posio que ele pode tomar. Para alguns smbolos musicais as variaes so inmeras e nem todas podem ser tratadas genricamente; em alguns casos a sua posio quase arbitrria e pode traduzir-se numa alterao da forma.
Variao da forma com a posio no pentagrama
Noutros casos a forma e/ou a posio no podem variar, como o caso das claves, e de todas as alteraes. Existem tambm smbolos em que a forma varia mas dentro de um padro definido, como so as pausas e as notas de durao igual ou inferior a uma colcheia.
Conhecimento dos Efeitos do Rudo e do Processamento da Imagem

Como j foi referido em captulos anteriores, algumas fases do processamento da imagem podem resultar na deformao e/ou fragmentao de alguns objectos. A imagem original pode tambm incluir partida algum rudo ou fragmentao. Sabe-se no entanto que alguns smbolos so mais afectados do que outros, e tambm como so afectados. O objectivo ser ento o de prever os casos mais frequentes de distoro para cada tipo de smbolo de forma a analisar as suas particularidades no contexto de cada caso possvel. Eis algumas metodologias adoptadas:
c
Identificar sintomas que permitam deduzir quais das restantes caractersticas do objecto foram afectadas e como.
Alterao do contorno de um objecto quebrado Sintoma: N de contornos internos

c
Identificar partes dos objectos que no so afectadas pelo rudo ou pelo processamento, procedendo-se depois inspeco das restantes caractersticas e eventualmente sua reconstruo.
43
Deteco da haste vertical dum objecto (no fragmentada) e posterior inspeco junto s margens
Procura-se assim tanto quanto possvel, utilizar este conhecimento nos mdulos de reconheciento com o objectivo de os tornar mais robustos, e acima de tudo aumentar a taxa de reconhecimento global.
Universo de Smbolos Reconhecidos neste Projecto
...
Claves Notas (todas as variantes)
...
Pausas (todas as variantes)
Acidentes
Divises de compasso
Pontos de aumentao
Tcnicas de Reconhecimento Utilizadas

Descrevemos aqui genericamente as vrias tcnicas de reconhecimento utilizadas. Na maior parte dos mdulos de reconhecimento, vrias tcnicas so utilizadas em conjunto. Posteriormente especificaremos quais as tcnicas aplicadas para cada uma das classes definidas.
Identificao de sequncias de primitivas grficas particulares

Permite detectar formas geomtricas elementares, constituintes de alguns smbolos como sejam:
Forma
Hastes
Sequncia de Primitivas
[VERTICAL , ANGULO_180 , VERTICAL]
44
Bolas [VERTICAL , ARCO, VERTICAL] Caudas etc... Note-se que na maioria dos casos so analizados os vrios parmetros de cada primitiva que constitui uma dada forma geomtrica. Por exemplo, a mesma sequncia de primitivas [VERTICAL, ANGULO_180 , VERTICAL] , poderia representar uma extremidade vertical em forma de seta ou uma extremidade rectilnea, diferindo apenas no declive de ambos os segmentos verticais.
[ARCO (k >0) , ANGULO_180 , ARCO (k<0)]
Anlise do tamanho e posio relativa entre vrias primitivas

Permite reconstruir partes elementares dos objectos, mesmo quando intersectadas por outros elementos do mesmo objecto. So exemplos barras e hastes, formadas por segmentos verticais paralelos e/ou colineares.
Anlise da localizao e tamanho de contornos internos

Permite nalguns casos distinguir objectos com contorno exterior semelhante, mas que podem ser ocos ou a cheio (caso das semnimas e das mnimas). A forma e a rea dos contornos internos tambm um dado importante utilizado.
Projeces localizadas
Nos casos de objectos frequentemente fragmentados (especialmente devido sobreposio em linhas), procurou-se detectar pontos chave desses objectos no afectados, procedendose em seguida a uma reconstruo das partes do objecto hipoteticamente destruidas ou separadas. Para este efeito recorreu-se a projeces de pequenas reas localizadas da imagem. As projeces no so mais do que histogramas de pontos pretos (bit = 1), de linhas (projeces verticais) ou colunas (projeces horizontais) de uma rea da imagem seleccionada. As projeces so calculadas a partir da matriz de segmentos, que recordamos, mantm toda a informao da imagem original. As projeces so ento analizadas de acordo com cada caso particular, em parmetros como:
d
rea projectada versus rea da projeco

d
Nmero de blocos distintos e em cada bloco: rea, largura e altura dos blocos
d
Nmero de picos para um dado mximo

d
Nmero de mximos ou mnimos locais
Mdulos de Reconhecimento
Os mdulos de reconhecimento em cada classe de objectos no so mais do que um aplicao conjunta de vrias das tcnicas apresentadas, baseada, tal como j foi referido, no seu contexto musical, e nas suas caractersticas grficas, aps todo o pr-processamento. O carcter complexo e particular dos algortmos de cada mdulo no justifica pois, a sua descrio detalhada e exautiva. Em todo o caso apresenta-se em seguida, uma descrio sucinta de um destes mdulos, talvez o mais ilustrativo da conjugao das vrias tcnicas de reconhecimento e/ou extraco de eventos.
45
Reconhecimento de notas e grupos de notas com haste

Refira-se antes de mais que as semibreves (sem haste) so tratadas num outro mdulo devido s suas caractersticas grficas. O primeiro passo consiste em detectar se o referido objecto representa um grupo de notas. Isto feito percorrendo a lista de primitivas grficas para detectar a presena de um segmento horizontal/obliquo que obedea a certas caractersticas (declive e comprimento). Aps esta primeira classificao temos:
Grupos de notas
Percorre-se a lista de primitivas grficas detectando:
e
o maior segmento horizontal que ir determinar, quando comparado com a moldura do objecto, a direco das notas.
e
pares de segmentos verticais que pelas suas caractersticas representem a haste de uma nota, tendo sempre em ateno a possibilidade de existir mais do que um par deste tipo de segmentos a representar uma nica haste e um par de segmentos que no pertenam ao grupo de notas, estando apenas ligado a este objecto devido partilha de uma cabea.
Completado o passo anterior, temos as coordenadas de todas as hastes que compem o grupo de notas. Em seguida so feitas projeces verticais cobrindo uma rea restrita nas vizinhanas da haste, que sero analisadas no que respeita existencia de blocos com certas caractersticas (dimenses e rea), para determinar o nmero de traos que caracteriza a haste bem como o nmero de notas.
Notas isoladas
Percorre-se a lista de primitivas grficas detectando uma sequncia particular que identifique o extremo da haste oposto s cabeas de notas. Consoante o tipo de sequncia, podemos fazer uma pr-classificao no que respeita existencia de caudas. Isto ir no s determinar a procura das caudas como tambm a procura ou no de cabeas brancas (uma haste com caudas no pode ter cabeas brancas como notas. Tendo a orientao da nota, dada pelo passo anterior, as caudas e notas so detectadas mais uma vez atravs de projeces verticais e sua classificao.
46
INTERPRETAO
A interpretao consiste na transformao de um grupo de smbolos musicais isolados, prviamente reconhecidos, no seu significado musical com o objectivo de criar um ficheiro de sada que possa ser utilizado por editores e reprodutores musicais. Este processo est dividido nas seguintes etapas sequenciais:
f
classificao de notas
f
classificao de alteraes
f
atribuio de alteraes
f
ordenao de eventos
f
pr-processamento de eventos
f
separao de vozes
f
interpretao de vozes
f
gerao do ficheiro de sada uma lista com todos os eventos detectados e respectivas caractersticas estruturais
f f
Recordamos que nesta fase do processo, dispomos para cada pentagrama de:
uma tabela com referencia a todas as cabeas de notas encontradas

f
uma lista com todas as alteraes
Classificao de notas
Objectivo
A classificao de uma nota tem por objectivo determinar a sua posio relativa no pentagrama no que se refere linha ou espao entre linhas a que pertence. Esta classificao feita em funo das coordenadas da nota e das coordenadas das linhas que constituem o pentagrama. Relembramos que nesta fase ainda no possivel determinar a altura da nota pois ela depende do contexto musical no momento em que ocorre, nomeadamente no que se refere clave.
Mtodologia
Esta classificao ser feita atravs da atribuio de um nmero que representa a linha ou espao entre linhas, de acordo com a seguinte figura:
47
I N T E R P R E T A O
espao -5.5
linha -6
linha 0
linha 4
espao 9.5
linha 10
Depois de detectado o ponto mdio da nota e feita uma comparao com as linhas superior e inferior do pentagrama, uma de duas situaes pode ocorrer:
Nota contida no pentagrama

feita uma pesquisa binria em relao s linhas do pentagrama at determinar a posio correcta da nota.
Nota situada numa linha/espao suplementar

Determina-se a distancia da nota em relao linha mais prxima, e a linha/espao auxiliar correspondente dada pela relao entre essa distancia e o espao mdio entre linhas.
Eficcia
Este mtodo baseia-se numa aproximao das linhas do pentagrama a segmentos de recta. Isto nem sempre verdade como j foi dicutido anteriormente. No limite, e tendo em conta a tolerancia mxima admitida que se traduz numa distancia ao ponto mdio do segmento de recta igual a 2 * espessura mdia da linha, que regra geral igual a 0.5 * espao mdio entre linhas, causaria um erro traduzido pela atribuio da nota ao espao/linha adjacente. No entanto, este caso raro, e os resultados no que se refere a erros causados por este problema so bastante bons. Em relao s notas pertencentes a linhas/espaos suplementares, estamos a partir do principio que estas esto separadas por uma distancia mdia igual distancia mdia entre as linhas do pentagrama. Isto em geral vlido, apenas introduzindo ocasionalmente erros em notas situadas acima da 2 linha suplementar superior e abaixo da 2 linha suplementar inferior. Outro factor que pode introduzir erros no processo de classificao de notas tem haver com erros na determinao da moldura da mesma, aquando do processo de reconhecimento, normalmente derivados de notas imperfeitas. No entanto, o nmero de erros derivados deste factor no significativo.
48
Classificao de alteraes
Objectivo
A classificao das alteraes refere-se apenas aos acidentes e pontos de aumentao, e tem por objectivo a atribuio do nmero de linha/espao do pentagrama a que pretencem, com o objectivo de facilitar a posterior atribuio dos mesmos s notas pois situam-se na mesma linha.
Metodologia
O mtodo utilizado para a classificao das alteraes em tudo semelhante ao utilizado para as notas. De referir no entanto, que as coordenadas verticais associadas aos acidentes, no so em geral as suas coordenadas reais, mas sim as coordenadas que definem a que linha/espaco eles pertencem, de modo a que se possa fazer a classificao atravs do seu ponto mdio.
Bemol e coordenadas atribudas
Atribuio de alteraes
Objectivo
Este passo serve para associar as alteraes s notas correspondentes, e separar os acidentes que possam fazer parte de uma armao de clave.
Acidentes
Este tipo de alteraes, onde se encontram os sustenidos, bemois, bequadros e sustenidos duplos, esto situadas esquerda da nota a que devem ser associadas. Assim, feita uma pesquisa na tabela que contm todas as notas reconhecidas para encontrar aquela que, em relao ao acidente:
p
pertena mesma linha/espao

p
esteja situada direita

p
esteja mais perto
Caso exista uma nota nestas condies, e que a sua distancia ao acidente seja menor que uma distancia mxima prviamente definida (abaixo descrita), a atribuio feita. Caso contrrio, a pesquisa repetida mas desta vez considerando todas as notas situadas na linha/espao adjacentes para colmatar eventuais falhas na correcta determinao do nmero de linha/espao quer da nota quer do acidente, sendo esta ltima a mais frequente devido a situaes do tipo descrito na figura seguinte.
49
Critrios na especificao da distancia mxima

Este valor tem que ser suficientemente pequeno para evitar a atribuio de acidentes pertencentes a armaes de claves, especialmente no caso em que o ltimo elemeto destas est situado na mesma linha/espao que a primeira nota como se pode ver na figura.
Por outro lado, este valor tem de ser suficientemente grande para que os mais distantes das notas, como nos exemplos da figura seguinte, sejam correctamente atribudos.
Armaes de clave
Os acidentes que no sejam atribudos muito provavelmente pertencero a armaes de clave. Assim, cada acidente ser transformado num evento do tipo <SIGN>, que posteriormente ser tratado para a criao das armaes de clave.
Pontos de aumentao
A atribuo de pontos de aumentao em tudo semelhante atribuio de acidentes com a unica diferena a residir no facto de os pontos se encontrarem direita das notas a que esto associados. Em relao aos pontos no atribudos, eles sero conservados para posteriormente (a seguir fase de ordenao de eventos) ser feita uma tentativa de atribuo s pausas.
Outros smbolos
Em relao a todos os outros smbolos musicais no reconhecidos neste projecto, a sua atribuo seria feita da seguinte forma consoante o seu tipo:
Smbolos atribudos a uma nota

Neste caso, e consoante o smbolo, far-se-ia uma pesquisa do tipo descrito anteriormente orientada para a direco apropriada.
50
Smbolos atribudos a um grupo de notas

Nesta categoria incluem-se por exemplo as ligaduras, que devem ser atribudas a duas notas correspondendo cada uma a uma das suas extremidades. Uma soluo possivel seria fazer uma pesquisa para cada uma das extremidades, e atribuindo s duas notas encontradas uma referencia a que elas deveriam posteriormente ser unidas por uma ligadura.
Ordenao de eventos
Descrio
A finalidade deste passo, a transformao de uma lista desordenada de eventos numa sequncia de eventos ordenada temporalmente (coordenadas horizontais crescentes). A possibilidade de existencia de vrias vozes num pentagrama obriga a que esta ordenao no se resuma criao de uma nova lista unidimensional. Assim, temos que prever a existencia de eventos simultneos (coordenadas horizontais semelhantes), criando para tal uma estrutura bidimensional.
A estrutura slot
Na escrita musical convencional, no existem pentagramas representando mais do que trs vozes concorrentes, sendo este o nmero mximo de eventos que podem ocorrer em simultneo. Assim, definimos uma nova estrutura que representa um instante temporal, ou seja, em termos de coordenadas horizontais do pentagrama um intervalo pequeno onde todos os eventos que estejam a contidos sejam executados em simultneo, e com capacidade para conter at trs eventos. Esta estrutura ser designada por slot. O objectivo deste processo ento a criao de uma sequncia de slots, ordenados temporalmente, contendo referencias aos eventos que esto situados nesse instante.
Eventos intemporais
Ser importante referir que os eventos intemporais apenas podem existir isoladamente, no podendo portanto coexistir temporalmente com outros eventos sejam eles intemporais ou no. Isto implica que um slot contendo um evento intemporal apenas pode conter esse evento.
Metodologia
O mtodo utilizado para o ordenamento dos eventos baseia-se na construo de uma lista ligada de slots atravs de uma pesquisa sequencial lista construda at ento, de onde salientamos os dois casos possiveis:
Eventos intemporais
No caso do evento pertencer a este tipo, ser sempre criado um novo slot, e a pesquisa fazse at encontrar o local onde ele deve ser inserido.
51
Outros eventos
Neste caso, feita uma pesquisa sequencial procura do slot correspondente s coordenadas do evento. Caso ele exista o evento a introduzido. Caso contrrio, criado um novo slot e introduzido na posio correcta.
Eficcia
O nico erro que poder ocorrer neste passo tem haver com a possibilidade do slot correspondente a um evento j estar cheio, caso em que um dos eventos ser eliminado. De notar que este caso apenas pode surgir se prviamente tiver ocorrido um erro no processo de reconhecimento, e tiver sido detectado um evento inexistente, o que pouco provvel.
Pr-processamento de eventos
Durao de um evento
nesta fase do processo que vo ser interpretadas as caracteristicas estruturais dos eventos para determinar a durao de cada um. Assim, a cada evento ser atribudo um inteiro que representa a sua durao em relao a metade da durao de uma trifusa (nota com 5 caudas). Esse inteiro, para o caso das notas com durao inferior a uma seminima, ser calculado a partir do nmero de tails (n>0), e dado pela seguinte expresso:
d=
q
256
2+ n
Para os restantes casos (n=0), a durao determinada consoante seja: pausa: caso em que o tipo determinado durante o processo de reconhecimento determina a sua durao.
q
notas: caso em que a durao determinada a partir das caracteristicas estruturais como sejam a existencia de uma haste, e o tipo de cabeas associadas.
A durao atribuda de acordo com a seguinte tabela: nota semibreve minima seminima durao 256 128 64
Depois deste valor inicial para a durao ser determinado, necessrio fazer uma correco no caso de haver pontos de aumentao atribudos. Assim a durao final dada consoante o nmero de pontos de aumentao por:
q
1 ponto de aumentao:
d final = d +
q
d 2
2 pontos de aumentao:
52
d final = d +
Nmero de vozes
d d + 2 4
Paralelamente com a atribuo da durao dos eventos, determinado o nmero de vozes existentes no pentagrama, que igual ao nmero mximo de eventos existentes num slot.
Separao de vozes
Descrio
A necessidade de fazer uma separao das vozes que contituem um pentagrama prende-se com o facto de, regra geral, os formatos de ficheiros musicais assim o exigirem. Em particular, o formato do editor de msica SCORE impe que cada pentagrama seja descrito como uma sequncia de eventos, permitindo no entanto sobreposies destas sequencias, representando vozes concorrentes. Uma descrio mais detalhada deste formato, nomeadamente no que respeita a esta caracterstica encontra-se em apndice. A separao real de vozes concorrentes num pentagrama, um problema de muito dificil resoluo pois seria necessrio entrar em linha de conta com uma srie de regras de composio que por um lado esto fortemente ligadas s vrias correntes musicais logo, variando bastante de estilo para estilo, e por outro no so rigidas, podendo ser violadas por qualquer um. Este seria um tema muito interessante de explorar, mas completamente fora do ambito deste projecto. Assim, optmos por fazer uma separao que no sendo correcta em termos do conceito musical de voz, nos permite passar toda a informao necessria edio e reproduo musical do pentagrama.
w s
Separao real vs separao possivel
Em termos de reproduo musical, a separao de vozes apenas teria que levar em linha de conta a durao das notas, ou seja, a nica regra teria haver com o facto de que enquanto
53
durar um evento numa voz, mais nenhum lhe pode ser atribudo. No entanto, porque a edio de msica um factor a que ns sempre demos relevo, e porque neste campo o formato do SCORE impoe algumas restries, ser necessrio introduzir novas regras como sejam :
atribuir mesma voz eventos que pretenam a um grupo de notas comum.
atribuir mesma voz eventos que contenham ligaduras entre s.
A segunda regra apenas vivel no que respeita a ligaduras de durao pois elas ligam sempre duas notas consecutivas. Quanto aos outros tipos de ligaduras, e especialmente as de expresso, o seu processamento ser praticamente impossvel pois implicaria uma separao real das vozes. Importa referir que o formato SCORE apenas permite ligar e agrupar notas pertencentes a uma mesma voz.
Prioridades na atribuio de um evento a uma voz

A deciso sobre a voz qual um evento deve ser atribudo tomada de acordo com as seguintes regras:
regra do grupo: caso um evento pertena ao mesmo grupo de notas da ltima nota de uma das vozes, ele atribudo a essa voz.
regra do tempo: caso contrrio, ele atribudo voz com menor durao at esse ponto.
regra por defeito: caso todas as vozes tenham a mesma durao, ele atribudo aleatriamente.
Outra das caractersticas do formato SCORE tem haver com o facto de as vrias vozes de um mesmo pentagrama terem que estar sincronizadas. Assim, e para que dois eventos sejam colocados na mesma coordenada horizontal, necessrio que a soma da durao dos eventos precedentes seja igual. Assim, e para colmatar falhas surgidas no reconhecimento de eventos (eventos no reconhecidos, eventos com durao incorrecta), e para resolver o problema da mtrica incompleta, de modo a que o grafismo da pauta se mantenha semelhante ao original, ser necessrio aquando da separao de vozes, manter um sincronismo entre elas. Para isso, definimos um novo tipo de evento que designaremos por pausa invisvel, e caracterizado por uma durao, ausencia de som, e como o nome indica, invisvel. Este evento ser introduzido numa voz sempre que seja detectada a falta de um evento.
Pontos de sincronismo
Para que se mantenha um sincronismo entre as vozes, necessrio definir alguns pontos nos quais sero testadas as duraes das vozes para determinar a necessidade de insero de pausas invisiveis. Estes pontos so:
eventos intemporais: o facto de um evento intemporal no poder existir simultaneamente com mais nenhum evento, implica que sempre que este caso acontea, a durao de todas as vozes tenha que ser igual. Assim, todas as vozes sero sincronizadas pela de maior durao, atravs da insero de pausas invisiveis se necessrio, antes de ser feita a atribuio do evento.
eventos intemporais: aps terem sido seleccionadas as vozes e antes de ser feita a atribuio, deve ser determinado o valor da durao da voz mais curta, de entre as seleccionadas, e sincronizar todas as vozes com durao inferior a este valor.
54
Metodologia
Assim o mtodo utilizado consiste na criao de um nmero de listas ligadas igual ao nmero de vozes, onde sero introduzidos no fim das mesmas os eventos retirados dos slots, e as pausas invisiveis sempre que necessrias para manter o sincronismo. De notar que os eventos intemporais devem ser multiplicados e introduzidos em todas as vozes para que a interpretao de cada uma delas possa ser feita de uma forma independente das restantes, e porque o formato do SCORE requer que estes eventos sejam introduzidos em todas as vozes. No fim deste processo obtemos, para cada voz, uma lista ligada de eventos pronta a ser interpretada para qualquer formato musical independentemente das restantes vozes.
Eficcia
Exceptuando o problema dos smbolos atribuidos a notas no consecutivas como seja o caso de algumas ligaduras, esta separao de vozes, apesar de no ser musicalmente correcta, permite transferir para qualquer formato musical, e particularmente para o SCORE por ser o mais exigente, toda a informao necessria correcta edio e reproduo musicais.
Interpretao de vozes
Objectivo
Por interpretao de vozes referimo-nos ao processo pelo qual a lista de eventos lida e so executadas as seguintes tarefas:
Determinao da altura das notas

Esta caracterstica das notas est directamente dependente da clave que a afecta e da linha/espao em que ela est situada no pentagrama. A altura da nota dada por uma letra (A..G) representando o tom, e um nmero (0..7) representando a oitava. Estes valores so calculados da seguinte forma: Determina-se o valor de correspondencias:
consoante a clave, de acordo com a seguinte tabela de TR BA AL TE 38 26 32 30
Em seguida aplicam-se as frmulas
a = ((c 2l ) + 2) mod(7) o = 48 + c 2l 7 y.
onde l representa o nmero de linha e ( x) mod( y) o resto da diviso inteira de x por Como resultado, obtemos o que nos d a oitava, e a que nos permite consultar a tabela
55
0 1 2 3 4 5 6
para determinar o tom da nota.
A L B S C D D R E Mi F F G Sol
Elaborao de armaes de clave

Nesta fase do processo geral de interpretao, uma armao de clave com vrios acidentes ainda representada por uma sequncia de eventos do tipo <SIGN>. portanto necessrio detectar quantos eventos consecutivos deste tipo existem, para determinar o tipo de armao de clave em causa. Para diminuir a probabilidade de ocorrerem erros devido a acidentes no atribudos a notas mas que no pertenam a armaes de clave, so feitos os seguintes testes sua validade:
no caso de existir apenas um acidente isolado, ele ter que estar situado na linha/espao correctos de acordo com a clave e tipo de acidente para ser considerado como uma armao de clave com apenas um elemento.
uma armao de clave apenas pode existir a seguir a um evento do tipo: diviso de compasso, clave ou armao de clave.
Tratamento das barras de compasso

Em relao s divises de compasso, existem vrios tipos possiveis a partir de combinaes de barras de vrias espessuras como pode ser visto na figura seguinte:
Assim, nesta fase so detectadas as sequencias de barras de compasso com espessuras diferentes e combinadas para determinar o tipo de diviso em causa.
Criao de campos do ficheiro em formato SCORE

Paralelamente a estas tarefas, sero criadas as vrias cadeias de caracteres que representam os vrios campos do ficheiro em formato SCORE. Assim, para cada evento temos consoante o seu tipo:
eventos intemporais: dada uma entrada no campo pitch
eventos do tipo notas: so dadas entradas no campo pitch em nmero igual ao nmero de notas que constituem o evento, e dada uma entrada no campo rythm de acordo com a durao do evento.
eventos do tipo pausas: dada uma entrada no campo pitch e uma no campo rythm.
Durante este processo, criada uma tabela com referencia primeira e ultima nota de cada grupo. Esta tabela ser posteriormente lida para probuzir o campo beams.
56
Os restantes dois campos no esto a ser utilizados de momento. Eles serviro mais tarde para introduzir referencias s ligaduras e outros smbolos que possam vir a ser reconhecidos.
Gerao do ficheiro de sada em formato SCORE

Este ficheiro gerado a partir das cadeias de caracteres construdas no passo anterior, introduzindo apenas alguma informao no que respeita ao nmero do pentagrama em questo e s dimenses dos smbolos do editor SCORE.
Gerao do ficheiro de sada em formato MIDI

Os resultados do reconhecimento e interpretao, podem tambm ser gravados em formato Midi. Este formato hoje j um standard na maioria das aplicaes de processamento e edio musical. Existem no entanto algumas consideraes que devem ser feitas relativamente a esta converso, no contexto deste projecto.
Perda de Informao
O formato Midi vocacionado para a descrio de eventos temporais, no permitindo registar a maior parte da informao grfica reconhecida como sejam as barras sobre notas, direco das hastes, divises de compasso, etc...
Ausncia de Indicao de Compasso

Como j foi referido, as indicaes de tempo de compasso no so reconhecidas. Por este motivo o ficheiro Midi gerado, indicar o valor por defeito (4/4). Dever pois proceder-se, se necessrio, sua correco pelo software / equipamento que efectuar a sua leitura.
Ausncia de Edio Prvia das Pautas Reconhecidas

A vantagem do SCORE (verso integral), a de permitir a edio do ficheiro reconhecido, e posteriormente efectuar a sua gravao em formato Midi. A desvantagem, claro, de que ser necessrio possuir este software. O ficheiro Midi gerado neste projecto, incluir por isso as falhas e/ou omisses do reconhecimento, requerendo tambm edio posterior. A realizao de um editor, que permitisse efectuar as correces necessrias prviamente gerao do ficheiro Midi, no foi concretizada por estar amplamente fora dos objectivos deste projecto.
Estrutura do ficheiro Midi gerado

O ficheiro gerado do tipo 1, ou seja com pistas multiplas (Multiple Tracks). As sequncias musicais reconhecidas foram convertidas com a seguinte estrutura: Canais (Channels)- atribuido um canal diferente a cada parte (cada instrumento) de um sistema, isto uma pauta com n pentagramas por sistema, ter n canais no ficheiro Midi. Os canais so atribuidos sequencialmente a partir do canal #1. Pistas (Tracks) - atribuida uma pista diferente, a cada uma das vozes num mesmo canal. As pistas so atribuidas sequencialmente, a partir da primeira pista de dados, ou seja a pista #2. Parmetros introduzidos por defeito no ficheiro:
57
Tempo = 120 (500 000s por Nota Midi de referncia)
N Midi-clocks por cada batida do metrnomo = 24
N fusas (1/8 Nota) notadas por 1/4 Nota Midi de referncia = 8
Velocidade de ataque das notas = 100
Volume (valor por defeito) = Meso-Forte
58
RESULTADOS E CONCLUSES
Para a avaliao final deste trabalho recolhemos arbitrariamente um conjunto de 17 pautas com diferentes caractersticas e graus de complexidade. Em anexo encontram-se vrias folhas, trs por cada imagem de teste que incluem cpia da imagem original e a impresso do ficheiro SCORE de sada. Para cada imagem consta ainda uma referncia aos tempos parciais e total de processamento e a taxa de reconhecimento resultante.
Eficcia
Critrios de avalio
Antes de se poder tirar concluses em relao aos resultados do reconhecimento das pautas, foi necessrio estabelecer uma forma de quantificao dos mesmos. Devido complexidade da escrita musical, a taxa de reconhecimento no se resume, em nosso entender, a um critrio simples de presena/ausncia de um smbolo; necessrio tomar em linha de conta vrias caractersticas de cada objecto de forma a obter um valor que possa representar essa mesma taxa de reconhecimento. Assim e considerando apenas os smbolos pertencentes ao universo reconhecido pelo RIEM, definimos o seguinte conjunto de factores de avaliao:
Taxa de reconhecimento de eventos (a)
Taxa de reconhecimento de cabeas de nota (b)
Taxa de cabeas correctamente localizadas (c)
Taxa de reconhecimento correcto de caudas/traos em eventos (d)
Taxa de reconhecimento de acidentes (e)
Taxa de reconhecimento de pontos de aumentao (f)
Em relao ponderao destes factores, demos especial relevncia ao reconhecimento de eventos por serem estes a base da estrutura musical, e do sincronismo, para alm do facto de representarem a grande maioria dos objectos que constituem a informao musical. Aos restantes atribuimos um peso maior aqueles que contribuem para a caracterstica temporal, em deterimento dos que implicam uma alterao tonal de um evento. A atribuio dos coeficientes de ponderao uma tarefa subjectiva, mas indispensvel a uma avaliao quantitativa dos resultados. Assim a taxa de reconhecimento global dada por: Taxa de Reconhecimento = 0,65 * a + 0,05 * (b + c + e) + 0,1 * (d + f)
Anlise de resultados
Com os critrios de avaliao adoptados, e para o universo de pautas testado, obtivmos uma taxa de reconhecimento mdia de 88 %. Consideramos que estes resultados excederam largamente as nossas expectativas. A fragmentao de objectos continua a ser uma das principais causas de omisses ou reconhecimento incorrecto de objectos. Embora tenham sido adoptadas algumas medidas para minimizar estas falhas, continua a ser complexo lidar com os casos mais srios de fragmentao. Pensamos no entanto que uma abordagem completa a este problema (ex: tcnicas de anlise de nuvens de fragmentos) no poderia inserir-se num projecto vasto como este, duma forma meramente complementar.
59
R E S U L T AD O S E C O N C L U S E S
Uma outra fonte de omisses a interseco de objectos. Tambm aqui o problema resolvido parcialmente; quando dois objectos se intersectam, quase sempre um rejeitado (ou ignorado) em deterimento do outro. Os casos mais complexos de interseco, fica a referncia, poderiam ser resolvidos com tcnicas de adaptao de curvas a fragmentos desses aglomerados de objectos, numa tentativa de os separar. Note-se que uma tcnica similar, embora mais simples, foi utilizada para a decomposio de grupos de notas. Fica assim a ideia de que o reconhecimento de objectos baseado na anlise de contornos uma abordagem slida e flexivel, e que embora dependendo do contexto poder ser utilizada noutras vertentes do reconhecimento de imagem.
Eficincia
Tempos relativos
Durante testes realizados nas vrias pautas obtiveram-se os tempos de execuo parciais para cada um dos principais mdulos do projecto. Determinaram-se ento as mdias percentuais do tempo total de execuo:
Leitura e pr-codificao do ficheiro de entrada
14% 4% 15% 67% ~0% (inferior a 0.2%)
Deteo dos pentagramas
Isolamento de objectos
Reconhecimento de objectos
Interpretao
O reconhecimento dos objectos claramente responsvel pela maior parte do tempo de processamento; convem no entanto referir que este mdulo inclui todo o processamento dos contornos nomeadamente a diviso e extrao de primitivas grficas. Este processamento inclui como j vimos manipulaes algbricas intensas (filtragem e diferenciao dos contornos), responsveis pela quase totalidade do tempo consumido no mdulo de reconhecimento. pois aqui que podero surgir futuramente ganhos significativos em eficiencia, pela utilizao e/ou optimizao de outras tcnicas de processamento de sinal. O tempo consumido na interpretao quase desprezvel devido ao facto de este mdulo manipular as estruturas em memria prviamente criadas no Reconhecimento e beneficiando da eficiencia do modelo desenvolvido para a descrio de eventos musicais.
Tempos absolutos
O tempo absoluto de reconhecimento e interpretao de uma pgina de msica varia de acordo com a sua complexidade. No conjunto de pautas de teste anexas referido o tempo absoluto de processamento de cada uma. A ttulo de referncia, a imagem mais complexa testada ocupando a totalidade de uma pgina A4 demoro menos de 100 segundos num PC-Intel 486 DX2, 66Mhz. A converso da informao contida na imagem, em sucessivos passos, e para niveis mais abstractos, permite eliminar rapidamente a redundncia existente neste tipo de imagens, obtendo-se por isso nveis de performance bastante razoveis.
Concluses finais
O sistema aqui apresentado o resultado da investigao, e experimentao possvel, numa rea ainda pouco ou nada estudada, entre ns. No decorrer do seu desenvolvimento, foram vrias as abordagens tentadas para cada um dos mdulos concretizados, tendo-se
60
R E S U L T AD O S E C O N C L U S E S
abandonado, e refeito vrias vezes algumas das fases do plano inicialmente idealizado. Ficou a sensao de que alguns destes mdulos, poderiam ser desenvolvidos no mbito de um nico projecto, ao longo de todo um ano. Um projecto desta natureza deveria por isto ser alvo de alguma continuidade no sentido de aperfeioar e ou expandir alguns dos conceitos nele introduzidos, a outras reas do tratamento musical. Nesta primeira abordagem, face ao carcter experimental inicialmente incutido neste projecto, e considerando a relao eficcia/eficincia do sistema desenvolvido, pensamos que os objectivos propostos foram ultrapassados.
61
BIBLIOGRAFIA
Processamento e Reconhecimento de Imagem
AGUI, Takashi, Masayyuri Nakajima, Tae K. Kim, Recognition and Representation of Korean Characters by Tree Grammars 1979, IEEE, PAMI-1, n3, Julho AL-YOUSEFI, H., S.S. Uopa, Recognition of Arabic Characters 1992, IEEE, PAMI-14, n8, Agosto BAIRD, H.S., Bunke, H., Yamamoto, K. Structured Document Image Analysis 1992, Springer-Verlag BERGEVIN, Robert, Martin D. Levine, McGill University, Canada, Extraction of Line Drawing Features for Object Recognition 1990, 10th ICPR Proceedings, June 16-21 BUVRY, M., , S. Zagba, C. Krey, Segmentation Improvement Using Connected Lines Matching in Stereovision 1992, ICARCV92 Proceedings, Vol. 1, September 16-18 FU, King S., Syntactic Pattern Recognition and Applications 1982, Prentice Hall GONZALEZ, Rafael C., Michael G. Thomason, Syntactic Pattern Recognition, an Introduction 1978, Addison-Wesley Publishing Company GU, X., Wang Q.R., Suen C.Y., Application of Multilayer Decision Tree in Computer Recognition of Chinese Caracters 1983, IEEE, PAMI-5, n1, Janeiro JAIN, Anil K., University of California, Davis, Fundamentals of Digital Processing, 1978, Prentice Hall JAMES, Mike, Pattern Recognition 1988 John Wiley & Sons, Inc. KULTANEN, Pekka, Lei Xuf, Erkki Oja, Lappeenranta University of Technology, Finland, Randomized Hough Transform 1990, 10th ICPR Proceedings, June 16-21 LOPES, Paulo, Eugnio Oliveira, DEEC, Universidade do Porto, Contributions to Increase Efficiency on the Hough Transform,
62
B I B L I O G R AF I A
1992, ICARCV92 Proceedings, Vol. 1, September 16-18 MICLET, Laurent; Structural Methods in Pattern Recognition 1986, North Oxford Academic Publishers PAVLIDIS, Theo; Bell Laboratories, Graphics and Image Processing 1982, Computer Science Press
Interpretao Musical
FIRMINO, Jos, Leituras Musicais STEPHAN, Rudolf, Musica - Enciclopdia Meridiano Ficher 1978, Agosto, Editora Meridiano VIEIRA, Ernesto,Teoria da Msica 28 Edio, Valentim de Carvalho
Manuais Tcnicos
HOLAB, William, SCORE - Users Guide 1990, Passport Designs, Inc. HOLAB, William, SCORE - Reference Manual 1990, Passport Designs, Inc. LINDLEY, Craig A., Practical Image Processing 1991, John Wiley & Sons, Inc. PETZOD, Charles, Programming Windows 1990, Microsoft Press
63
APENDICE 1 -
OUTROS MTODOS DE LOCALIZAO DOS PENTAGRAMAS
Os mtodos aqui decritos muito resumidamente, so o resultado de vrias abordagens sucessivas a esta parte fundamental do processamento de uma pauta de msica. A grande diferena entre estes mtodos e o mtodo final adoptado, o facto de a imagem ser aqui manipulada na sua forma original, isto , uma matriz de pontos em memria. O terceiro destes mtodos mostrou-se mesmo bastante robusto e preciso, no entanto, tal como os restantes, sofria de uma ineficincia comprometedora.
Projeces Horizontais Simples

A pgina dividida ao meio verticalmente, sendo cada metade projectada sobre as respectivas margens, de forma a localizar a presena de segmentos horizontais longos, que constituem as linhas. A desvantagem deste mtodo a sua sensibilidade rotao da pgina que quando significativa no permite distinguir claramente segmentos horizontais pertencentes a linhas, de outros segmentos pertencentes a objectos igualmente longos.
Projeces Horizontais com Compensao de Rotao da Imagem

O ngulo de rotao da imagem prviamente determinado a partir da projeco parcial da margem direita. Note-se que este mtodo assumia que a margem direita de uma pauta regular, o que quase sempre sucede. Com o ngulo determinado procede-se a novas projecoes sobre ambas as margens da pgina mas agora com um angulo igual ao determinado, para localizar os pentagramas da forma descrita anteriormente.
Histograma de Curtas Transies Verticais com Compensao de Rotao

Determina-se o angulo de rotao da pgina como no mtodo anterior. A pgina igualmente dividida verticalmente em duas metades. Projectam-se ento sobre o angulo determinado, linhas rectas at ao centro da pgina. Ao longo de cada uma destas linhas, em cada ponto cujo bit 1, procuram-se e contam-se verticalmente (para cima e para baixo) o nmero de transies curtas de 0 para 1. ento feito um histograma com os totais de todas as transies, para cada linha da imagem. As rectas que atravessam linhas dos pentagramas reunem os valores mximos de transies no histograma.
64
APENDICE 2 - FLUXOGRAMA DO PROJECTO PASSO-A-PASSO

No fluxograma esto representados os mdulos mais importantes do reconhecimento da imagem. Paralelamente referenciada e/ou ilustrada toda a informao resultante.
Leitura do Ficheiro de TIFF Pr-Codificao da Imagem
Largura e Comprimento da Imagem Resoluo da Imagem
Deteco dos Pentagramas
Espessura das Linhas Espao entre Linhas Margens dos Pentagramas
Separao dos Objectos Construo dos Contornos
rvores Topolgicas de Contornos Molduras dos Objectos
Diviso dos Contornos em Primitivas Grficas
Anis de Primitivas Grficas
Localizao dos Objectos
N pentagramas por sistema
Pr-Classificao de Objectos
Encaminhamento para Mdulos de Reconhecimento
LE TN
M BP S
N BP P
N BP S
N BP S
R BP P
N BP P
TR BP
Reconhecimento de Objectos Gerao de Eventos
Listas de Eventos

LA
Interpretao dos Eventos
Ver fluxograma na pgina seguinte
Criao do Ficheiro de Sada
Ficheiro SCORE Ficheiro MIDI
65
AP E N D I C E 2 - F L U X O G R AM A D O P R O J E C T O P AS S O - A- P AS S O
Interpretao de Eventos
Classificao de Notas
e f h
LE TN
M BP S
N BP P
N BP P
N BP P
R BP
N BP
TR BP
SIGN
SIGN
i k
Classificao de Alteraes
i
Atribuio de Alteraes
M
d
TR
SIGN
SIGN
LS
g
R N
Ordenao de Eventos
h i j k i
TN
BP S
BP P
BP P
BP P
BP
BP
BP
Pr-Processamento de Eventos
d
f g
S TN BP
P BP
P BP
P BP BP BP BP
Separao de Vozes
h k
1v
i
M M
TR TR
SIGN SIGN
R N
N RI
N M
2v
i
Interpretao de Vozes
66
APENDICE 3 -
O FICHEIRO EM FORMATO SCORE
O SCORE talvez uma das mais potentes ferramentas de edio musical. No sendo um programa de fcil utilizao, tem a grande vantagem de permitir a introduo de pautas de msica atravs da leitura de um ficheiro de texto preservando toda a informao em termos de edio musical. Neste ficheiro, cada pentagrama descrito pelos seguintes campos:
Pitch stage Este campo serve para dar entradas das notas (tom e oitava), pausas, claves, armaes de clave e barras de compasso.
Rythm stage Neste campo, deve ser dada uma entrada, representando a durao, por cada nota, acorde de notas e pausas entradas no campo anterior.
Marks stage Este campo utilizado para dar entradas sobre a articulao, dinmica, entre outros smbolos.
Beams stage neste campo que so indicadas as notas que devem ser agrupadas.
Slurs stage O ltimo campo de entrada serve para dar indicao de todas as ligaduras existentes.
A representao de vozes concorrentes feita atravs de sucessivos grupos contendo os cinco campos, referenciando o mesmo pentagrama. Devido ao facto de o editor SCORE ler cada grupo de campos, e dividir os smbolos encontrados pela dimenso do pentagrama de acordo com parametros relacionados com a dimenso fsica dos objectos e durao dos mesmos, absolutamente necessrio que por um lado todas as vozes de um mesmo pentagrama tenham exactamente a mesma durao e por outro todos os smbolos sem durao (claves, barras de compasso) sejam referenciados em todas as vozes.
67

Riem

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Riem

Transféré par

Droits d'auteur :

Formats disponibles

INTRODUO

APENDICE 3 - O FICHEIRO EM FORMATO SCORE

reproduo via MIDI

manipulao das pautas (transposies, alteraes na digitao, etc)

gerao de pautas em braile

anlise musical (estrutura, estilo, etc)

Caractersticas da Escrita Musical

semibreve semibreve seminima colcheia semicolcheia

Notas e a sua durao relativa

Outros smbolos importantes so ainda:

Duplo sustenido Bemol Duplo bemol Bequadro

As ligaduras podem ter trs funes distintas:

Problemas na ptica do Reconhecimento/Interpretao de Escrita Musical

Rotao e Distoro global da imagem

Fragmentao e Quebras na imagem

Smbolos auxiliares e texto

Notao auxiliar misturada com smbolos musicais

Pontos de aumentao vs. marcas de staccato

Sustenidos e bequadros podem confundir-se

Variao do tamanho dos smbolos

Coexistncia(por vezes interdependncia) de smbolos grficos, letras e algarismos

Notas atravessando dois pentagramas

A voz inferior deste compasso est metricamente incompleta

REPRESENTAO DA ESCRITA MUSICAL

representao orientada para primitivas

representao orientada para eventos

que sero descritas em seguida.

Representao orientada para primitivas

divises de compasso entre outros.

A categoria de smbolos elementares pode anda ser dividida em duas sub-categorias:

pausas de durao igual ou inferior a uma colcheia:

constitudas por uma haste e uma ou vrias caudas.

notas e grupos de notas:

todos os elementos pertencentes classe de smbolos elementares isolados;

(NP) (NB) (NS) (RS) (NT) (RT)

(B) (TR) (BA) (AL) (QR) (HR) (WR) (M)

0 - no encontrou 1 - encontrou pelo menos uma

Grupo de notas e respectiva rvore de primitivas

Pausa e respectiva rvore de primitivas

Redes de rvores de primitivas

envolvente (caso em que um dos objectos est dentro do outro)

relao envolvente relao esquerda/direita

Exemplo de um compasso : rvores de primitivas e rede de rvores

A rede de rvores aps a alterao viria:

Falhas no reconhecimento de primitivas

Representao de vozes concorrentes na rede de rvores

Compasso com duas vozes

Representao de objectos pertencentes a vrias vozes

Nota partilhada por duas vozes

Eliminao de relaes do tipo envolvente

Representao orientada para eventos

a altura (que nula para as pausas)

para cada evento, detectar as suas caractersticas em termos de altura e durao.

as trs pausas sero tratadas como eventos do tipo <R>

diviso de compasso (Mark) armao de clave (Key Signature)

possibilita a representao de vozes concorrentes de uma forma simples.

elimina o problema criado pelos objectos envolvidos por outros.

LEITURA DO FICHEIRO DE ENTRADA - FORMATO TIFF

PR-CODIFICAO DA IMAGEM - COMPRIMENTOS DE SEQUNCIA

Aumento da performance dos algoritmos de reconhecimento.

Vantagens Importantes da Pr-Codificao

DETECO DAS LINHAS DOS PENTAGRAMAS

Eliminar fragmentos horizontais pertencentes a outros objectos da imagem, de maior espessura.

Calcula-se tambm a diferena entre os declives (a) da recta projectada e do fragmento.