Marvim Gainsbug é um software interativo que cria músicas em tempo real a partir de palavras ditas pelo visitante ou tweets encontrados online, mapeando características textuais para elementos musicais como ritmo, melodia e harmonia. O software requer hardware como computador, TV, caixas de som e microfone para prover uma experiência imersiva onde o visitante pode interagir com Marvim e ouvir canções geradas na hora.

2. O que é?
Marvim Gainsbug é músico, cantor e compositor, criado em 2009. Suas
principais influências são Serge Gainsbourg, Bob Dylan, o Repentista
Nordestino, Leonard Cohen, Joni Mitchell, Alan Turing, Deep Blue, HAL,
Wintermute e Marvin - o Andróide Paranóico.
Marvim Gainsbug é um software que atua baseado no Twitter, programado
com o objetivo de compor e executar canções, com letra e música, em
tempo-real.
O tweets se transformam em versos que serão interpretados pela marcante
voz de Marvim. A melodia, a harmonia e o ritmo são diretamente
influenciados pelas palavras que compoem os "versos".
Para tanto, basta que o visitante diga em um microfone qual a temática da
sua canção. De maneira a melhor se adequar ao formato de exposição, o
Marvim está apresentado aqui como uma instalação interativa audiovisual.

3. Como func iona?
A interação proposta para esta versão do Marvim Gainsbug pode ser
descrita como uma experiência audiovisual que evoca a impressão de
interagir com um repentista, que através de seus sentidos (é capaz de "ver",
"falar" e "escutar") e sensibilidade (de criar música), é capaz de criar uma
canção, letra e música, de maneira "improvisada", em tempo real. Essa
interação é viabilizada por um microfone posicionado em frente a TV, utilizada
como saída de vídeo para o projeto, caixas de som, responsáveis pelo retorno
sonoro do trabalho, e uma webcam.
Ao passar pelo local do projeto, o visitante é chamado a atenção, sendo
saudado por uma voz desconhecida: a voz do Marvim Gainbug. Na TV em
frente ao microfone são exibidos vários Tweets, dispostos de maneira
desordenada. Ao tentar repetir a saudação no microfone, o visitante é
surpreendido pela visão do Marvim, que, após se apresentar, pede para que
o visitante escolha grupo de palavras que serão usadas como base no
processo de criação da canção. Essa escolha é também realizada através do
microfone. Escolhidas as palavras, o Marvim realiza uma busca no Twitter a
fim de encontrar tweets que tenham tais termos como temática.
Screenshot do Marvim Gainsbug, durante a tela de escolha de palavras.

4. A medida que a busca vai sendo feita, uma canção começa a ser gerada:
letra e música. A letra é formada a partir de uma análise semântica do
conteúdo dos tweets, que são desmembrados e reagrupados em versos. A
música é construída a partir de características dos tweets (quantidade de
determinados caracteres, tamanho das letras) em seus elementos básicos
(ritmo, melodia e harmonia), a partir de algoritmos de mapeamento,
organizados da seguinte forma:
Ritmo
O tamanho das palavras influencia a duração da nota a ser tocada. Quanto
maior a palavra, mais longa será a execução da nota. Quanto menor a
palavra, menor a duração da execução da nota.
Melodia
As letras iniciais das palavras, usando um mapeamento entre alfabeto e
escala musical, definem a nota a ser tocada. Por exemplo, a escala maior de
Dó, que é composta pelas notas Dó, Ré, Mi, Fá, Sol, Lá, Si, as letras 'a', 'b' e 'c'
são correspondentes a nota Dó, enquanto 'd', 'e' e 'f' correspondem a nota
Ré, e assim por diante. Da forma como o Marvim está programado, este
mapeamento acontece automaticamente para diferentes tipos e tons de
escalas musicais.
Harmonia
Para a composição dos acordes que serão usados na canção, um
mapeamento seqüencial é empregado nas palavras dos versos advindos do
Twitter. Como o Marvim basea-se na composição da letra da música em
inglês, uma lista ordenada das letras mais usadas no idioma inglês é usada
para a escolha dos acordes. Se em alguma palavra no verso for encontrada a
primeira letra desta lista, esta é mapeada no acorde principal relacionado
com a escala musical usada para a composição, no caso da escala de Dó
maior, o acorde C é utilizado. No caso da segunda letra dessa lista, o acorde
correspondente no caso da escala de Dó maior será Dm. E assim por diante.

5. Ao mesmo tempo que a música vai sendo tocada e cantada, a letra da
canção vai sendo exibida na tela para que o visitante a acompanhe. Além
disso, informações sobre os tweets que geraram os versos são
apresentadas na tela, tais como nome e imagem do usuário.
Com o termino dessa exibição, o Marvim volta ao seu estado natural,
escondido no mar de tweets, tentando chamar as atenções de outras
pessoas.

7. Q ual material nec essário?
Hardware
O hardware necessário para o Marvim Gainbug é composto de:
• Um computador (Core 2 Duo 2.26GHz, 4 GB de memória RAM,
GeForce 9400M 256MB) - responsável por executar o software do
projeto. Deve rodar Linux (Ubuntu) como sistema operacional e estar
obrigatoriamente conectado a internet;
• Uma Televisão de 50" - Responsável pelo retorno visual do projeto.
• Caixas de Som - Localizadas ao lado da TV e conectadas com o
computador, irá permitir que a canção criada pelo Marvim seja ouvida
pelos visitantes;
• Uma webcam - Localizada em cima do aparelho televisor, voltada para
o microfone, exercerá a função de "olhos" do Marvim.
• Um microfone comum – Localizado na frente do televisor e das caixas
de som, irá permitir aos visitantes interagirem com o Marvim.
Software
Criado em 2009, utilizando o Processing, linguagem de programação
baseada em Java, Marvim é um software complexo construído com diversas
tecnologias (Twitter API, bibliotecas de composição musical, visão
computacional, entre outras). Dentre elas, se destacam as tecnologias de
Síntese de Voz e de Reconhecimento de Discurso.
A síntese de Voz (Speech Syntesis) é uma tecnologia que objetiva produzir
artificialmente a voz humana. Atualmente é utilizada em diversos contextos
(principalmente em tecnologias assistivas), estando bastante desenvolvida.
No projeto, ela foi utilizada para dar sintetizar e dar personalidade a voz do
Marvim.
Intimamente relacionada com esta, está o reconhecimento de discurso
(Speech Recognition). A tecnologia procura registrar textualmente de
maneira automática dircursos de voz humana, estando presente em diversos

8. sistemas operacionais para desktop e celulares. No projeto, ela foi utilizada
para analisar e reconhecer o que o visitante diz.
O Marvim Gainsbug tem todo o seu código aberto e utiliza Linux como
sistema operacional.

9. Q ual espaç o nec essário?
Para ser exibido, Marvim Gainsbug requer uma sala de dimensões
aproximadas de 2 metros de largura por 3 metros de comprimento.
Esboço do espaço necessário, contando com a disposição ideal do equipamento.
Como pode-se observar no esboço acima, a televisão de 50" será
posicionada na parede, com as caixas de som dispostas cada uma em um
lado. Acima da televisão estará localizada a webcam responsável por
reconhecer a presença do visitante. O pedestal do microfone será
posicionado em frente a TV de forma que o visitante fique de frente para o
Marvim, acentuando assim uma forma natural de interação. Quanto ao
computador, este não ficará visível ao visitante.
Para um bom funcionamento do programa de reconhecimento de comando
de voz, a sala precisa ser isolada de ruídos externos. Além disso, para que o
observador tenha uma maior imersão na obra, as luzes do ambiente da sala
serão baixas ou inexistentes, existindo apenas uma luz direcional do teto para
o chão focada no microfone.