Suport de música multimodal: 9 passos (amb imatges)

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:16

El suport de música multimodal (MMMS) és una nova forma de controlar la síntesi i els efectes d’àudio mentre toqueu un instrument tradicional (saxo, flauta travessera, violí) ! Ja hi ha una pàgina web sobre el nostre projecte grupal a la UC Santa Bàrbara en què vam desenvolupar el MMMS, així que en lloc de repetir-ho aquí, publicaré l’enllaç - fes un cop d’ull! Lloc web Multimodal Music Stand aquí, però hi ha millors vídeos al lloc anterior … Multimodal fa referència a la capacitat de detectar l'entrada en més d'una modalitat (entrada d'àudio, entrada de vídeo i entrada basada en el sensor). L’entrada d’àudio i vídeo és bastant senzilla, ja que implica un micròfon normal i una càmera web connectada a l’ordinador, però l’entrada del sensor és una mica més complexa, per tant, és instructiu … Utilitzem la interfície USB CREATE, un circuit senzill que vaig desenvolupar per a una classe Faig classes a UCSB, juntament amb el kit ThereminVision II per al camp E (també conegut com a detecció capacitiva) com es mostra aquí: CREA una interfície USB Kit ThereminVisionII Si no sabeu què és un Theremin, feu-vos un favor i cerqueu a Youtube, heu guanyat No us decebrà! El MMMS equival bàsicament a 2 Theremins, ja que té 4 antenes de detecció de camp E, a més de l’entrada d’àudio / vídeo, per descomptat. no vulgueu fer servir pedals simples, creeu-vos un suport de música multimodal i comenceu a practicar-hi.

Pas 1: Quant a la interfície CREATE USB

CREATE USB Interface (CUI) és un circuit programable senzill basat en PIC que es pot construir completament de bricolatge o bé en podeu obtenir un de pre-construït directament per 50 dòlars (+ 5 per a l’enviament), i no necessitareu per comprar un programador PIC des que li he posat el carregador d’arrencada … consulteu el lloc web per obtenir-ne més detalls o envieu-me un correu electrònic per sol·licitar-ne un: Crea un lloc web d’interfície USB. projectes interessants a tot el món … alguns exemples d'estudiants de la UC Santa Barbara es troben en aquest document de conferència (PDF). El CUI es pot reprogramar mitjançant el cable USB mitjançant el carregador d’arrencada, motiu pel qual és tan fàcil d’adaptar: simplement canvieu el microprogramari i és una altra cosa. Per exemple, és fàcil convertir el CUI en una interfície de sensor sense fils mitjançant una de les els mòduls Bluetooth de spark fun: si algú està interessat en fer-ho, publiqueu una nota als comentaris sol·licitant una altra instrucció. El CUI té 13 canals d'entrades analògiques de 10 bits i 16 pins d'entrada / sortida d'ús general. El microprogramari predeterminat que s’inclou amb les plaques CUI v1.0 les envia totes com a entrades a l’ordinador amfitrió i funciona bé amb entorns interactius de creació d’art com Max / MSP / Jitter, Pd / Gem, SuperCollider, Chuck, etc. una de les taules CUI v1.0 per construir el Multimodal Music Stand en aquest instructiu. Utilitzem Max / MSP / Jitter com a entorn, però, sens dubte, no dubteu a adaptar-lo a Pd o al vostre programari. Sóc un gran fan del codi obert (el CUI en si és de codi obert), i ajuda molt si tots ens posem sobre les espatlles i millorem les coses que estem fent.

Pas 2: Quant al kit ThereminVision II

El ThereminVision II està disponible com a kit (50 dòlars) i pre-construït (80 dòlars) al lloc del proveïdor, RobotLand, i també és de codi obert: el manual de ThereminVision II (PDF) inclou els diagrames de circuits. Per al MMMS, he comprat el kit i després he decidit anar amb el preconstruït aquesta vegada (aquest és el segon MMMS que he construït). forma de kit de la interfície USB CREATE, és perquè el carregador d’arrencada CUI s’ha de programar amb un programador PIC convencional abans que es pugui enviar un nou microprogramari per USB; en cas contrari, oferiria un kit, tot i que implicaria la soldadura de muntatge superficial … el ThereminVision II: si l’heu comprat amb el factor de forma del kit, seguiu les instruccions (genials!) del pdf: manual de ThereminVision II Hi ha molts bons diagrames del cablejat que haureu de fer: l’únic que no mostra són les connexions a la interfície USB CREATE, així que publicaré les fotos que vaig fer en els passos següents … oh, i vaig obtenir les antenes per a ThereminVision (no incloses) de All Electronics.

Pas 3: Preparació del suport musical

Feu que el vostre Multimodal Music Stand es distingeixi d’un bonic estand de música, com ara el “suport per a conductors” que es mostra aquí, o bé utilitzeu tot el que tingueu a mà.

Independentment del suport que utilitzeu, necessitarà muntatges aïllats per a les quatre antenes a les cantonades del suport. Comenceu perforant forats a les cantonades: el maquinari de muntatge que tenia col·locat funcionava amb una broca de 1/4 , probablement el vostre serà diferent. Proveu de mantenir la part frontal de la superfície el màxim possible per evitar interferències amb partitures.

Pas 4: Connexió dels mòduls del sensor ThereminVision

La connexió dels mòduls "sensor" ThereminVision (555 circuits temporitzadors) al mòdul "processador" ThereminVision també es discuteix amb més detall al manual de ThereminVision II, però aquí teniu algunes imatges del procés …

Pas 5: Connexió de ThereminVision a la interfície USB CREATE

Com hem vist a l'últim pas, hi ha 4 cables que connecten cadascun dels mòduls del sensor al mòdul del processador ThereminVision. També hi ha 6 cables que connecten el mòdul del processador ThereminVision a la interfície CREATE USB: són alimentació, terra, sortida del sensor, selecció del sensor A, selecció del sensor B i parada del sensor.

Com que ThereminVision II obtindrà la seva energia mitjançant la interfície USB CREATE (que al seu torn obté la seva alimentació mitjançant USB), vaig decidir connectar l’alimentació de cadascun dels mòduls del sensor ThereminVision directament a la interfície USB CREATE. Això fa que sigui una mica menys d'un niu d'ocells al cablejat, ja que ja hi ha molts cables a la placa del processador TherminVision. Connecteu "+" al ThereminVision a "5V" al CUI Connect "-" al ThereminVision a "GND" al CUI Connect "4" (la divisió per 4 sortides) al ThereminVision a "D7" al CUI Connect "SEL B" al ThereminVision a "D5" al CUI connect "SEL A" al ThereminVision a "D4" al CUI Connect "S" al ThereminVision al "D6" al CUI

Pas 6: muntar-ho tot al suport

Per tant, l'electrònica està acabada, ara només cal muntar-la al suport; hi ha molts mètodes per fer-ho, i potser voldreu posar l'electrònica en una caixa de protecció, etc.

Aquí teniu algunes fotos d'alguns dels mètodes de muntatge més senzills.

Pas 7: carregueu el microprogramari del ThereminVision al CUI

El ThereminVision envia senyals de temps per als seus sensors en lloc de les sortides analògiques (o qualsevol dels protocols digitals estàndard com I2C o SPI). Per tant, es necessitava un microprogramari personalitzat per mesurar el temps d’aquests senyals … La primera versió del microprogramari Multimodal Music Stand es troba al fitxer zip següent, s’inclouen tant el codi font com el fitxer hexadecimal compilat (juntament amb un pegat de prova per a Max / MSP / Jitter): microprogramari CUI-ThereminVision La captura de pantalla següent mostra el programa OS X Boot Down de Craig Schimmel, una utilitat d’arrencada de Macintosh per a la CUI. Si esteu a Windows, el més senzill és fer servir la pròpia eina de Microchip, PDFSUSB.exe, que es pot descarregar des del seu lloc web o que s’inclou en aquest codi d’exemple per a la interfície CREATE USB. premeu el botó del programa i premeu el botó de reinicialització (o simplement connecteu el cable USB mentre manteniu premut el botó del programa). El LED d'estat de la CUI parpellejarà contínuament indicant que està en mode d'arrencada. Ara podeu utilitzar Boot Down per enviar el fitxer CUIEfieldBootDown.hex a la interfície CREATE USB. Si voleu canviar el firmware de la interfície CREATE USB a l’original, ja és aquí i hi ha altres exemples de firmware per a la CUI aquí també.

Pas 8: proveu el suport de música multimodal a Max / MSP / Jitter

Obriu el pedaç d'exemple a Max / MSP / Jitter (es pot descarregar una demostració de 30 dies des de www.cycling74.com i també hi ha disponible una versió "runtime" que no permet desar els pedaços) o seguiu les convencions del pedaç Max i fes el teu propi pegat a PureData (Pd) … El jitter s'utilitza per mostrar la posició 3D de les entrades gestuals, on l'eix z (cap a i fora del suport) està mapat a la intensitat global de les 4 antenes - poc científic, però funciona! Les dades dels sensors individuals també s’envien com a OSC al 127.0.0.1 (localhost) per a ús d’altres aplicacions si és necessari. Un objecte útil a Max / MSP / Jitter per filtrar les puntes de les dades del sensor (causades per interferències elèctriques) és "més suau" de Tristan Jehan, que es pot descarregar aquí: objecte màxim més suau El lloc de Cristian també té un munt d'externals MSP per a Max que fem servir per a la part d'anàlisi d'àudio de l'entrada del suport de música multimodal: inclouen to ~, intensitat ~, brillantor ~, soroll ~ i objecte analitzador tot en un. Un cop tingueu dades a Max, haureu d'ajustar la sensibilitat dels sensors ThereminVision individualment amb un petit tornavís. Feu-ho estenent les antenes fins a completar-lo i, a continuació, gireu el trimpot blau en sentit antihorari fins que passi al mode de "detecció inversa" i, tot seguit, gireu-lo cap enrere en sentit horari fins que torneu al rang de detecció normal. Es poden fer petits ajustaments (ajustar la senstivitat, igual que afinar una guitarra) canviant la longitud de les antenes, de manera que no haureu de portar el petit tornavís per fer concerts.

Pas 9: Utilitzeu el suport multimodal per a la música. (i ampliant-lo)

No us oblideu, les noves tècniques de rendiment que permet el suport de música multimodal necessiten pràctica i desenvolupament de noves assignacions i idees per al que vulgueu controlar. A més, si voleu ampliar el vostre MMMS per incorporar altres tipus de sensors, serà possible utilitzar les 13 entrades analògiques del CUI a més dels sensors ThereminVision en futures versions del firmware MMMS, de manera que amb alguns senzills (control lliscant / comandaments / pedals) o altres tipus de sensors (IR / ultrasons / etc), es poden utilitzar juntament amb l'entrada d'àudio i vídeo a l'ordinador. Actualment el firmware utilitza un protocol "serial-over-USB", però finalment el pla és canviar al protocol "HID" (dispositiu d'entrada humana) que normalment utilitza la interfície USB CREATE. Si us plau, no dubteu a contribuir a l’esforç … Hi ha un projecte de codi obert similar per a la detecció de camp E (també conegut com a detecció capacitiva) que utilitza la mateixa topologia de circuits (basada en el disseny de ThereminVision) anomenada CapToolKit: utilitza el "germà petit" "del PIC18F4550, el PIC18F2550 que no té tantes entrades analògiques (10 en lloc de 13). El microprogramari del CapToolKit serà lleugerament diferent, ja que no utilitza la placa de processador ThereminVision. Utilitzem una càmera firewire simple (estil càmera web) muntada a la part superior del suport de música per al reconeixement òptic de gestos físics i la detecció de la mirada. Està interessat en la visió per computador o l’anàlisi d’àudio i els aspectes de síntesi de la investigació del nostre grup. Consulteu els articles al lloc web Multimodal Music Stand. I si us plau, publiqueu les vostres experiències si construïu un estand de música multimodal … Ara en tenim dos a UCSB, tal com es mostra a la foto següent. Estaria molt bé que hi hagués més composicions, actuacions i músics. El doctor JoAnn Kuchera-Morin va escriure la primera composició de MMMS, que va ser interpretada pel flautista Jill Felber a l'Eastman School of Music el març del 2007.