MiMU-käsineiden kaltaisia anturipohjaisia teknologioita käytetään reaaliaikaiseen digitaalisen median käsittelyyn. Ne voivat parhaimmillaan demokratisoida tekijyyttä niin, että perinteisesti ahtaiden taiteellisten tekijäroolien rajat hälvenevät. Liikkeestä ja eleistä tulee esityksen alkulähde, josta äänet, kuvat ja valot pulppuavat.
Oulun ammattikorkeakoulun (Oamk) Kulttuurialan yksikkö investoi vuonna 2021 ruotsalaisten ja norjalaisten kumppanikorkeakoulujensa kanssa digitaalisen esiintymisen (digital performance) esityslaitteistoon, jonka keskeisenä komponenttina on englantilaisen MiMU Gloves -yhtiön puettava musiikkiteknologia [1]. Teknologiaa on viime vuosien aikana testattu useissa erilaisissa taiteellisissa yhteyksissä, ja Oamk aloittaa vuoden 2024 syksyllä uuden digitaalisen esiintymisen YAMK-tutkinto-ohjelman.
MiMU-käsineet (kuva 1) mahdollistavat digitaalisen median käsittelyn interaktiivisesti taiteellisissa esityksissä. Kun esitystilanteessa musiikkia, ääntä ja videota käytetään yhdessä live-esiintyjien kanssa niin sanotusti nauhalta toistaen, häviää jotain oleellista live-esityksen ainutkertaisuudesta ja herkkyydestä – vaarankin tunnusta. Antureiden avulla staattiset av-materiaalit kommunikoivat esiintyjien kanssa elävällä tavalla. [2]
Eleiden (gesture) huolellinen ja tiedostava valinta käsinepohjaisia digitaalisia musiikki-instrumentteja käytettäessä on keskeistä teoksen sisältämien merkitysten luomisessa ja vahvistamisessa [3]. Jos eleet ovat liian yksinkertaisia (ääni esimerkiksi nousee esiintyjän käden noustessa), ne eivät lisää teokseen mitään uutta vaan ainoastaan alleviivaavat liikettä. Jos taas esiintyjä vie etusormensa pystyyn huuliensa eteen, yleisö herkistyy kuuntelemaan meneillään olevaa tilannetta entistä tarkemmin. MiMU-käsineiden tapauksessa onkin parasta pyrkiä rakentamaan eräänlaista esityksen elesanastoa (gestural vocabulary), jota yleisö voi oppia esityksen aikana ja siten ymmärtää näkemäänsä ja kuulemaansa paremmin [4].
Käsinepohjaisten instrumenttien lisäksi on kehitelty myös muuta puettavaa digitaalista musiikkiteknologiaa, kuten pukuja, käsivarsinauhoja ja kenkiä [5] [6] [7]. Lisäksi erilaiset liikkeenkaappausteknologiat (motion capture) voivat perustua optisen tunnistuksen lisäksi myös antureiden hyödyntämiseen [8]. Virtuaalitodellisuussovellustenkin myötä yleistynyt reaaliaikainen liikkeenkaappaus on nykyaikainen tekniikka, jolla on mielenkiintoisia käyttökohteita esittävän taiteen puolella [9]. Voidaan esimerkiksi tanssia animoitujen hahmojen kanssa ja esiintyä teoksessa etänä reaaliajassa toiselta puolelta maailmaa.
Kaupallisten tuotteiden lisäksi puettavan musiikkiteknologian järjestelmiä voidaan rakentaa myös avoimien järjestelmien, kuten Pure Data- ja SuperCollider-ohjelmointiympäristöjen sekä Arduino-elektroniikka-alustan, avulla [10] [11] [12]. Käytettävä teknologia on aina syytä valita ja suunnitella teoksen käsitteellisiin lähtökohtiin ja merkityksiin pohjautuen teknologiakeskeisyyden sijasta.
MiMU-käsineitä on käytetty Oamkissa erilaisissa tanssinopettaja- ja musiikkipedagogikoulutuksiin liittyvissä taiteellisissa projekteissa, joista kolmea tapausta käsitellään tarkemmin toukokuussa 2023 valmistuneessa YAMK-opinnäytetyössä. Opinnäytetyö sisältää myös kattavan esityksen puettavan musiikkiteknologian historiasta sekä kuvauksen ja suosituksia Oamkissa käytössä olevan MiMU-käsinejärjestelmän (kuva 2) hyödyntämistä varten.
Jussi Tuohino
lehtori
Oulun ammattikorkeakoulu, Kulttuurialan yksikkö, musiikkipedagogin tutkinto-ohjelma
Blogiteksti perustuu opinnäytetyöhön: Tuohino, J. 2023. MiMU-käsineiden mahdollisuudet esittävässä taiteessa. Puettavan musiikkiteknologian hyödyntäminen ääni- ja visuaalisessa suunnittelussa. Oulun ammattikorkeakoulu. Kulttuurituottaminen ja luova talous -tutkinto-ohjelma (YAMK). Opinnäytetyö. https://urn.fi/URN:NBN:fi:amk-2023052815009
Lähteet
[1] MiMU Gloves. Hakupäivä 25.5.2023. https://mimugloves.com
[2] Coniglio, M. 2004. The importance of being interactive. Teoksessa G. Carver & C. Beardon (toim.) New Visions in Performance: The Impact of Digital Technologies. Hakupäivä 17.5.2023. https://doi.org/10.4324/9780203971086
[3] Schacher, J. 2022. Capture and express, question and understand: Gloves in gestural electronic music performance. Wearable Technologies 3, e5. Hakupäivä 13.5.2023. https://doi.org/10.1017/wtc.2022.3
[4] Torre, G. 2013. The design of a new musical glove: a live performance approach. University of Limerick. Väitöskirja. Hakupäivä 13.5.2023. https://researchrepository.ul.ie/articles/thesis/The_design_of_a_new_musical_glove_a_live_performance_approach/19811101
[5] Vickery, L. R. 2002. The Yamaha MIBURI MIDI jump suit as a controller for STEIM’s Interactive Video software Image / ine. Hakupäivä 19.5.2023. https://www.lindsayvickery.com/uploads/1/7/0/8/17081762/2002vicmiburi.pdf
[6] Côté-Allard, U., St-Onge, D. Giguère, P., Laviolette, F. & Gosselin, B. 2017. Towards the use of consumer-grade electromyographic armbands for interactive, artistic robotics performances. 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), Lisbon, Portugal, 2017, 1030‒1036. Hakupäivä 19.5.2023. https://doi.org/10.1109/ROMAN.2017.8172430
[7] Paradiso, J. A. & Hu, E. 1997. Expressive Footwear for Computer-Augmented Dance Performance. MIT Media Laboratory. The First International Symposium on Wearable Computers, Cambridge MA., October 1997. Hakupäivä 25.5.2023. https://resenv.media.mit.edu/pubs/papers/97_10_Wearcon_Shoe.pdf
[8] Hellman, T. & Frimodig, A. 2021. Päälle puettavan kokovartalon liikkeenkaappauslaitteiston ja ergonomia-analyysiohjelmiston valinta tutkimuskäyttöön. Teoksessa S. Päällysaho, P. Junell, M. Salminen-Tuomaala, S. Uusimäki & S. Saarikoski (toim.) Seinäjoen ammattikorkeakoulu osaamisen, kilpailukyvyn ja hyvinvoinnin kasvattajana. Seinäjoen ammattikorkeakoulun julkaisusarja A. Tutkimuksia 36. Seinäjoen ammattikorkeakoulu, 105–121. Hakupäivä 19.3.2023. https://urn.fi/URN:NBN:fi-fe2021121460385
[9] Strutt, D. 2022. A Simple Tool for Remote Real-Time Dance Interaction in Virtual Spaces, Or “Dancing in the Metaverse”. Critical Stages. The IATC journal 25. Hakupäivä 19.5.2023. https://www.critical-stages.org/25/a-simple-tool-for-remote-real-time-dance-interaction-in-virtual-spaces-or-dancing-in-the-metaverse/
[10] Pure Data. Hakupäivä 25.5.2023. https://puredata.info
[11] SuperCollider. Hakupäivä 25.5.2023. https://supercollider.github.io
[12] Cates, J., Takahashi, N. & Barton, R. 2017. Arduino Flex Sensor Glove. Autodesk Instructables. Hakupäivä 19.5.2023. https://www.instructables.com/Arduino-Flex-Sensor-Glove/
