«В области взаимодействия человека и компьютера (HCI) мы все больше и больше уходим от проектирования взаимодействий для отдельных пользователей к разработке взаимодействий для сетевых групп отдельных пользователей; мы переходим от парадигмы« один пользователь — один технология »к концепции« «Парадигма множественных пользователей — множественных технологий», — объясняет Матиас Функ, один из соавторов в Международном журнале искусств и технологий. Примеры этого перехода включают знакомые социальные сети и сайты социальных сетей, такие как Twitter и Facebook, которыми многие люди пользуются ежедневно, а также подобные Википедии и другие совместные проекты, такие как проекты гражданской науки.В отделе промышленного дизайна Функ и его коллега Барт Хенгевельд исследуют новые музыкальные инструменты, которые воплощают эту идею в жизнь. Большое внимание уделяется сольному исполнению или усилиям в некоторых видах искусства, таких как живопись и скульптура, и аудитория обычно отстраняется от искусства, рассматривая его и взаимодействуя с «продуктом» через некоторое время после завершения творческого процесса.
Живая музыка бывает разной, обычно в постановке спектакля участвует более одного человека, и публика присутствует все время. Таким образом, существует общий эмоциональный отклик, который в случае импровизационного исполнения может направить музыку в новом направлении. Чаще всего изменениями в направлении движут музыканты и то, как они взаимодействуют друг с другом, но реакция аудитории может подтолкнуть и их.
Команда разработала трехуровневую модель, которая освещает отношения между участниками группы и аудиторией как систему, в которой эмоции, выразительность и генерация звука придают форму импровизации. Команда использовала эту модель, чтобы сосредоточиться на том, как индивидуальное эмоциональное возбуждение можно использовать в качестве входных данных для управления их цифровым музыкальным инструментом EMjam как группой.
Система, по словам команды, «построена на конструкции, согласно которой, уделяя внимание на концерте, можно увидеть выражения лиц исполнителей; гитарист играет соло и достигает пика в определенном месте; бас-гитарист следует за ним. на его лице играли реплики, барабанщик акцентировал внимание всем телом, и, кроме того, публика откликалась на выступление ».Инструменталисты получают браслет с датчиками проводимости кожи, которые в некотором смысле могут измерять эмоциональное состояние музыканта. У перкуссиониста есть браслет, управляющий ритмом, генерируемым EMjam, у бас-гитариста есть контроллер гармонии, а у гитариста или клавишника — контроллер мелодии. Затем EMjam использует музыкальное программное обеспечение Ableton Live, чтобы добавить параллельный второй слой звука в результате каждого отдельного ввода.
Команда добавляет, что тот же подход можно использовать, чтобы добавить выразительности световому шоу или другим визуальным эффектам, сопровождающим музыку.