Synesthetic Sound Interface

Theremin + Ultrasonic Haptic + Mixed Reality : Embodied Multi-Sensory Performance

음악을 소리뿐 아니라, 시각과 촉각으로 경험할 수 있는 새로운 인터페이스, Designing Inclusive Music Interfaces : A Multi-Sensory Augmentation of the Theremin 본 프로젝트는 전자악기 Theremin, 비접촉 햅틱(ultrasonic haptics), 혼합현실(MR)을 결합하여, 
포용적 음악 인터랙션을 위한 다감각 증강(multi-sensory augmentation) 시스템을 설계·검증한다.
제안된 시스템은 사용자의 허공 제스처를 사운드(Theremin synthesis), 촉각(Ultrasonic Haptics), 
시각(Mixed Reality visualization)으로 동시 변환하는 멀티모달 매핑 엔진을 구현하며, 이를 통해 전통적으로 청각적 경험에 국한된 음악을, 농인 및 비청각 사용자까지 접근 가능한 다감각 경험으로 확장한다.