Tom Mitchell ใช้วิศวกรรม
และคอมพิวเตอร์เพื่อให้ผู้คนสามารถเล่นและเว็บสล็อตทดลองดนตรีสดโดยใช้ท่าทางได้ ด้วยเวอร์ชันล่าสุดของผลงานร่วม ‘The Gloves’ ที่กำลังจะเปิดตัวที่ TEDGlobal 2012 ในเมืองเอดินบะระ ประเทศอังกฤษ เขาได้พูดถึงปฏิสัมพันธ์ทางดนตรีที่ปรับเปลี่ยนได้
TEDGlobal 2012
ศูนย์ประชุมนานาชาติเอดินบะระ สหราชอาณาจักร 25–29 มิถุนายน 2555 .
‘ถุงมือ’ ทำงานอย่างไร?
ทีมงานได้รวมถุงมือข้อมูลเพื่อวัดการงอนิ้ว อุปกรณ์เฉื่อยเพื่อวัดการวางแนว และเซ็นเซอร์ออปติคัลเพื่อวัดตำแหน่ง ท่าทางสัมผัสเปิดใช้งานช่วงของงาน คุณสามารถ ‘จับ’ เสียงของคุณด้วยการร้องเพลงในมือของคุณ โดยที่ไมโครโฟนจะบันทึกและวนลูปวลี การเปิดมือทำให้สามารถเล่นซินธิไซเซอร์ได้ ท่าทางสัมผัสกระทบกลอง การเข้าถึงท้องฟ้าเพิ่มก้อง; ป้ายโลหะหนักเพิ่มความเพี้ยน
คุณเริ่มทำงานกับ Imogen Heap ได้อย่างไร
ฉันพบอิโมเจนในงานแต่งงาน
และเริ่มช่วยเธอใช้เทคโนโลยีในการแสดง เธอจะควบคุมเสียงโดยใช้คีย์บอร์ด ดรัมแพด และตัวควบคุม จากนั้นเธอก็พบกับ Elena Jessop ที่สถาบันเทคโนโลยีแมสซาชูเซตส์ในเคมบริดจ์ ผู้คิดค้นถุงมือเพื่อหยุดเสียงต่ำของเสียงร้องเพลง Imogen ต้องการให้ผู้ชมเชื่อมโยงการกระทำของเธอกับการผลิตดนตรี และขอระบบดนตรีสดที่อาศัยท่าทาง ผลลัพธ์ที่ได้คือทำให้เธอแสดงได้อย่างคล่องตัว นอกจากนี้ยังเร็วและใช้งานง่ายกว่าการใช้แป้นพิมพ์หรือคอมพิวเตอร์ในการเขียน
Imogen Heap ผลิตดนตรีด้วยท่าทาง ด้วยเทคโนโลยีถุงมือของ Tom Mitchell เครดิต: JAMES DUNCAN DAVIDSON/TED
แนวทาง ‘วิวัฒนาการ’ ในการสังเคราะห์เสียงของคุณคืออะไร?
ฉันต้องการสร้างอัลกอริทึมเพื่อสร้างเสียงเป้าหมาย เช่น เชลโล เสียง หรือเอฟเฟกต์เสียง ฉันใช้วิธีการปรับให้เหมาะสมตามแบบจำลองการคัดเลือกโดยธรรมชาติของดาร์วิน โปรแกรมของฉันสังเคราะห์เสียง เลือกเสียงที่ตรงกับเป้าหมายมากที่สุด จากนั้นรวมเข้าด้วยกันอีกครั้งและกลายพันธุ์ ‘ยีน’ ของพวกมันเพื่อสร้างคนรุ่นต่อไป มุ่งสู่โซลูชันที่เหมาะสมที่สุด
นั่นเข้ามาทำงานเกี่ยวกับท่าทางของคุณหรือไม่?
ฉันมีแผนสำหรับการทดลองที่จะให้ผู้ใช้อธิบายเสียงต่ำโดยใช้ท่าทางสัมผัส ซึ่งสามารถจับคู่ได้โดยใช้การสังเคราะห์เชิงวิวัฒนาการ ทำให้เกิด ‘การแกะสลักเสียง’
คุณเริ่มสนใจอุปกรณ์อิเล็กทรอนิกส์และดนตรีได้อย่างไร
ฉันปฏิเสธการฝึกดนตรีคลาสสิกแต่กลับสนใจเครื่องจักร ในช่วงปี 1980 ฉันเขียนเพลงคลอให้น้องสาวของฉัน นักเปียโน โดยใช้คอมพิวเตอร์สเปกตรัม ฉันยืมอุปกรณ์จากศิลปินเพลงอิเล็กทรอนิกส์ Tom Jenkinson (ภายหลังบันทึกเป็น Squarepusher) ซึ่งใช้ประโยชน์จากความแปลกประหลาดของอุปกรณ์ของเขาโดยใช้เครื่องเทปคาสเซ็ตต์ที่ถูกแฮ็กเพื่อจำลองเครื่องบันทึกแบบหลายแทร็กหรือคอนโซลผสมเพื่อสร้างลูปป้อนกลับ ฉันสร้างโปรแกรม Musical Instrument Digital Interface (MIDI) เพื่อควบคุมซินธิไซเซอร์ ขณะเรียนวิศวกรรมอิเล็กทรอนิกส์ที่มหาวิทยาลัย ฉันได้ศึกษาการสุ่มตัวอย่างและการสังเคราะห์เสียง และสำเร็จการศึกษาระดับปริญญาเอกด้านดนตรีและวิทยาการคอมพิวเตอร์
คุณอยากเห็นผู้ควบคุมอะไรอีกบ้าง
เรามาไกลมากตั้งแต่แดมิน ตัวควบคุมดนตรีด้วยท่าทางอิเล็กทรอนิกส์เครื่องแรก ตัวอย่างในช่วงไม่กี่ปีที่ผ่านมา ได้แก่ Eigen Harp และ Karlax ซึ่งอินเทอร์เฟซที่ขับเคลื่อนด้วยเซ็นเซอร์คล้ายกับเครื่องมือแบบดั้งเดิม ฉันต้องการเห็นการเคลื่อนตัวออกจากเสื้อผ้าและเซ็นเซอร์ที่จำกัดการเคลื่อนไหว อุปกรณ์ที่ใช้กล้องได้ผลักดันสิ่งต่างๆ ไปข้างหน้า ฉันไม่สามารถรอที่จะรับมือกับ Leap by Leap Motion: อุปกรณ์ที่ให้คุณควบคุมคอมพิวเตอร์ได้ด้วยมือและนิ้วที่ดี คงจะดีสำหรับคนที่สามารถตั้งโปรแกรมระบบของตนเองโดยใช้ท่าทางใดก็ได้ และฉันหวังว่าอินเทอร์เฟซจะปรับเปลี่ยนได้และใช้งานได้หลากหลายเหมือนหน้าจอสัมผัส
เทคโนโลยีนี้สามารถนำไปใช้อย่างอื่นได้หรือไม่?
Tom Mitchell เครดิต: ภาพประกอบ: NICK HIGGINS/รูปภาพดั้งเดิม: TIM WARD
ใช่. ระบบอินเทอร์เฟซด้วยท่าทางสัมผัสที่เรากำลังดำเนินการอยู่อาจมีแอปพลิเคชันในแอนิเมชั่น เกม และหุ่นยนต์ ที่ Bristol Robotics Laboratory ซึ่งตั้งอยู่ที่มหาวิทยาลัย Western England ซึ่งฉันทำงานด้วย มีการจัดเรียงที่คล้ายกันนี้เพื่อออกแบบระบบที่ช่วยให้หุ่นยนต์เข้าใจท่าทางของมนุษย์ ซึ่งหมายถึง ‘ส่งประแจนั้นมาให้ฉัน’ และอื่นๆ
อะไรต่อไปสำหรับคุณ?
ฉันได้ช่วยขยายขีดความสามารถของ ‘The Gloves’ เพื่อให้ Imogen เขียนและเล่นเพลงตั้งแต่เริ่มต้น ระบบได้เปิดตัวสำหรับการเปิดตัวเพลงMeTheMachine ในปีนี้ ซึ่งเป็นส่วนหนึ่งของซีรีส์Heapsongsเว็บสล็อต
