Emotion PAD

音楽表現を目に見える形へ

Emotion PADは、楽譜に基づく再生音に、光、色、動き、空間による視覚言語を加えて補います。

BAO-YのサイトとYouTubeで使用する音は、Sibeliusで記譜した楽譜をピアノ音源で再生したものです。Sibeliusは楽譜作成ソフトであり、作曲するプログラムではありません。書かれた楽譜を自動的に読むため、人間の演奏家がタッチ、呼吸、身体の動きによって生み出す繊細な表現を完全には再現できません。

Emotion PADは、その表現を視覚体験によって補う試みです。歴史的なオペラハウスから着想した仮想ホールで、照明、色、動き、空間の変化が音楽の感情的な方向を映像へ置き換えます。

演奏家は、ピアノ、指揮、そのほかの楽器を問わず、身体を通して表現を伝えます。Emotion PADはその身体言語を手がかりに、AI技術を用いて視覚化を支援します。視覚の方向性をAIに任せるのではありません。作曲者であるBAO-Yが各箇所の色、照明、動き、劇的意図を指定し、結果を確認して修正します。

音そのものは自動の楽譜再生のままです。しかし、視覚化された演奏とともに聴くことで、音楽を別の方法で感じ取るきっかけになるかもしれません。

BAO-Yは自動再生を人間の演奏の代わりとは考えていません。人間による解釈は今後も不可欠です。より多くの音楽家にそれぞれの方法で演奏してもらうことを願い、楽譜をこのサイトで無料提供します。

画面の見方

まず左側の二つのパネルを見ます

聴きながら、最初に「表情」と「速度」のパネルをご覧ください。その瞬間にBAO-Yが視覚化している音楽の性格を説明します。

左側の表情・速度パネルを示したEmotion PAD画面
1
2
1ここを見る
表情
2ここを見る
速度
1

表情記号

どのような感情か

maestosoなど、現在の箇所の性格を表す言葉です。下の表情辞典で同じ言葉を探すと、意味が「荘厳に」であることが分かります。

25
辞典との対応Maestoso荘厳に
2

速度記号

どのくらいの速さか

速度を表す言葉とメトロノーム数値を別々に表示します。この例のVivaceは生き生きと速く、♩ = 150/分は測定された速度を示します。

速度は表情辞典の項目ではなく、楽譜から直接読み取ります。

表情辞典

パネル1に表示された言葉を探します

楽譜の表情用語を分かりやすい日本語に置き換えます。BAO-Yはその性格を、ホール照明、色の配分、動き、空間上の強調によって解釈します。強調されたMaestosoのカードが、上の画面例とのつながりを示します。

01Affannato / Doloroso不安に、悲しみをもって
02Agitato落ち着かず激しく
03Alla marcia行進曲風に
04Animato生き生きと
05Appassionato情熱をもって
06Angoscioso苦悩をもって
07Brillante華やかに
08Cantabile歌うように
09Energico力強く
10Calmo穏やかに、静かに
11Sentimentale感傷的に
12Delicato繊細に
13Dolce甘く、柔らかく
14Drammatico劇的に
15Elegante優雅に
16Con forza力を込めて
17Espressivo表情豊かに
18Festoso喜ばしく、祝祭的に
19Grandioso壮大に
20Grazioso優美に
21Legato滑らかに、切れ目なく
22Largamente幅広く、豊かに
23Lamentoso嘆くように
24Leggiero軽やかに
25Maestoso荘厳に画面の例
26Nobile気高く
27Pesante重々しく
28Con sentimento感情を込めて
29Smorzando次第に消えるように
30Spiritoso活気をもって
31Trionfale勝ち誇るように
32Tempestoso嵐のように