イブニングセッション
Max Summer School in Geidai 2020本プログラムはどなたでもご覧いただけます。
Anyone can watch this program.
視聴は こちら / here
Neural sound synthesis: challenges and applications
/ ニューラル・サウンド・シンセシス：課題とアプリケーション
Adrien Bitton / アドリアン・ビトン
Abstract / 概要
In the first part of the presentation we will discuss the challenges of audio modeling and some reference examples of generative neural networks applied to sound synthesis. We will identify how these methods are adapted to the specific properties of sound and which applications they may serve, for instance regarding control and interaction.
In the second part we will discuss some of the experiments I carry during my PhD in deep learning and sound synthesis, some of which have used Max/MSP as a control interface. The first model is inspired from granular sound synthesis (partly presented at the seminar on AI and Music with Tokyo U. of the Arts, earlier this year) and was applied to drum sounds sequenced with Max/MSP. The second experiment has target timbre transfer (e.g. converting one instrument solo into an other instrument) and descriptor-based synthesis (e.g. using a spectral descriptor such as centroid or bandwidth to control synthesis). A third team work proposes an interface for manipulating the unsupervised latent variables of neural sound synthesis models. Although they are not self-explanatory, they can be used akin to synthesizer parameters and explored. Lastly I will discuss ideas I have about current and possible future experiments.
このプレゼンテーションの最初の部分では、オーディオモデリングの課題と、音声合成に適用される生成ニューラルネットワークのいくつかの参照例について説明する。これらのメソッドがサウンドの特定のプロパティにどのように適応されるか、および制御やインタラクションなど、それらがどのような応用に役立つかを明確化する。
第2部では、博士過程で行ったいくつかの実験について説明する。ディープラーニングやサウンド合成のために、Max/MSPをコントロールインターフェースとして使用した。最初のモデルは、グラニュラー・サウンド・シンセシスに触発され（今年初めに東京芸術大学でAIと音楽に関するセミナーで部分的に発表された）、Max/MSPでシーケンスされたドラムサウンドに適用された。 2番目の実験には、ターゲットの音色への変遷（1つの楽器から他の楽器に変化する）とデスクリプターベースの合成（たとえば、重心や帯域幅などのスペクトル記述子を使用して合成を制御する）があげられる。 3番目の研究はチームワークで行われ、ニューラル・サウンド・シンセシス・モデルの教師なし潜在変数を操作するためのインターフェースを提案する。これらは一目瞭然ではないが、シンセサイザーのパラメーターと同じように使用して探索することができる。最後に、現在および可能な将来の実験について私が持っているアイデアについて説明する。
Bio / 略歴
Adrien Bitton / アドリアン・ビトン
Adrien Bitton is a PhD student at IRCAM and Sorbonne Université in Paris (2017-2020). He belongs to the Music Representations Team, under the supervision of Pr. Esling and Pr. Agon. His research work focuses on the use of deep learning models for musical sound synthesis and meaningful interactions. He has authored and co-authored several research papers, for instance at DAFx, ICMC and ISMIR conferences. His experiments have covered topic such as drum synthesis, timbre transfer, sound morphing, visualization and control. He was awarded a short-term fellowship from the JSPS and carried 7 months of his PhD at the University of Tokyo in the Machine Intelligence Laboratory.
アドリアン・ビトンはIRCAMとパリのソルボンヌ大学より博士号を取得した。現在はエスリング氏とアゴン氏の監督下で、IRCAMのミュージック・リプレゼンテーション・チームに属している。彼の研究は、深層学習モデルに基づいた音の合成とその意味合いを含むインタラクションに焦点を当てている。DAFx、ICMC、ISMIRなどで研究論文を発表している。彼の実験は、ドラムの合成、音色の転送、サウンドのモーフィング、視覚化、制御などのトピックをカバーしている。日本学術振興会から東京大学機械知能研究所にての短期フェローシップを授与された。
Max software as a lab for the composition of sonic spaces
/ 音響空間の作曲のための研究としてのMax
Alain Bonardi / アラン・ボナルディ
Abstract / 概要
In our lab (CICM team which stands for Research Centre in Computer Science and Music Creation) in Paris 8 University, we use Max software as a framework for research and creation. We consider mixed music which combines acoustic instruments and their realtime electronic processing as a relevant field to achieve creation as a research activity. We will show two examples of such an hybridization in the field of the composition of sonic spaces: the first one will deal with the realtime composition of timbres from the acoustic guitar in our pieces Fil de Soi 1 & 2. The second one will put the emphasis on spatial sound synthesis in realtime.
パリ8大学の研究室（コンピューターサイエンスおよび音楽制作の研究センターのCICMチーム）では、研究と制作のフレームワークとしてMaxソフトウェアを使用しています。アコースティック楽器とそのリアルタイムでの処理を組み合わせたミックスド・ミュージックを主な研究活動とし、その創作を関連分野と位置づけています。音響空間の作曲の分野に関して、ハイブリッド化の2つの例を話します。最初の例は、「Fil de Soi 1＆2」のアコースティックギターからの音色のリアルタイムの作曲を扱います。2番目の例は、リアルタイムでの空間音響合成を重視しています。
Bio / 略歴
Alain Bonardi / アラン・ボナルディ
Alain Bonardi is a Senior Lecturer in Computer Science and Music Creation at the Music Department of Paris 8 University, France. He has been working as a researcher and composer in the field of mixed and electronic music for 25 years. His current researches deal with the questions of relationships between sound synthesis and spatialization.
Website : www.alainbonardi.net
Example of installation ‘Les Songes de la nef’ : http://www.alainbonardi.net/songes/
アラン・ボナルディは、フランスのパリ8大学の音楽学部でコンピューターサイエンスと音楽制作の教授。ミックスドエレクトロニックミュージックの分野で研究者および作曲家として従事している。彼の現在の研究は、音声合成と空間化の間の関係の問題を扱っている。
ウェブサイト : www.alainbonardi.net
「Les Songes de la nef」のインストール例 : http://www.alainbonardi.net/songes/
AI ベートーベン
/ AI Beethoven
Suguru Goto / 後藤英
Direction, Concept / ディレクション、コンセプト
Toru Yokoyama / 横山徹
Images / 映像
Shinae Kang / 姜信愛
Music Machine Learning / ミュージック・マシーン・ラーニング
Tei U / 鄭瑀
Music Machine Learning / ミュージック・マシーン・ラーニング
Can Li / Can Li
Face Recognition Machine Learning / フェイスレコグニション・マシンラーニング
Abstract / 概要
We will explain the work “AI Beethoven”, about the production method and technology, etc. This work was commissioned from an event for Beethoven's 250th birthday. As a concept, an attempt was made to bring Beethoven back to life. In other words, AI is used to reproduce Beethoven.
"For Elise" by Beethoven's is one of well-known piano piece that everyone has previously listened to. In 1810, when Beethoven was at age of 40, he fell in love with a woman named Elise and composed "for Elise" for her.
What if Beethoven, who died in 1827, revived in 2020, about 200 years later and how "for Elise" would be composed again, if Beethoven fell in love with a modern Japanese woman? Therefore, in this work, we call a woman from a public to participate in this performance. The face recognition AI analyzes the attractiveness and age of the person etc., and based on this data, Beethoven falls in love this woman, and composes with the music AI. This AI mainly learns “For Elise” and other Beethoven piano pieces that play, and then automatically compose Beethoven-like piano pieces.
「AI ベートーベン」についての作品解説、制作方法、技術などを説明する。この作品はベートーベンの生誕250周年のためのイベントより委嘱された。構想としてはベートーベンを現代に蘇させるという試みがされた。つまりAIを用いてベートーベンを再現させようとするものである。
ベートーベンの「エリーゼのために」は誰もが聞いたことのあるピアノ曲であろう。1810年、ベートーベンが40歳の時に、エリーゼという女性に恋をして、「エリーゼのために」を作曲したと言われている。
1827年に死去したベートーベンが約200 年後の2020年に蘇って、現代の日本人女性に恋をしたらどのような「エリーゼのために」を作曲するだろうか？そこで、この作品では、特に一般の女性に参加してもらうことにより成り立つ。顔認識のAIにより、その人物の魅力度や年齢などが分析され、そのデータをもとにベートーベンが恋をして、さらに音楽のAIにより作曲をする。そのAIとは、中心的な役割を果たす「エリーゼのために」とその他のベートーベンのピアノ曲を学習して、ベートーベン風のピアノ曲を自動作曲する。
Bio / 略歴
後藤 英 / Suguru Goto
作曲家、ニューメディア・アーティスト。国際的に評価されており世界活地で活躍。刺激的な作品で新たなテクノロジーと関連させて発表している。フランス、パリにあるポンピドゥー・センターのIRCAMの招待作曲家、研究員、ボルドー芸術大学の准教授を経て、現在は東京芸術大学の准教授。
主な賞歴は、ボストン・シンフォニー・オーケストラ・フェローシップ、タングルウッド音楽祭より、クーセヴィツキー賞、ワシントン州のマルゼナ国際作曲コンペティションにて第１位、ドイツにてベルリナー・コンポジション・アウフトラーゲ1994、パリのユネスコで行われた、IMC国際作曲家会議にて入選、フランス政府よりDICREAM、ドイツ、ベルリンのミュージック・シアター・ナウ・アワード2008にて受賞、フランス、バン・ニューメリック4、アンガン・デ・バン・デジタル・アート国際フェスティバルにて、「OFQJダンス・ニューテクノロジー賞」を受賞、2010年ブラジルのFileフェスティバルにてFILE PRIX LUXのElectronic Sonority Honor Award 賞、2011年イタリアにてAction Sharing 2の大賞を受賞、2013年KAO国際キネティック・アート・コンペティションにて第2位、同年オーストリアのアルスエレクトニカにてデジタル・ミュージック&サウンド・アートの栄誉賞を受賞などが挙げられる。作品は世界各国の音楽祭、レゾナンス/IRCAM、タングルウッド音楽祭、ICC、SONAR、 Haus der Kultures der Welt, ISEA、NIME, ヴェネツィアビエンナーレなどにて演奏されている。
http://gotolab.geidai.ac.jp/
“A journey to the boundaries of sound with human sensitivity. This is the near future, between science fiction and reality, towards which Suguru Goto, a leading exponent of the new generation of Japanese experimental artist that has made an important contribution to the world.”
From the catalog of Venice Biennale 2009
“The speed of the technological evolution is another challenge. When the artist will have explored an interactive phenomenon, developed an idea of performance, and surmounted all technological obstacles, the invention may already be superseded by a new process. It is surprising to see Japanese Suguro Goto offer a room with this direct link.”
From the magazine « Dancer » (2009.9) in France
Suguru Goto is a media artist, an inventor and a performer and he is considered one of the most innovative and the mouthpiece of a new generation of Japanese artists. He is highly connected to technical experimentation in the artistic field and to the extension of the existing potentialities in the relation man-machine. In his works the new technologies mix up in interactive installations and experimental performances; he is the one who invented the so called virtual music instruments, able to create an interface for the communication between human movements and the computer, where sound and video image are controlled by virtual music instruments in real-time through computers.
He has been internationally active and has received numerous prizes and fellowships, such as Koussevitzky Prize, BSO fellowships, the first prize at the Marzena, Berliner Kompositionaufträge, a prize by the IMC International Rostrum of Composers in UNESCO, Paris, DIRECAM, French Cultural Minister, Music Theater Award 2008 in Berlin, "OFQJ-dance and new technology prize" at Bains Numérique #4, International Festival of digital art of Enghein-Les-Bains, in France, in 2009, Electronic Sonority Honor Award Prize, FILE PRIX LUX, in Brazil, in 2010, the winner of the Action Sharing 2, in Italy, in 2011, the 2nd prize in the 2013 KAO International Kinetic Art Competition, Prix Ars Electronica 2013 Digital Musics & Sound Art | Honorary Mention and so on. His works have been performed in major festivals, such as Resonaces/IRCAM, Sonar, ICC, Haus der Kultures der Welt, ISEA, NIME, AV Festival, STRP Festival 2009, Venice Biennale, etc.
In 2016, his book “Emprise” is published from StyleNote publishing, in Tokyo. At the same year, his CD “CsO” is published from Athor Harmonics, in Tokyo.
横山徹 / Toru Yokoyama
1983年 福岡県生まれ。情報科学芸術大学院大学（IAMAS）卒業。
銀塩時代からの写真史の流れを参照しつつデジタル・テクノロジーのみで可能な写真表現の新しいあり方を研究している。
また、並行してプログラミングを駆使したマルチメディア表現・リアルタイム3D表現をベースにインスタレーションを制作している。
近年参加した展覧会に「RGB」（2015年／the newly / Mister Hollywood OSAKA）、「Media Ambition Tokyo」（2016年／東京）、「ウィリアムクライン たしかな心と眼」（2017年／東京）「Jerusalem Design Week」（2019年／イスラエル）など。
2018年から建築、写真、グラフィック、プログラム等のバックグラウンドを持つメンバーから成るデザイングループv0idのメンバーとしても活動している。
FIGLAB/amana inc.所属 東京藝術大学音楽学部非常勤講師
TokyoTDC2020 入賞
Spikes Asia 2019 | Film Craft - SILVER, BRONZE
CICLOPE Festival 2019 | Music Video - FINALIST
AD STARS 2019 | Film Craft - CRYSTAL, Music Video - CRYSTAL
ONE SCREEN Short Film Festival 2018 | Music Video - FINALIST
New York Festivals TV & Film Awards 2020 | Craft: Program - GOLD Streaming – GOLD
Born in 1983 in Fukuoka, Japan. Graduated from Institute of Advanced Media Arts and Sciences (IAMAS).
While referring to the history of photography since the silver halide era, and researching new ways of photographic expression that are possible only with digital technology.
At the same time, he creates installations based on multimedia and real-time 3D expressions that make full use of programming.
Recent exhibitions he has participated in include "RGB" (2015, the newly / Mister Hollywood OSAKA), "Media Ambition Tokyo" (2016, Tokyo), "William Klein: A Certain Mind and Eye" (2017, Tokyo) and "Jerusalem Design Week" (2019, Israel),and more.
Since 2018, Toru Yokoyama has also been a member of "v0id", a design group consisting of members with backgrounds in architecture, photography, graphics and programming.
Belongs to FIGLAB/amana inc. Part-time lecturer at Tokyo University of the Arts, Faculty of Music
TokyoTDC2020 winning a prize
Spikes Asia 2019 | Film Craft - SILVER, BRONZE
CICLOPE Festival 2019 | Music Video - FINALIST
AD STARS 2019 | Film Craft - CRYSTAL, Music Video - CRYSTAL
ONE SCREEN Short Film Festival 2018 | Music Video - FINALIST
New York Festivals TV & Film Awards 2020 | Craft: Program - GOLD Streaming – GOLD
鄭瑀 / TEi U
中国福建省生まれ。2019年から研究生として後藤研究室に所属。
モーションキャプチャを用い、インタラクティブ音楽作品を研究している。現在、SNSを介して現実社会の様相に反映される創作の研究も行っている。これまでに作曲を梶本芳孝、香取良彦、森威功、後藤英の各氏に師事。
国際コンピュータ音楽会議(ICMC 2020) 入選
Born in Fujian, China, U Tei has been a research student of Goto’s Laboratory at Music and Sound Creation department since 2019, where he has been working on music composition using motion capture. Through his career he has been studying composition with Yoshitaka Kajimoto, Yoshihiko Katori, Takeyoshi Mori, and Suguru Goto.
Nowadays, his research is focus on how to create works that reflect social phenomena through SNS.
His last work, Plankton, was selected to participate at the International Computer Music Conference (ICMC 2020)
姜 信愛 / Shinae Kang
韓国生まれ。武蔵野音楽大学において飯島英嗣氏のもとで作曲を学ぶ。
Dongguk University (SEOUL,KOREA）GRADUATE SCHOOL OF DIGITAL IMAGE AND CONTENTSにおいてコンピューター音楽をJUN KIM氏に師事。作曲家、メディアアーティスト、映像音楽など幅広く活躍している。現在、東京芸術大学音楽学部博士課程において後藤英氏に師事。
Shine Kang is a composer and multimedia artist, currently studying computer music with prof. Goto Suguru as a Ph.D. student at Tokyo University of the Arts. She holds a Bachelor of Music degree in music composition from Musashino Academia Musicae and a Masters's degree in electronic music composition from Dongguk University. She endeavors to show new aspects of music by merging computer music with other modern genres. She tries to accommodate new technology into music in her recent works, such as composition applying artificial intelligence theory, and algorithmic composition and audiovisual art.
李 瓊宇 / Qiongyu Li
中国江蘇省生まれ。2018年から東京芸術大学音楽学部の研究生として後藤研究室に所属。センサー、IoTを用い、インターフェースデザイン、インタラクティブ ミュージック インスタレーションについて研究を行っている。現在、後藤研究室に所属しながら洗足学園音楽大学修士課程において森威功に師事。
Born in Jiangsu, China. he has been a research student of Goto's Laboratory at Music and Sound Creation department since 2018. He is focus on interface design and interactive music installations using sensors and IoT. He is currently studying under Takeshi Mori in the Master's program at Senzoku Gakuen Music University.
DYCI2 library: interpreting at the scale of intention, composing at the scale of narrative.
/ DYCI2ライブラリー：意図のスケールでの解釈、物語のスケールでの作曲
Jérôme Nika / ジェロム・ニカ
Abstract / 概要
The DYCI2 library of generative musical agents / intelligent software instruments (open source and freely distributed) combines machine learning models and generative processes with reactive listening modules. This “digital lutherie” has now reached a stage of maturity sufficient to serve as a basis for a purely musical research, combining “meta-composition” and free improvisation: composing the “musical memories” of improvising agents, the structures underlying their musical discourses, their listening and reaction mechanisms, and allowing the form to be generated by pure interaction. More than 60 artistic performances have brought these tools into play since 2016 (Ensemble Modern, Frankfurt; Annenberg Center, Philadelphia; Centre Pompidou, Collège de France, Le Centquatre, Paris; Montreux Jazz festival, etc.), particularly in improvised music (Steve Lehman, Bernard Lubat, Benoît Delbecq, Rémi Fox) and contemporary music (Pascal Dusapin, Marta Gentilucci).
生成音楽エージェント/インテリジェントソフトウェア楽器（オープンソースで自由に配布）のDYCI2ライブラリは、機械学習モデルと生成プロセスをリアクティブリスニングモジュールとの組み合わせにより成り立っている。この「デジタルルスリー（デジタル楽器製作）」は、「メタ作曲」と自由な即興演奏を組み合わせた純粋な音楽研究の基礎として十分に成熟した段階に達している。それは、それらのリスニングと反応のメカニズム、そして純粋なインタラクションによってフォームを生成することができる。特に即興音楽では、2016年以降60を超える芸術的パフォーマンスでこのツールが使用されている（アンサンブルモダン、フランクフルト、アネンバーグセンター、フィラデルフィア、センターポンピドゥ、コレージュドフランス、ルセントクアトル、パリ、モントルージャズフェスティバルなど）。即興音楽ではスティーブ・リーマン、バーナード・ルバト、ブノワ・デルベック、レミ・フォックス、現代音楽ではパスカル・ドゥサパン、マルタ・ジェンティルッチ）などがこのライブラリを使用している。
Bio / 略歴
Jérôme Nika / ジェロム・ニカ
Jérôme Nika (https://jeromenika.com) is a researcher in human-machine musical interaction in the Music Representations Team at Ircam. He graduated from the French Grandes Écoles Télécom ParisTech and ENSTA ParisTech. In addition, he studied acoustics, signal processing and computer science applied to music, and composition. He specialized in the applications of computer science and signal processing to digital creation and music through a PhD (Young Researcher Prize in Science and Music, 2015; Young Researcher Prize awarded by the French Association of Computer Music, 2016), and then as a researcher at Ircam. His research focuses on the introduction of authoring, composition, and control in human-computer music co-improvisation. This work led to numerous collaborations and musical productions, particularly in improvised music (Steve Lehman, Bernard Lubat, Benoît Delbecq, Rémi Fox) and contemporary music (Pascal Dusapin, Marta Gentilucci). In 2019, his work was involved in 3 ambitions productions : Lullaby Experience, an evolutive project by composer Pascal Dusapin, and two improvised music projects: Silver Lake Studies, in duo with Steve, and C’est Pour ça, in duo with Rémi Fox. In 2020 he is also in residency at Le Fresnoy – Studio National des Arts Contemporains.
ジェロム・ニカ（https://jeromenika.com）は、Ircamのミュージカル・インタラクション・チームのヒューマン・マシン・ミュージカル・インタラクションの研究者である。フランスのグランエコールテレコムパリテックとENSTAパリテックを卒業。さらに、音響、信号処理、音楽に適用されるコンピュータサイエンス、作曲についても学んだ。彼は、コンピューターサイエンスと信号処理をデジタルクリエーションと音楽に応用すること研究課題として博士号を習得した（その論文は2015年に科学と音楽の若手研究者賞、2016年にフランスコンピュータミュージック協会から授与された若手研究者賞を受賞した）。 Ircamでの研究は、人間とコンピューターの音楽の共即興におけるオーサリング、作曲、および制御の導入に焦点を当てられている。この研究は、特に即興音楽（Steve Lehman、Bernard Lubat、BenoîtDelbecq、RémiFox）と現代音楽（Pascal Dusapin、Marta Gentilucci）など、数多くのコラボレーションと音楽制作へとつながった。 2019年、彼の研究は3つの大規模の作品制作に関与した：作曲家のパスカル・ドゥサパンによる進化的なプロジェクトであるララバイエクスペリエンス、および2つの即興音楽プロジェクト：スティーブとのデュオによるシルバーレイクスタディーズ、レミ・フォックスとのデュオにおけるC'est Pourça があげられる。 2020年には、Le Fresnoy – Studio National des Arts Contemporainsにも従事している。