歌声から伴奏を生成するAI

Google Researchに所属する
研究者らが発表した論文
「SingSong: Generating musical accompaniments from singing」は、
歌声からその歌に適した伴奏を
生成する機械学習モデルを提案した
研究報告だそうです。

入力した歌声に合わせてインストゥルメンタル
音楽（インスト）を生成し、入力の歌声と
生成した楽器を合成した新たな音源を出力するそうです。

SingSongは、音源分離とオーディオ生成の
2つのモデルから構成される。
まず既存の音源分離アルゴリズムを用い、
大規模で多様な音楽コーパスを
ボーカルと楽器の音源のペアに
分離し、大規模な学習データを作成する。

次に、音声プロンプトを入力に
残りの音楽を生成するGoogleが
開発したモデル「AudioLM」を
改良したモデルに対し、教師あり方式で
音源分離データを学習させるそうです。

すごいですね。
伴奏をAIが作れるのですか。
最近、AIの技術が格段に進歩しています。
驚きます。