ニュース
「AI×手塚治虫」再び。生成AIを全面活用し「ブラック・ジャック」新作を今秋公開
2023年6月13日 06:37
AI技術と人間のコラボレーションでマンガの神様・手塚治虫の新作に挑んだ「TEZUKA2020」の後継プロジェクト「TEZUKA2023」の概要が公開された。プロジェクトが6月12日に慶應義塾大学三田キャンパスで記者会見を行なった。独自に開発した技術のほか、OpenAIの「GPT-4」やStability AIの「Stable Diffusion」などの生成AIも活用して「ブラック・ジャック」の新作を制作し、今年秋に秋田書店「週刊少年チャンピオン」で公開する。
2019～2020年にかけて行なわれた「TEZUKA2020」は、手塚治虫氏没後30年と、キオクシアのブランディングイベントとして始まったプロジェクトだった。手塚治虫の漫画を元データとして、プロット(漫画の基本的な構成要素)とキャラクター原案をAIが自動生成し、その「漫画のタネ」をインスピレーションのソースとして人間がストーリーを練り、一部のキャラクターデザイン原案も自動生成させて、漫画を描いた。完成した漫画『ぱいどん』は講談社の週刊「モーニング」に掲載された。
今回のプロジェクトでは国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)の委託で研究開発した技術や「GPT-4」や「Stable Diffusion」を活用し、「ブラック・ジャック」のデータを学習したAIとのインタラクティブなやりとりにより、新作を制作する。
生成AIはどこまで人間のクリエイティブに貢献できるか
「ブラック・ジャック」は無免許の天才闇外科医であるブラック・ジャックが活躍する医学漫画。秋田書店「週刊少年チャンピオン」で1973年11月～1983年10月まで連載された手塚治虫の代表作だ。今年2023年に誕生50周年を迎える。
会見ではまず慶應義塾大学 理工学部教授の栗原聡氏がプロジェクト概要と狙いを紹介。「TEZUKA2020」時は、コンテンツ生成市場の急激な変化に対するクリエイターによるシナリオ供給への負荷を下げるためにAIを活用しようというコンセプトだった。当時は手塚漫画を人が手でテキスト化してプロットを作ったり、GANと転移学習を使ってキャラクターを生成していた。プロジェクトを進めるなかでシナリオの骨子の流れを作り、AIがその間を埋めることで話が作れるのではないかといった仮定を置いて作業を進めた。
キャラ生成では、手塚キャラの特徴をAIの学習データとしては少ないデータ量から掴んで生成させることに苦労したが、キャラ原案の候補を出すことには貢献できたと考えているという。
また「創造」とは偶発的に生まれる点(アイデア)と点を結ぶつながりの発見だと考えて、AIが出力した画像をもとに、人間のクリエイターが発想を広げるという手順で創作を進めた。つまりAIはお膳立ては整えるが、物語のための発想は人間が行なった。漫画掲載後も研究の可能性はあると考えて、NEDOプロにも応募・採択されたことから、慶應義塾大学や電通大でAIを活用した創作に関する研究を継続させていた。
NEDOプロに応募した4年前の時点でも、最終的に新しいコンテンツの生成はプロジェクトの視野に入っていた。昨年の2022年後半から生成AIが大いに注目・活用されるようになり、それを取り込んでコンテンツ制作を進めることになった。研究としては、生成AIが人の創造性サポートのためにどんな限界があり、どこまで通用するかを目的としている。
生成AIについては著作権の議論も起きている。「TEZUKA2023」ではプロダクションや遺族の承認も得ている。シナリオ生成には「GPT-4」を使うが、具体的なプロンプトの整形方法は一部非公開。Stable Diffusionを使ったキャラ生成も独自に生成システムを構築しているが具体的な整形方法は一部非公開となっている。
なお、今回、ブラックジャックの「続編」ではなく「新作」としたのは、あくまで手塚治虫ではなく、「AIと人間による新作だ」という考えからだという。
直感で「ブラック・ジャック」挑戦を提案
手塚プロダクション 取締役の手塚眞氏は、「AIという発想は日本人には馴染みがある。鉄腕アトム以来、ずっと漫画の中で見てきている」と述べ、40年前の「サスピション」という手塚治虫漫画を紹介。「ちょっとショッキングな内容となっている。手塚治虫は科学の進歩が明るい未来社会をもたらすだけではなく、問題点や危機的な状況も感じ取って作品を発表してきた。手塚治虫の漫画から学んだことがたくさんあると思う。AIが普及していく中で日本人は敏感にそのようなことを感じ取れるのではないか。それを踏まえた上での研究発表、研究過程の発表だ」と述べた。
AIもこの3年の間に非常に進化したと考えているが、「昨今のAIブームを狙って発表したわけではない。成果を途中経過として発表しようと思っていたら世の中が盛り上がってきた」とのこと。そして「前回は新作を作りますという感じで、まだまだ技術的には至らないところがあった。作り手としては反省点もあった。否定的な意見が多いかと思っていたが、思っていた以上に社会に好意的に受け入れられた。少なくとも完全否定はされず皆さんに楽しんで頂けた」と前回のプロジェクトを振り返った。
今回の「ブラック・ジャックの新作」という提案は手塚氏から行なったという。「大それた提案だ。今でも心の中では半分無理だろうなと思っている。しかし挑戦することは大事。クリエイティブの世界の中で挑戦するものとしては手塚治虫漫画は最適。ハードルを上げることで研究は進むのではないか」と述べた。
研究対象としても「ブラック・ジャック」は適していると考えているという。「200話以上あり、作品数が多い。そのなかでも物語が絡んでいる。これも研究には有効ではないか。それと手塚治虫らしさ、作家の個性もはっきりしている。作家を分析する上ではいい材料になる」とコメントした。
「ちょうど連載から50年と節目の年でもある。直感で『ブラック・ジャック』挑戦が良いのではないかと考えた」とのこと。「ただ誤解してほしくないのは今回は中間発表。『これから連載が始まる』という話ではない。あくまで研究として挑戦するという発表。まだ何も始まってない。やってみて『これは発表しないほうがいい』と思ったら、それは私のほうで止める」と述べ、「これは人間のためにやる研究。あくまで人間のクリエイターのサポートをする。どこまでサポートができるかを探ることが主要目的」と強調した。
そして「近い将来、当たり前のように使われるだろう。ただし、どう使われるべきかは研究が続けられるべき。何より時間の短縮になる。手塚は非常に短時間で作品を仕上げていたけども普通は時間がかかる。アイデア、制作過程で何カ月もかかることも当たり前。この時間を短縮し、作家が多くの作品を作ることができるようになる。
普通の作家は手塚のように多作はできない。手塚治虫は1カ月に数本の連載を持っていたこともあるが、現在の漫画制作スタイルでは難しい。AIがサポートすることができれば、作品数を増やすことは不可能ではない。作家ではない、これからクリエイティブを目指す方の強いサポートにもなると思う。人間のクリエイティブな仕事を良いかたちで改善していくものだと信じている」と語った。
「ブラック・ジャック」らしい物語構造を数理化する
実際の制作方法については栗原氏のほか、はこだて未来大学 システム情報科学部教授の村井源氏らが行なった。まずジャンル、世界観、設定などからストーリー構造を決定する。ブラックジャックの世界観から、どういうふうに物語が進行していくのか骨格を描くことになる。ここの物語の展開構造についての考え方は「TEZUKA2020」のときと基本的に同じだ。
はこだて未来大学 システム情報科学部教授の村井源氏は物語の構造の研究の概略から紹介。物語の構造研究は構造主義哲学をベースにして行なわれている。これは対象の本質的な要素の関係性から構成される構造があると見なす考え方だ。要するに物語は一般的に「展開の構造」があると考える。ただし物語にある構造は起承転結や序破急のような展開の構造だけではない。それ以外にも登場人物の構造や描写の構造もある。ほかにも色々な構造がある。
村井氏は「これはデータサイエンスと相性がいい」という。「要素と要素の関係性を分析していくスタイルなので、コンピュータを使ってパターンを抽出すればAIにも扱える。人工知能による自動生成の基本パターンとしても使える。ブラックジャックらしさを反映した物語を描くことができるのではないか」。
今回はまず、手塚プロでシーン分割、機能初期分析を行ない、未来大で詳細化、人物分析、言動分析、そして構造分析とパターン抽出を行なう。村井氏は、ドクターキリコが登場する「ふたりの黒い医者」というエピソードを例にして紹介した。いくつかのパターンが重層化されていて、それにより複数のキャラの視点、異なった観点から物語が解釈できるようになっていることが、生命の尊さを扱う「ブラックジャック」の物語の深みにつながっているという。
また基本パターンを統計的に抽出して因子分析。どのパターンを結合させるかが手塚治虫らしさであり、それは解析できると述べた。
生成AIによるプロットの作成
物語の構造を抽出したあとには次のステップで、生成AIに引き継いでプロットを生成させる。ここからは再び栗原氏が解説した。
生成AIは一般人でも驚くほどのテキストを生成できるが「プロの作家が売り物にできるところまでできるのかというと、そこまでではない」と栗原氏は語った。
また、プロットを頭から単純に順番に繋ぐと破綻はないが、奇抜なもの、斬新なものが出てこない。そこで、あるプロットと別のプロットを変わったかたちで接続する。そのような骨格をGPT-4に与えることで面白い物語を引き出せるという。
問題はGPT-4からの引き出し方だ。クリエイターがどんなことを作りたいか、物語の設定や世界観を作り上げて、1つのプロンプトとして入力する必要がある。このプロジェクトでは数千文字のプロンプトを与えることでプロットを引き出しているが、一般的なクリエイターが複雑なプロンプトを生成することは難しい。そこで人間とGPTのあいだのインターフェイスを作る。これはインタラクティブに扱えるもので、出力に対して何度もやりとりをすることができるという。
また、たとえば親子の愛情をテーマにしようとした場合、そのまま入力しても、もっともらしいテキストを返すことはできるが、物語のテーマというのは直接表現されるものではなく、物語を読むことで人間がよりメタなレベルで理解するものだ。そのような、ストーリーに直接反映されることがないテーマや世界観を反映させることは難しい。インタラクティブな部分的更新と一貫性を両立させることも難しい。プロンプトエンジニアリングに長けた人ではなくても扱えるユーザーインターフェイス設計も重要だ。
プロジェクトではこれらを簡単に扱えるものを実際のユーザーであるクリエイターとの「共創」によって構築することを目指す。たとえばジャンルやアイデア、テーマ、登場させたい人物を入力するだけでプロットが生成でき、さらに生成したプロットに対して、「もっとショッキングに」といったコメントで簡単にし形を書き直せるという。
会見では実際に手塚氏もデモを体験した。かなり長いプロンプトなので、プロンプト入力後、生成されるまでには数分かかる。
AIが描いたブラックジャックの姿 キャラクターデザインの支援
キャラクターの画像生成については、オムロンサイニックエックス シニアリサーチャーで、慶應義塾大学 理工学部特任講師の橋本敦史氏が主に紹介した。目標は手塚作品のデータセットを使って、人の創造性を刺激する画像を生成すること。生成AIをクリエイターの能力を拡張するものとすることを目指す。
「TEZUKA2020」の時は画像からインスピレーションを与える形で作業は進められたが、通常は物語の構造が先に決まっていて、そこからキャラのビジュアルデザインを行なう。そこで物語に矛盾しないキャラを作ること、同時に一人では思いつかないようなデザインを作ることを目指す。
画像生成は学習データの範囲を超えないという壁があるが、以前はその壁を突破することも目指した。このプロジェクトでは「AIに『お茶の水博士』の鼻を作らせることはできるのか」と掲げていたが、それは実際にできるようになった。
「Stable Diffusion」はテキストによる条件付けが可能で、かつ安定した出力が可能な画像生成モデルだ。これによって制御性が大きく向上したことから「物語に矛盾しないキャラ生成」が、ほぼクリア可能になった。
実際にAIが生成したブラック・ジャックの姿も紹介された。「クオリティが高い画像が生成できるようになっている」という。また、ピノコを大人にしたり、ブラック・ジャックを太らせたりといった誇張表現も可能だと紹介された。「クリエイターをインタラクティブに強力に支援するツールを作っていきたい」と橋本氏は語った。
また、電通大 人工知能先端研究センター 准教授の稲葉通将氏が、単なるキャラの顔画像だけではなく「コマの生成」もできることを紹介した。ブラックジャックがスマホを使ったり、VRゴーグルをかけている。
これらの画像に対して手塚氏は「人間が似せて描くよりも正確。マネがうまい人が描いても、その人のクセになってしまい、手塚治虫のクセにはならない。でもAIなら描けるかもしれない」とコメントした。手塚治虫が描いていないアングルの絵なども期待できるのではないかと思ったという。
またストーリー生成については「驚いた。そもそも分析したい気持ちはあった。身内にとっても良い研究になった。手塚以外の他の作品に対する流用もできるのではないか」と語った。
AIと人は名シーンを生み出せるか
今回制作される漫画は秋田書店「週刊少年チャンピオン」に掲載予定だ。会見には「チャンピオン」編集長の武川新吾氏も来場。コメントを求められた武川氏は「AIはまとまったものは優れたものが出せるだろうが、手塚先生含め、作家先生たちが作る漫画は多層的なドラマ。基礎となるプロットを作っていく上では白黒つけられない曖昧なものがミルフィーユ状に重なっている。そのあたりを今後どのようにラーニングしていくのか。『ブラックジャック』には『それでも私は人を治すんだ』という名シーンがありますが、最終的にそういうものが生まれるといいんじゃないかと思っています」と語った。なお、掲載予定ページ数等は未定とのこと。
実際の漫画制作の詳細も未定。ただし現時点のプロジェクトではページの中の演出などの自動化については未着手なので、そこは人間がやるだろうとのこと。パーツになる部分や全体の物語の生成については、可能な限り自動化し、クリエイターをサポートできるシステムの構築を目指す。実際にクリエイターがAIを使いながらシステムを改良していく。
手塚氏は「色んな意見も出てくるかと思うので批判も受け止める覚悟。ですが遺族として言えることは、もし手塚治虫が生きていたらAIを使っただろう。一番良いかたちで見本を示したと思う」と述べた。
そして「誰よりもこういう機能を使いたかったのが手塚治虫。日本の漫画のアシスタントという制度を最初に始めたのは手塚治虫だと言われている。ただ、アシスタントにはそっくりな絵で背景や洋服を描いてもらっていた。もっともクリエイティブなところではなく、あくまでサポートとして使っていた。AIがあればもっと作品を作れたはず。
手塚ほどの才能がなかったとしても、AIによって高いレベルの作品を生み出せるようになる作家の方はたくさんいると思う。力が足りなくて生み出せない人もいる。クリエイティブなAIが進化することで仕事を奪われるのではなく、よりたくさんのクリエイターが生み出される社会を夢見ている」と語った。
栗原氏は「技術的な話をしていると思っていたら哲学の話をしているとよく言われる。我々がやってることは人を知りたいということ。人工知能は我々がどういうものであるかを解明していく学問。いろんな議論があるが、AIは我々の世界に入ってきているもの。中心は人間。日本はAIとの共生に寛容な世界。我々ならではのAIの使い方ができると思う」と語った。プロジェクトでは多くの学生が動いており、彼らにとっても良い経験となっていると考えているという。