【IP KOREA】ウェブコミックの技術、多彩になった漫画の中の世界

YouTube、OTTなど、私たちの日常には見て聞いて楽しむコンテンツが溢れています。
その中でも、漫画は老若男女を問わず、色んな姿を見せながら人々の心をとらえています。

本を借りて紙面をめくり、時間に合わせてテレビ画面を見ていた時代を経て今では携帯のスクロールだけで数多くの漫画が広がります。

このように大衆文化に位置づいたウェブコミックにも様々な新技術が適用されているそうです。

今回のポストでは、新しい技術でもっと感覚的で便利さが増したウェブ漫画に関する特許を見てみたいと思います。

ウェブコミックを100%楽しめるAIの選曲

一番目の技術は韓国のNAVERウェブトゥーンの特許です。NAVERウェブトゥーンは人工知能(AI)でウェブコミックに適切な背景音楽(BGM)を流す特許を去年出願及び登録したそうです。この技術は人工知能技術でウェブコミックの属性情報と読者のフィードバックを考慮して現在見ているコミックにあうサウンドを再生してくれます。作家の意図やユーザーのニーズに合わせて自動でBGMを選んでくれるんです。

▲ Clipartkorea.co.kr

この技術の特許を見てみると、人工知能が背景音楽を聞かせてくれる過程は次の3つの段階を含みます。

1．ウェブコミックに対する属性情報をコンテンツの全体内容、特定ページ、特定場面、特定客体の中から少なくても1つに連携して登録する段階

2．コミックコンテンツの属性情報を利用してオーディオコンテンツを検索する段階

3．コミックコンテンツに連動してオーディオコンテンツを提供する段階

▲Wipsglobal.com、KR 10-2478394、「インターネット漫画コンテンツに対して音源を提供する方法とシステム及び記録媒体」

このようにユーザーの趣向が考慮された音楽をウェブコミックの画像と一緒に楽しむとコンテンツに対する共感と楽しみがもっと増大しそうです。該当技術でAIが音楽を選曲する時、ユーザーの性格はもちろん時間、季節、天気、位置などの環境情報を一緒に考慮するそうです。画一でなく、観賞者の内容と状況を反映した最適のBGMを聞かせてくれるんです。

人工神経網で彩色をもっと繊細に

二つ目の技術もまたNAVERウェブトゥーンの特許で人工神経網を利用して彩色イメージを補正する技術です。人工知能技術の発展に従ってモノクロ写真をカラー写真に自動で彩色するイメージ彩色モデルは既に開発されています。

しかし、人工神経網を利用してイメージを彩色する方法はペイントツールと類似に作動して、イメージの境界が不明確な場合、色のにじみ(color bleeding)が発生する問題がありました。

▲ キャラクター彩色ができるNAVERのAIペインター　
＜出所：NAVERウェブトゥーンAIペインターホームページ＞

該当特許は次の3つの過程で人工神経網を通じてにじみのない繊細な彩色作業を行います。

1．スケッチイメージを第1人工神経網に入力して彩色イメージを獲得する段階

2．彩色イメージからターゲット領域に対するユーザー入力データを受信する段階

3．スケッチイメージ及びユーザー入力データを第2人工神経網に入力してターゲット領域の彩色状態が変更された補正イメージを獲得する段階

▲Wipsglobal.com、KR 10-2022-0152864、「人工神経網を利用した彩色イメージ補正方法及びその装置」

この技術は、色のにじみ現象を緩和する自動彩色モデルを学習させるための仮想のユーザー入力データを生成します。また、複数の彩色イメージから色にじみ現象が発生したイメージの境界線と色にじみ現象が発生していないイメージの境界線を検出します。そしてにじんだものとにじんだないものの二つの境界線を比べて仮想のユーザー入力データを生成してこれを学習データに使用します。ここで二つの境界線情報の差を最小化するように学習して色のにじみ(color bleeding)をより客観的に評価します。

また、イメージクラスターの形が違う程度を測定します。

これを通じて同じ色味と質感を持つピクセルたちを上位クラスターに縛り、元のイメージと生成イメージでのクラスターの形が違う程度を測定します。この過程で淵を境界にカラーがどれだけうまく区分されたか評価できるそうです。

文章をウェブコミックに変えます

最後に見る発明はAIとコンテンツの関係を研究する企業、「Toonsquare」の発明です。Tooningと呼ばれるこの技術は、文字で書いた文章を漫画に変えてくれるAIウェブコミックサービスです。文章が表現したストーリーに合う人物や背景などを漫画イメージに自動で生成するのです。

▲ Toonsquareの「Tooning」 <出所：AVING, Global news network, Choi yewon記者＞

現在特許審査中のこの技術は以下のような段階を経て自動でウェブコミックを生成します。

1．文章を認識して認識された文章内に含まれた少なくとも一つの単語をそれぞれ識別する段階

2．認識された文章の開始地点及び終了地点のうち、少なくとも一つに位置した文章符号の種類を識別する段階

3．識別された文章符号の種類を基に文章を一般表現文章、セリフ表現文章および感情表現文章のどちらかの一つに判断する段階

4．文章が一般表現文章の場合、一般表現文章に含まれた単語を基に漫画イメージを自動生成する段階

5．文章がセリフ表現文章または感情表現文章である場合、セリフ表現文章または感情表現文章の主体を把握する段階

6．キャラクター上にセリフ表現文章または感情表現文章を吹き出し形で挿入する段階

▲Wipsglobal.com、KR 10-2023-0018027、「入力された文章基盤の漫画イメージ自動生成装置及び方法」

このように該当技術はユーザーが入力した文章に従って漫画イメージを自動で生成してくれるため、絵の腕前がない人でも簡単に漫画イメージを獲得できるようにする効果があります。さらにこの発明は、キャラクターの関節部分や連結部分に生じる余白領域にブリッジを生成してキャラクターの関節部分または連結部分の雨後b気を自然に作る効果があるそうです。

ここまでウェブコミックに対する特許技術を調べてみました。

ストーリーに似合う音楽が流れて2Dのイメージが3Dになり、絵が動画のように動くなどウェブコミックは引き続き進歩しています。

表現方式のみならず制作方式もまた発展して素人でも簡単にウェブコミックを創作する時代が訪れています。

今後披露されるもっと繊細で豊富になるウェブコミックのコンテンツがとても楽しみです。

Japan Tel: +82-2-726-1113, 1107 | Fax: +82-2-777-7334 | wips-jp@wips.co.kr