粘土で作った人形を、少しずつ動かし作成するクレイアニメ
あなたもNHKで放送している「ニャッキ」や「ひつじのショーン」を一度は見たことがあるのではないでしょうか？
現在、TikTokを中心に、クレイアニメ風に加工した画像や動画をアップするユーザーが増え始めています。なかには2.5万いいねがつく動画も！
自分でもクレイアニメ風動画を作りたい！「でも作り方がわからない」「素人には無理なんじゃ…」と諦めかけていませんか？
実は、AIの技術を活用することで、誰でも簡単に作成することができます。
元画像：FilmoraのAI画像生成機能を使って生成した画像
今回は「Stable Diffusion」と「Animete Diff」この２つを使って、ひつじのショーンのような動画を作成する手順を解説します。
ぜひ、記事の内容を参考にクレイアニメを作成してみてください。
Stable Diffusionとは
Stable Diffusionは、ディープラーニングを利用した画像生成モデルです。
例えば、テキストで「海辺の夕日」と入力すると、テキストの内容にそった画像を生成することができます。
また多くの拡張機能があり、画像を補修するものや、画像から動画を生成するものなど、幅広い応用が可能となり、クリエイティブな用途に使用できるツールとなっています。
Stable Diffusion徹底解説！手軽なサービスは？≫
Animete Diffとは
Animete DiffはStable Diffusionの拡張機能のひとつです。静止画の生成に加えて、連続したフレームを生成することで滑らかなアニメーションを作成することができます。
主な機能としては２枚の画像をつなぎ合わせ動画を生成するものや、動画から人物の動きを読み取り、画像のキャラクターに同じ動きをさせるものなどがあります。
例えば実際のダンサーの動きを読み取り、キャラクターがその動きを再現するアニメーションを作成することができます。
無料ダウンロードしてお試しください。
Stable DiffusionとAnimete Difの環境構築
動画生成を行うためにStable Diffusionをダウンロードし、拡張機能のAnimete Diffをインストールします。
Stable Diffusionを使用するにはPythonのセットアップや必要なライブラリのインストールが必要になります。これらの設定は正確な手順に従わないとエラーが発生することがあり難易度が高いです。
そこで、Stabiritty Matrixというツールを使用することで簡単にStable Diffusionのダウンロードから環境構築までを簡単に行うことができます。
Stabiritty Matrixのインストール
Stabiritty Matrixのダウンロードサイトへ移動します。
画面右側にある「リリース」を選択し、
使用しているOSに対応したZIPファイルをダウンロードします。
ダウンロードしたZIPファイルを展開し、Stabiritty Matrixのセットアップ画面に移動します。
使用許諾契約書の内容を確認し、問題なければチェックボックスにチェックを入れ「続ける」を選択します。
インストール場所を選択します。
ポータブルモードを選択すると、別のPCに環境を移動させる際に便利です。
今回はポータブルモードを選択して進めていきます。
これでStabiritty Matrixインストールが完了しました。
Stable Diffusionのインストール
Stabiritty MatrixでStable Diffusion webUIをインストールしていきます。
Stabiritty Matrixの画面右側にあるメニューから「Packages」を選択し、画面下の「パッケージの追加」を選択します。
パッケージの中から「Stable Diffusion webUI」を選択し、インストールを選択します。
約10分ほどでインストールが完了します。
「Launch」を選択することで Stable Diffusion webUIが起動できます。
初回のみ起動に多少の時間がかかります。
これで Stable Diffusionを使った画像生成ができるようになりました。
インストール方法に関する記事リンク
Stable Diffusion web UI(AUTOMATIC1111版)をインストールする方法【Windows/Mac】
Animete Diffのインストール
Stable DiffusionにAnimete Difをインストールし、動画を生成できるようにします。
Animete Difのダウンロードサイトへ移動し「コード」をコピーします。
Stable Diffusion webUIの「拡張機能」タブの「URLからインストール」を選択し、「拡張機能のGitリポジトリのURL」欄に貼り付けインストールを押します。
次にHugging Faceへ移動し、「mm_sd_v14.ckpt」「mm_sd_v15.ckpt」「mm_sd_v15_v2.ckpt」の３つのファイルをダウンロードします。
ダウンロードした３つのファイルを「exeファイルの場所\Data\Packages\Stable Diffusion WebUI\extensions\sd-webui-animatediff\model 」に保存します。
次にGitHubのリンクへ移動し、リンク内のコードをコピーします。
Stable Diffusion webUIの「拡張機能」タブの「URLからインストール」を選択し、「拡張機能のGitリポジトリのURL」欄に貼り付けインストールを押します。
次にFFmpegリンクへ移動します。
ご利用のOSにアイコンを合わせ、「BtbNによるwindowsビルド」を選択します。
BitHubへ移動し、「ffmpeg-マスター-最新-win64-gpl.zip」をダウンロードします。
適当な場所で展開し、フォルダ内の「binフォルダのパスをコピー」しておきます。
次にWindowsキーを押し、検索窓に「環境変数」と入力し「環境変数を編集」を選択します。
Pathを選択し、「新規」を選択し、先ほどコピーしたパスを貼り付け「OK」を選択します。
再度Stable Diffusion webUIを立ち上げ「アニメーション差分」というタブが作られていればインストール完了です。
Control Netのインストール
Animete Diffで動画を生成するにあたり、Control Netという拡張機能をインストールすることで、より正確な動画を生成することができます。
ControlNetをインストールする方法を解説します。
Stable Diffusionを起動し、「拡張機能」から「URLからインストール」タブへ移動し、「拡張機能の Git リポジトリの URL 」にhttps://github.com/Mikubill/sd-webui-ControlNet.gitを貼り付けインストールを選択します。
次にControl Netのダウンロードサイトへ移動します。
各ツールの「.pth」「.yaml」ファイル合計２８個をダウンロードします。
合計容量が２０Gbitを超えるので注意してください。
ダウンロードしたファイルを\Data\Packages\Stable-Diffusion-WebUI\extensions\sd-webui-ControlNet\modelsの中に保存します。
これでStable DiffusionでControl Netが使用できる状態になりました。
クレイアニメをAnimate Diffで作成
クレイアニメ作成方法のおおまかな手順は以下の３ステップです。
- 素材動画の撮影と編集
- Animete Diffで動画を生成
- Filmoraで動画を編集
それぞれの手順を実際の画面を交えて解説していきます。
素材動画の撮影と編集
クレイアニメキャラクターに動いてもらうための素材動画を撮影します。今回はフリーの動画素材を使用します。
動画素材の解像度とフレームレートが大きいと処理が追いつかない可能性もあるので,
あらかじめ下げておきましょう。
Filmoraを起動し動画素材を読み込みエクスポートを選択します。
解像度を３２０×２４０程度に、フレームレートを12に変更し書き出します。
動画の解像度、フレームレートが大きいほど処理に時間がかかります。
できる限り小さい容量におさめましょう。
Animete Diffで動画を生成
Stable Diffusionのクレイアニメ用のモデルを追加します。
Model Browserからクレイアニメモデルを検索し、好きなモデルをインストールします。
次にStable Diffusionの生成画面から、インストールしたチェックポイントを選択します。
生成したいキャラクターのプロンプトを入力します。
次に「世代」タブのサンプリング手順を３０に変更し、幅と身長を動画のサイズに合わせます。
「アニメーション差分」タブを展開し、使用したいモーションモジュールを選択。「Animete Diffを有効にする」にチェックを入れておきます。
イメージフレームに動画をドラッグ＆ドロップします。するとフレーム数とFPsが自動で入力されます。
次にControl Netを開き「コントロールユニット０」タブを選択し、「有効にする」にチェックを入れます。
ツールは「オープンポーズ」を選択します。
プリプロセッサーを任意のものを選択し、生成するを選択すると動画が生成されます。
パソコンのスペックにもよりますが、動画の生成にはかなりの時間がかかりますのでご注意ください。
動画素材をFilmoraで映像作品を作成
動画編集ソフトFilmoraを使用することで、生成した動画をつなぎ合わせアニメ作品を作成することができます。
素材をつなぎあわせ、エフェクトやBGM、交換を入れることで、視聴者を楽しませるアニメ作品になります。
またFilmoraにもAIを活用した画像生成や動画生成ができる機能があります。それらを活用し簡単に動画編集を行うことができます。
まとめ
「Stable Diffusion」と「Animete Diff」を使えば、AI技術を活用して誰でも簡単にクレイアニメ風の動画を作成できます。
Stable Diffusionはディープラーニングを利用した画像生成モデルです。テキストから画像を生成したり、画像の補修や動画を生成できます。
Animete DiffはStable Diffusionの拡張機能で、静止画から連続したフレームを生成して滑らかなアニメーションを作成できます。
Stable Diffusionの環境構築は、正確な手順で行う必要があり、間違った手順でエラーが発生することもあるため難易度が高いです。
Stabiritty Matrixを使用することで簡単にStable Diffusionのダウンロードから環境構築まで行うことができます。
クレイアニメの作成手順は以下の３ステップです。
- 素材動画の撮影と編集: 素材動画を撮影し、Filmoraで解像度やフレームレートを調整します。
- Animete Diffで動画生成: クレイアニメ用のモデルを使って、AIで動画を生成します。
- Filmoraでの編集: 生成した動画をFilmoraで編集し、エフェクトやBGMを追加して完成度を高めます。
AIの技術を活用することで誰でも簡単にクレイアニメ風の動画を作成することができます。ぜひ、Stable Diffusionでクリエイティブな作品を作ってみてください。
役に立ちましたか？コメントしましょう！