スキップしてメイン コンテンツに移動

アニメを4k60fpsにしてみる

時間はかかるが実感しにくい。完全に自己満足。


現代において映像の一つの目指す点は4kと60fps化だ。エンコードするときに設定を4kにして60fpsに設定すると、数値上を4k60fpsにすることは可能だが、それは数値上のものだけであり、実際に見ても差異はないので意味がない。


それに現行放送は1440x1080で放送されているが、どうもアニメは720pで制作されているそうだ。

例えアニメの4k放送やUHD BDが発売されたとしても、それはおそらく疑似4kだろう。


また、TVの機能でアップコンバートしてフレーム補間も可能だが、これではそのTVで再生するときにアップコンバートするだけで、ファイル自体が変わるわけではない。なので映像のファイルそれ自体を4k60fps化したいのだ。


さて、一応だが、フリーソフトでこれらの夢を叶えることは可能だ。ただ時間とHDDにそれなりの余裕が必要ではあるが。


手順としては

動画をffmpegを用いて画像と音声にバラす
waifu2xを利用して先程ばらした画像をニューラルネットワークを用いて4kにアップコンバートする
4k画像を再び動画化し、音声と合体させる
AMDのVega以前のGPUであれば利用可能なFluid Motionを用いて60fps化する

以上で完成だ



ハードウェアで用意するものはAMDのVega以前のGPUのみである。Vega世代であれば最も望ましい。あとはフリーソフトだけでなんとかなる。
あとコマンドラインでアプリが使えないとかなりきつい。



まず、4k化についてだ。AI Scalerというソフトを使えば高品質なアップコンバートが可能なそうだが、20万円もするので却下だ。Video Enhance AIというソフトは199ドルで購入のハードルは低いが、今回はフリーソフトのwaifu2xを使用する。

このソフトはニューラルネットワークを用いて動画をアップコンバートするものではなく、画像ファイルをアップコンバートするものなので、一度動画を全てばらして画像ファイルにする。ffmpegを使用すれば簡単だ。

ffmpeg -i "input" -c:v tiff "output\image_%04d.tiff"

をコマンドラインから入力すればいい。inputには使用する動画ファイルを、outputには出力するフォルダーをそれぞれ指定する。また画像のフォーマットはpngでも問題はない。知識があるのであればハードウェアデコーダーを利用することでより高速に画像への変換が可能なはずだ。

アニメは基本的に24分。つまり1440秒で1秒あたりに29.97枚の画像が生成されるため、43156枚の画像が合計で生成される。なお今回は2分半程度の動画を利用するのでそこまで多くのファイルは生成されない。



このように、すごい量の画像が生成されるのは間違いない。そしてかすみんかわいい

次に音声と動画を分離する。

ffmpeg -i "input" -c:v  flac "output\audio.flac"

今回はなんとなくflacにしたが、フォーマットはmp3でもaacでも何でも良い。またファイル名もなんでも良い。とにかく分離できればそれでOKだ。



変換が終了するとwaifu2xを利用して4k化する。

https://github.com/nihui/waifu2x-ncnn-vulkan/releases

AMDのGPUを利用しているのであれば上記から、NVIDIAのGPUを利用しているのであればwaifu2x-coffeeというのを推奨する。ちなみにCUDAが使えるNVIDIAの方が速度は圧倒的に早い。


DLして解凍したら

waifu2x-ncnn-vulkan.exe -i "input" -o "output" -n 2 -s 2

のコマンドを実行。今回はinputとoutputはそれぞれ指定する。ファイルではなくフォルダを指定する。


GPU性能にもよるが、かなり時間がかかる。とにかく待つ。

ここで画像を比較してみるとしよう。

元の画像(FHD)

4kアップコンバート後の画像

う～ん。なかなかこれだけを見て違いを見出すのは難しいというのが正直なところではある。というかBloggerの仕様上、解像度が一定以上のは自動で圧縮されてしまい、2048 x 1152にされてしまうようだ。

さて、完成したら次はアップコンバートされた画像と音声を合成して動画ファイルに戻す。

ffmpeg -i "input\image_%04d.png" -i "input\audio.flac" -c:v libx264 -crf 10 -r 23.976 -preset ultrafast -c:a copy "output"

今回はx264を使用した。今回は60fps化のためにまた後でエンコードするのでビットレートもりもりの超激重ファイルになるが、画質を極力劣化させない設定にした。
フレームレート(-r)は元動画の数値に合わせる。今回は23.976だったのでその数値にした。

ここで音ズレが発生した場合はコマ落ちかフレームレートを間違えている可能性がある。頑張って原因を究明するしかない。

ここからが60fps化だ。bluesky氏によって公開されているA's Video Converterを使えばAMDのFluid Motionというフレーム補間技術を使って映像を60fps化できる。

設定は以下の通りに行う。


これを使うにはVCEというエンコーダーを利用する必要があるが、いかんせんこれは画質が最悪レベルに悪い。なので固定QPにして品質を0にする。こうするとビットレートはとてつもなく高くなるが、無劣化で動画が出てくる。60fps化したあとで好きなように圧縮すればいい。



ビデオフィルタでは上記のように設定し、Fluid Motionを有効にする。


これで4K化と60fps化は完了だ。


動画の容量がとてつもないことになっていると思うので、最後にx265を使ってエンコードすれば作業は完了となる。

私はいつもffmpegで

 -c:v libx265 -crf 20 -pix_fmt yuv420p10le -profile:v main10 -preset fast -c:a copy

という設定にしている。

以上。

コメント

コメントを投稿

このブログの人気の投稿

xbox game pass for PCからSteamにデータ移行する方法の備忘録

 xboxgamepass(以下ゲーパス)は定額でゲームをプレイし放題の革新的なサービスである一方、ある落とし穴が存在する。 こういうサービスなので、ゲームが配信終了されることもたまにあり、それ自体は仕方のないこととして納得するものの、ゲーパスのゲームのセーブデータはクラウドに保存され、ユーザーはそれにアクセスすることが不可となっている。 つまり、面白かったからSteamで購入し、セーブデータを移行して続きからプレイする事は出来ない。というクソ仕様だ。Microsoftからすれば、xboxで購入してプレイしろよという話なのだろうが、あんな使いにくいゴミアプリはゲーパス以外の価値はない。 ここから本題。先程、セーブデータはクラウドに保存され、ユーザーはそれにアクセスすることが出来ないと述べたが、実際には名前を変えてローカルにも保存されている。以下はセーブデータの移行方法。 注意点として、全てのゲーム、環境でこの方法が使えるわけではないので、悪しからず。 また、予めSteamでゲームを購入し、そのゲームのセーブデータを作っておく必要もある。 この方法でセーブデータが消去されてしまったとしても、私は一切の責任は取らない。 今回移行するゲームはProject Wingman まず、C:\Users\User\AppData\Local\Packages\にアクセスする。 長い名前のフォルダがあるが、セーブデータが保存されていると思われるフォルダはゲームのデベロッパーかパブリッシャーの名前を含んでいるので、検索して探す。Project Wingman の場合はHumbleと検索すると見つかる。探しているゲームに合わせて検索ワードを変えて探し、フォルダの中に入る。 次にSystemAppDataのフォルダに入り、その中のwgsというフォルダに入る。wgsには"t"というフォルダと、めちゃくちゃ長い名前のフォルダの2つがあるので、めちゃくちゃ長い方に入る。 中には変わった名前のフォルダがいくつかあると思う。 ゲームによって多少変わるものの、ゲームのセーブデータはいくつかのファイルから構成されている。このフォルダはそのファイルを1つ1つフォルダ分けし、名前を変えられてこの中に入っている。 なので、この中にあるファイルの名前を1つ1つ変更し、Steamのフォルダに
コメントを投稿
続きを読む

頼むから放送規格をもっと厳格に規格してくれ

 エンコード設定の決定版がなかなかない 今はQSVを使ってh264にエンコードし、地デジやBS・CSの解像度に違いがあるため1920x1080に変換し、音声はコピーしてmp4に格納しており、エンコードの設定は以下のようになっていた。 ffmpeg -hwaccel qsv -c:v mpeg2_qsv -i "$RECPATH" -c:v h264_qsv -preset 1 -look_ahead 0 -look_ahead_depth 100 -q:v 21 -c:a copy -map v:0 -map a:0 -vf scale_qsv=w=1920:h=1080 これで7倍速でエンコード出来るし、画質、容量、互換性も申し分ない。本当はHEVCでエンコードしたいが、なぜかWindowsで再生できないためH264に変換している。 しかしながら、放送規格が局によって大きく変わったり、同じ放送局でも番組によって変化するため、非常に難儀している。 まず問題となるのが、AT-Xだ。AT-Xは有料のアニメ専門チャンネルでそれなりの料金を支払って契約しているが、当局の番組のエンコード中、それも特定の限られた番組にのみある問題が起きた。途中でエンコードが終了しているのだ。問題となった番組を再び同じ設定でエンコードしたところ、『Error parsing ADTS frame header!』と表示され、エンコードが途中で強制終了した。そのためGoogle先生の力を借りて解決策を模索したところ、-bsf:a aac_adtstoascと入力すれば問題は解決した。 …かのように思えたが、別の問題が発生した。東名阪以外の田舎に住んでいるアニオタにとっての救世主であるBS11イレブンをエンコードしたところ、音声は格納されているのになぜか音声が再生されない。つまり音無しの動画になってしまったのだ。 私は大阪に住んでいるが、BS11イレブンは画質が良く、アニメのラインナップも充実しているので貴重な存在であることには代わりはなく、対策をする必要が出てきた。 ffmpeg内臓のAACエンコーダーは品質が悪いので、できれば使いたくないが、コピーしてしまうと放送局の放送規格の違いが原因で何かしらの問題が出てきてしまうようなので、仕方なくエンコードすることにした。 『-c:a
コメントを投稿
続きを読む

チャンネルごとの画質について

 4K放送は綺麗だが、今回は現行放送の画質についての話。 結論から言うと、テレビの画質は BS放送(一部)＞BS放送≧地デジ(民法・NHK)＞地デジ(独立局)＞CS となる。 以下、ビットレートという言葉が出てくるが、これはデータ量のことで数字が大きければ高画質になると思ってもらって問題ない。 BS放送は地デジやCSより高画質だがは4K放送の影響で大手民放とNHK BS1の画質が悪化した。BSプレミアムやBS11イレブンの画質は従来どおり高画質なままなので、BS放送(一部)と表記した。よってBS放送(一部)＞BS放送となる 画質の悪化はビットレートの低下もそうだが、解像度も1920x1080から地デジと同じ1440x1080に下がった。 しかしそれでもビットレートは地デジより高いので、画質は地デジよりBSのほうが良いことに変わりはないようだ。 地デジは地デジでもNHK・大手民放と独立局とで画質に差が出る。ちなみに大手民放とはフジテレビ、テレ東、テレ朝、日テレ、TBSの系列局のことを指し、独立局とはそれ以外の小さなローカル局のことを指す。TOKYO MXやサンテレビなどがそうだ。私は大阪在住なのでMXについてはよく知らないが。 さて、画質の話だが、地デジ放送は先程も少し言ったが、1440x1080で放送されている。しかし、サンテレビやKBS京都など独立局は1920x1080で放送されている。 では独立局のほうが実は高画質なのか？と思うかもしれないが、実はそうではない。独立局は民放・NHKよりビットレートが低いので、目に見える画質は悪い。 というか、ビットレートが低いのに解像度が高いので、動きの多いシーンでの画質はひどいものになっている。 これはサンテレビのプリコネのスクショだが、見ての通りブロックノイズが出まくっていて、ひと目で画質が悪いのが見て取れる。 比較できるものがなくて申し訳ないが、大手民放の地デジやBS放送ならここまで酷くはならない。 最後にCS放送だ。1440x1080で放送されており、基本的に画質は悪い。ビットレートは10Mbps以下で、つい最近までSD画質で放送していた局もあるくらいだ。有料放送なのに画質は最悪と、良いところがない。 CS放送ってあんなにチャンネルがあって有料で料金も高いのに、どうやって成り立ってるのか不思議でしょうがない。チャンネル数
コメントを投稿
続きを読む