ACCV2024でポスター発表を行いました。
目的タスク(実世界超解像)とその部分タスクを用いて複数タスクのクラス条件付きの超解像拡散モデルを学習することで、本来の目的タスクに対してClassifier-Free Guidance(CFG)を適用可能にし実世界超解像の性能をブーストするという手法です。 #ACCV2024
ラーメン二郎用の拡散確率モデル(DDPM)の画像生成品質をFID等で評価してみました。
一般的なFIDよりも、CLIPや二郎分類モデルの特徴ベクトルを利用したFIDの方が定性的に良い結果でした。
画像は評価結果および各指標でベストの20000,90000,100000iteration時点のモデルで生成したサンプルです。
小滝橋通り店の画像にしか見えないが川越店と誤認識されるよう細工した画像をDDPMで復元するとAdversarialなノイズを除去できました。
画像はPGD Attackで生成したもので、リサイズや軽いブラーでは回復できませんが、DDPMによる復元ではt=2で正解し、t=100でほぼ元の精度(むしろ良い)に回復しました。
Replying to @knjcode
川越店 です
--- top3 ---
川越店 (98.80%)
新宿小滝橋通り店 (0.24%)
湘南藤沢店 (0.11%)
nitter.cf/knjcode/status/1544721…
Replying to @jirou_deep
@jirou_deep 新宿小滝橋通り店の画像をPGD Attackにより川越店と誤認識されるように細工したAdversarial example
1枚目: 動画に無いものを含む9枚分の128pxの生成画像
2枚目: 128px→512pxに超解像画像したもの
3枚目: inpaintingでレンゲを消した画像(256pxから128pxにリサイズ)
4枚目: レンゲを消した画像を128px→512pxに超解像したもの
拡散モデルによるinpaintingでラーメン二郎の写真からレンゲだけをキレイに消していく過程の動画です。
拡散モデル(DDPM)によるラーメン二郎画像のinpaintingの過程(レンゲの除去)
拡散モデルを使ってマスク領域にある物体(レンゲ)を自然に取り除いていく過程の動画です。
拡散モデルによるinpaintingも試してみましたが、かなり自然に消えてびっくりしました。
画像は、実画像に写っているレンゲ部分をマスクして、マスク部分は完全なノイズから画像を生成し、マスク以外の部分は各timestepごとにノイズを付加した実画像で置き換えながら生成処理を実施しています。
生成過程の乱数seedを固定し、4つの異なる初期値から生成した画像です。
左上の画像は値が全て0の初期値から、残り3つはランダム生成したノイズからの生成画像です。
全画像がほぼ同一で、この例からも、初期値ではなく、生成過程のランダムさによって画像が決定づけられることがわかります。
拡散モデルでノイズ付きの実画像をノイズ除去してみると、かなりノイズが多くても復元できます(1000回で完全なノイズ)。
画像は新宿小滝橋通り店と新宿歌舞伎町店の実画像にノイズ付加してから復元したものです。t=500あたりから画像が乱れ始め、t=900を過ぎたあたりから別の画像になり始めます。
拡散モデル(DDPM)によるラーメン二郎画像生成の解像度を128pxから256pxに増やして学習を続けていましたが、そこそこ鮮明な画像が生成できるようになってきました。
動画は256x256pxの画像の生成過程を4つ並べたものです。8秒あたりから薄っすら輪郭が見えてきます。 #ラーメン二郎 #生成モデル
拡散モデル(DDPM)によるラーメン二郎画像の生成過程(256x256px)
拡散モデルはランダムなノイズ画像から少しずつノイズを除去しながら実データに近づけていく仕組みです。 動画は1000回ノイズ除去を繰り返して4枚の256x256pxのラーメン二郎画像を生成する過程です。 8秒あたりから薄っすら輪郭が見えてきます。
ラーメン二郎画像で拡散モデル(DDPM)の学習を試してみました。
拡散モデルは完全なノイズから少しずつノイズ除去を繰り返しながら実データに近づけていく仕組みです。
動画はノイズ除去を1000回繰り返して128x128pxのラーメン二郎画像を生成する過程です。9秒あたりから薄っすら輪郭が見えてきます。
同僚と参加していたKaggleのShopeeコンペにて8位になりました!
解法の概要を以下に公開しています。
kaggle.com/c/shopee-product-…






















