日刊 画像生成AI （2022年9月20日）
画像生成AI界は、今認識できないスピードで進化をし続けています。
DALL・E2公開、Midjourney公開、StableDiffusionがオープンソースで公開されて..進化の速度が上がり続けており、日々異常なスピードで変化しています。
そんな中、毎日時間なくて全然情報追えない..！って人のために業界変化、新表現、思考、問題、技術を毎日あらゆるメディアを調べ、まとめています。
昨日までの投稿はこちら
開発
Runway モーショントラッキング機能搭載。
以前話題になった魔法のAI動画編集ツール Runwayに新機能追加。 ワンクリックで、モーショントラッキングができるようになったようです。現在利用可能とのこと。 動画編集スキルの壁がどんどん無くなってる
Introducing Motion Tracking
— Runway (@runwayml) September 20, 2022
Track the movement of any object and make things move smoothly. All with just one click.
Available now: https://t.co/ekldoIsP34 pic.twitter.com/NuNJf88vVU
Text-to-pokemon登場
テキスト入れたらそれに合わせたポケモンが生成されます。ぜひ遊んでください、朝いくつか試していましたがこれは楽しすぎました。
Fine tuning #stablediffusion to make Pokemon!
— Justin Pinkney (@Buntworthy) September 20, 2022
I wrote a quick guide on fine tuning your own Stable Diffusion: https://t.co/hLWrOjEPTm
I also released my Pokemon model, you can try it out on Replicate: https://t.co/3sVQrk54wZ
or with this Notebook: https://t.co/nRU5EQt3WC pic.twitter.com/d1FIAp49nO
この方が書かれたファインチューニングのためのガイド
NMKD Stable Diffusion 1.4.0 GUI
WindowsでローカルでStable Diffusionを動かせるソフト、NMKD Stable Diffusionがアップデート。主なトピックとしてはinpainting, HuggingFace conceptsの利用, VRAM最適化、プロンプトごとにモデルを再読み込みする必要がなくなったとのこと。
変更点 詳細
・新しい画像が生成されるたびに安定拡散モデルを再読み込みする必要がなくなりました。
・マスクベースの修復のサポートを追加。
・HuggingFace .bin コンセプト (テキスト反転埋め込み) の読み込みのサポートを追加。
・追加されたプロンプト キューにより、プロンプトをその設定でキューに入れることができます。
・追加されたプロンプト履歴により、以前のプロンプトを表示またはロードできます
・現在の画像の生成の進行状況を示す進行状況バーを追加
・終了時にサウンドを再生および/または通知を表示するオプションを追加
・変更ログとパトロンを表示する「ようこそ画面」を追加
・以前のシードを使用するか、リセットするためのボタンを追加しました
・プロンプト フィールドを 2 倍の高さに拡張するボタンを追加
・DPI スケーリングの適切なサポートを追加
・後処理がロー メモリ モードで動作するようになりました
・特に通常モードでの VRAM のさらなる最適化
・利用可能な CUDA GPU がウィンドウ タイトルに表示されるようになりました
・プログラムの実行中に Windows がスリープ状態にならない (未テスト)
・GFPGAN モデルを 1.4 に更新
・空の「不明なプロンプト」フォルダーが作成されるバグを修正しました
・Python環境に関するいくつかの問題を修正
Image Variation Huggingface, colab
以前公開されて話題になった、生成されたものの似てるバージョンを生成するImage Variationを試せるHuggingface、colabが公開。
僕のアイコンはNSFWらしいです。なんで
DALL・E顔のアップロードがOKに
OpenAIに登録されていた方にはメールが届いています。顔写真のアップロードをしようとするとできない仕様になっていたのですがその制限が解除されました。ディープフェイクによる被害を最小限に抑えながら、楽しくて重要なユースケースをサポートするために、安全システムの改良を行ったとのこと。
memeplex。 iPhoneやiPadでインペインティング!?現実から虚構を生み出す新機能を実装
清水さんの無料でStable Diffusionや、他のいろんなモデルも使えるmemeplexがアップデート。なんとインペインティングがブラウザからできるそうです。
TrinArt v2がdiffuserで実行できるように
rinnaが日本語で学習したJapanese Stable DiffusionがHugging Face Spacesでデモ化
日本からの嬉しいお知らせです！rinnaが日本語で学習したJapanese Stable DiffusionがHugging Face Spacesでデモ化されました！ https://t.co/Mp8sXdGDV0 pic.twitter.com/ZPqSpffmes
— Hugging Face (@huggingface) September 20, 2022
Stable Diffusion for Photoshop inpainting機能近日公開
inpainting機能搭載は正直嬉しすぎますね。Photoshopのニューラル選択とレイヤーマスクと組み合わせると、非常に強力になるとのこと。colabでやってる方からするとこんなにシームレスに使えるのは素晴らしいってなると思います。
Combining @StableDiffusion's masking with @Photoshop's neural selection and layer masks will be incredibly powerful. Coming soon! pic.twitter.com/75PNyIhHI2
— Christian Cantrell (@cantrell) September 19, 2022
Midjourneyで作られた絵日記
【無料】画像生成AI「Midjourney」のイラストで「AIに絵を描かせた夏休みの絵日記」を表現したノベルゲーム『ぼくとAIのなつやすみ』無料公開中https://t.co/V7oNllmyC3
— 電ファミニコゲーマー (@denfaminicogame) September 20, 2022
話題のAIをイラスト生成に使うだけでなく、ストーリーにも絡めた独創的な構成が特徴。10分程度で手軽に遊べる作品に pic.twitter.com/i21Hsyds4m
AIお絵かき人狼『AIアートインポスター』発表
やってみないとあまり良さが分からないですが、一人だけAIにイラストをお願いするためのテーマを知らされてない人がいて、その人を見つけるというルールだそうです。
表現
拡大してミクロの世界へ
イームスの「Powers of Ten」に似た表現をAIを使ったアニメーションで生成しています。
Journey into your science textbook.#science #stablediffusion #AIArtwork @DiffusionPics
— Jonah Tobias (@JonahTobias) September 20, 2022
I am surprised by how good stable diffusion is at creating pseudo-scientific illustrations! pic.twitter.com/CTt9LN9JFJ
キャラクターの回転
綺麗に人が回転してるAIアニメーションも最近増えてきている印象です。こちらはかなりよかったのでメモ。
Monday Mood 💖 || #DeforumDiffusion #aianimation pic.twitter.com/apPjvhvaD9
— blakely.gif ✨ (@projectgreybird) September 19, 2022
研究
Stability Diffusion を超高品質の画像圧縮に利用する方法について
Stable Diffusionは非可逆圧縮に使用でき、非常に強力な非可逆画像圧縮コーデックの基礎となるということ。なるほど..そんな活用方法があるのか。
This is pretty cool: Models like #StableDiffusion can be used for lossy compression, and can serve as the basis of a very powerful lossy image compression codec.https://t.co/a9YkQHQx1V pic.twitter.com/WEUVE4aDxx
— hardmaru (@hardmaru) September 20, 2022
ホロライブ グラちゃんのDream Booth
Stable Diffusion公式Discordでホロライブのぐらちゃんをtextual Inversionよりクオリティの高いDreamBoothで追加学習したモデルとのこと。精度がかなり高いですね。ckptファイルは以下に
（漁りました。リンクこちらです。）
HanktheHillman氏がSD公式Discordに上げていたホロライブのぐらちゃんをDreamBoothで追加学習したモデルで遊んでみた
— LangLang (@Langx02) September 20, 2022
やはり再現性も汎用性もTextual Inversionよりずっと高そう#stablediffusion #WaifuDiffusion pic.twitter.com/N4ioCUTyG4
Stable Diffusion Web UIで Textual Inversionの学習済みモデルを利用する。
Photoshop x img2img のワークフロー
https://www.reddit.com/r/StableDiffusion/comments/xiwkhy/here_is_an_example_of_my_img2img_with_stable/
思想・ムーブメント
日経がStable DiffusionのCEO Emadさんに取材
NVIDIA，次世代GeForce「GeForce RTX 4090」と「GeForce RTX 4080」を発表
（ぶあつい）
『神と機械について』 人工知能の未来は、ユートピアでもディストピアでもなく、もっと面白いものです。
15日時点でMidjourney RedditユーザーをStable Diffusionユーザーが超えていた。
急速な変遷
私たちは、「AI はアートではありません」から「プロンプトを共有してください」から「彼らのアートはあまりにも優れています。彼らはこれらの AI 企業のために働いているに違いありません」に急速に移行しました。
We went from « ai is not art » to « please share your prompts » to « their art is too good, they must be working for these AI companies » really quickly.
— charlesai.eth | AI ART EXPLORER (@HODLFrance) September 19, 2022
最新のDeepfake検出に取り組まれているようです。
Stabilty.aiのCEO Emadさんがツイート。新しいOpenCLIP モデルなどを使用した最先端のディープ フェイク検出に取り組まれているそうです。まもなく発表する予定とのこと。
We will soon be announcing our cutting-edge Deep Fake detection initiative using the new OpenCLIP models and more.
— Emad (@EMostaque) September 20, 2022
As the below great work shows it’s not only image creation but image description and more the models we release enable. https://t.co/DeWdBKwZih
勉強
Textual Inversionの論文まとめ
スキルアップAI GAN編
こちらリアルタイムで参加していましたが資料が公開されました。Ganの歴史や仕組みの話が書かれていますが、最後に最近の話題のモデルについて語られています。
最後に
Twitterに、毎日製作したものや、最新情報、検証を載せたりしています。よかったらフォローしてくれるとうれしいです。
画像生成AIの実験, 最新情報のまとめはこちら
前回の号はこちら
次の号はこちら
