日刊 画像生成AI (2022年10月25日)
画像生成AI界は、今認識できないスピードで進化をし続けています。
DALL・E2公開、Midjourney公開、StableDiffusionがオープンソースで公開され、日々とても早いスピードで変化しています。
そんな中、毎日時間なくて全然情報追えない..！って人のために業界変化、新表現、思考、問題、技術を毎日あらゆるメディアを調べ、まとめています。
過去の投稿はこちら
ピックアップニュース
Shutterstockから画像生成AIのビッグニュース
OpenAIのDALL-E2を自社サイトに統合。
モデルのトレーニングに関与した画像を持つクリエイターに収益の一部を受け取る収益分配補償モデルを開発し、Contributor Fundを設立。
（含まれるコンテンツとメタデータの量に比例）
過去にもShutterstockはOpenAIにデータを販売しているようで、これからもっといいshutterstock特化モデルのようなものを作る流れもありそう。
あと基金のシステムがどういうものなのかとても気になる。
どういう計算で、どのくらい配分されるのか、今後注目したいところ。
もし一枚0.5円で生成だとしてもその生成データの学習に使われたデータは大量にあるはずなので0.0.. いくらくらいしか貰えないんじゃないかと思っているんですがどうなんでしょうか。単にこういうものを作っておけば叩かれにくくなるという対策な気もしてしまったりします。
開発
Visualize.aiの Visualize Studioがv1.1 にアップデート
公式はDreamStudio、日本だと、清水さんのmemeplexやmihoさんのstablediffusion.click、APIだとお絵描きばりぐっどくんなどのSDが使えるサービスが10数個存在していますが、その中の一つ、Visualize.aiが無料、無制限の 512x512/64 ステップの実行（Nvidia A100）をサポートしたようです。プロンプトマーケットプレイスと統合されているのが他との違いですね
Sygil.dev と Project Nataili の発表
今後全てのSDプロジェクトの中心となるSygil.devとProject Natailiが発表されました。 Project Nataili は、すべての人が使用できる一般的なStable Diffusion バックエンド。（コードのライブラリのようなものっぽい？）オープンソース ライセンスが付与されており、可能な限り使いやすいようにコードがリファクタリングされているようです
現在のStableDiffusionプロジェクトのほとんどはAutomatci1111氏かhlky氏のコードに基づいて作られていますが2ヶ月で成長しすぎて、繰り返されるスクリプト、文書化されていない関数、作成者だけが読める非効率的なメソッド、UIに紐づけられていて使いにくいものが沢山登場したため、このようなプロジェクトを立ち上げられたようです。
Deforum for WebUI by AUTOMATIC1111
AIアニメーションが作れるDeforumをStableDiffusionの中でも1番有名な実装、AUTOMATIC1111にタブとして追加するスクリプトが登場。
DreamBoothがついに..
進化が続くDreamBooth。DreamBoothは一応説明しますと、少ない枚数で新しい概念を学習させ、モデル全体に影響を与えるというもの。現在DreamBoothは複数の概念(数百)をクラス画像なしで 10 分未満で再トレーニング可能なモデルでトレーニングできるようになったそうです。モデルが壊れたり乱れることもないようです。すごい。
（ただあまりうまくいかないとの声もあります）
NovelAIのプロンプトを管理・調整するChrome拡張「NAI_magic_wand」公開
DALLE2のビルダーのChrome拡張はありましたがあれは専用だったのでこれは嬉しい。プロンプト保存機能とエディタ機能（順番を気軽に変えたり、強調も簡単にできるみたいです）もあるようです。
かみくだくさん
NovelAIめちゃ楽しいんですがプロンプトの細かい調整をしたい時、"あの"入力フォーム内で頑張って順番変えたり、強調の数を変えるのが辛すぎました。そして折角いい感じになったプロンプトを毎回スプレッドシートに保存するのにもしんどさがありました。
というわけでVue3の勉強がてら、自分がとりあえず最低限欲しい機能を持ったChrome拡張を作りました。
NovelAIのプロンプトを管理・調整するChrome拡張を作りました https://t.co/qOX8HM2y2w #JavaScript #ChromeExtension #Vue3 #NovelAIDiffusion
— かみくだく🇺🇦🤝🇷🇺 (@kamikudakun) October 25, 2022
StableDiffusion 1.5が利用できるDEMO, コードを公開。
DiffuserライブラリでSD1.5を利用するデモとコードが公開されていたのでメモしておきます。気軽に試してみたいって人はここから試せますのでぜひ。
Our friends at @huggingface have updated the model repo to add a @Gradio demo and examples of using Stable Diffusion v1.5 with the diffusers library. 🎉
— Runway (@runwayml) October 25, 2022
Quick start with diffusers: https://t.co/lT3B99j4W0
Gradio demo: https://t.co/njg6aSvS2Y pic.twitter.com/qQvge3Bm0J
以前話題になっていたAIアニメーションのコードが公開
スムーズすぎて少し話題になったAIアニメーションがあり、この方がコードは今後公開すると言われていたのですが公開されたようです。中身はあまりまだ見れていないのですが、興味ある方はぜひ
stable diffusion smooth video init + style test #stablediffusion pic.twitter.com/jMNJA95XI5
— Nicolai NightVision (@NicolaiNightVi1) October 17, 2022
コードが公開されたっぽい？https://t.co/weC4W4ArjX https://t.co/cFeHEJYAtC
— Izumi Satoshi (@izumisatoshi05) October 25, 2022
ただのEbSynthだった....?
— Izumi Satoshi (@izumisatoshi05) October 25, 2022
表現、研究
SD 1.5がかなりいいらしい
SD 1.5は十分にトレーニングされたモデルのため、CFGスケールを通常より上げることができるようでこのクオリティに辿り着くことができるようです
この方はSD ema 1.5 Ana De ArmasのDreamBoothを使っているようです。もうMidjourneyの生き物系の出力の質とかなり近くなってる
なお、このDreamBoothモデルについてですが20 枚以上のポートレート ショット、少なくとも 4 回の中距離胴体ショット、少なくとも 4 つの長距離全身ショット、少なくとも 1 回の着席ショット、焦点が合ったネイティブの高解像度画像が必要で、Dreambooth モデルの多様性を高めるには、さまざまな環境、照明、ヘア スタイル、表情、ポーズ、角度、被写体からの距離の画像が必要とのこと。こちらにまとめられています。
Robo-Diffusionめちゃめちゃかっこいい..
StableDiffusionをロボ画像で微調整したRoboDiffusionで高品質な出力をしている方がいたのでメモ。めちゃめちゃかっこいい。
prompt:
nousr robot hyper realistic cyborg fluid close up ornate details doe female eyes volumetric lighting subtle glows, 4k
Robo-Diffusionはこちら
NovelAIで映画ポスター生成の検証
画像生成AIでアニメ世界の架空の映画ポスターを生成テスト。Blenderに読み込んで配置してみた。前回の雑誌の表紙もそうだけど何となくデザイン性が必要な画像生成するのにAIはかなり強力 pic.twitter.com/DNTqhXnuuI
— Hirokazu Yokohara (@Yokohara_h) October 25, 2022
プロンプトとか大変だから真面目に考えたくないよね。映画ポスターなら「Movie Poster」って入れるだけでこんな感じ。あとは要素追加すればいい。雑誌なら「Magazine Cover」とか。実際AIを作品に使うかは別だけど雑に無個性なデザインをバリエーション出力するのにAIは現時点でも有効 pic.twitter.com/SrO17pz15M
— Hirokazu Yokohara (@Yokohara_h) October 25, 2022
画風・スタイルの呪文（NovelAI）
ひたすらNovelAIを検証して、呪文をnotionにまとめられているPlatさんがこの日も公開されていました。
画風・スタイルの呪文https://t.co/nCxfczxoH1#NovelAI #NovelAIDiffusion pic.twitter.com/IsEZE1Gqk3
— Plat 🖼️ (@p1atdev_art) October 24, 2022
思想・ムーブメント
AIは表現のどこにいるのか
NovelAIでシンプルなイラストレーション、特殊表現をしばらく研究されたsabakichiさんがブログでまとめられています。
いま画像生成AIに対して感じている表現の可能性や個人的な所感を、現在のスナップショットとして散文的に綴ってみました。この半月ほどの作例集にもなっているのでぜひお時間ある時にでも読んでみてください。
— sabakichi｜Domain ✍︎ (@knshtyk) October 25, 2022
AIは表現のどこにいるのか | Domainhttps://t.co/ecc42o80mc
https://domaindesign.co/column/where-is-ai-in-expression/
Bleeding edge
AI系で、時系列で注目すべき論文や出来事がまとめられていて便利なサイト bleeding edge。sangminさんが紹介されていて良かったので紹介。
これまでにはないスピードで進化を遂げているAI🤖。進化のスピードがあまりにも早く、変化についていけないと嘆く方も多い。Bleeding Edge（👉https://t.co/HE2QRBfiwC）は、注目すべき論文や出来事を時系列で紹介しているので大変便利です。 pic.twitter.com/th95W4ndlG
— sangmin.eth @ChoimiraiSchool (@gijigae) October 25, 2022
ゲーミング〇〇〇は合法か否か
（noteがアダルト用語を書くと18禁扱いになってしまうので今後〇〇表記になります。）NovelAIで生成した「ゲーミング〇〇〇」というのが流行っていましたが、とりあえず合法らしいです。
財務省が出した関税法基本通達(蔵関第0100号) 69 の 11－１の３ (2)によれば
— 梅酒みりん@29,30池ハロ (@PokersonT) October 24, 2022
模造性器具等であっても「人間の肌の色以外の色彩等を施したもの」については合法としているので
ゲーミングちんぽは7色に輝いている場合なら無修正でも合法と考えていいだろう https://t.co/RfEUFjGipI pic.twitter.com/zVCL3ULxbl
Ghelia Monthly～イラストレーターとAI【1】／AIは「安倍吉俊」にはなれない（ゲスト：安倍吉俊氏）
清水亮さんがイラストレーターの安倍吉俊さんと画像生成AIについて対談されています。
shi3zさん交友関係幅広い。そして、とてもタイムリーで貴重なトーク > Ghelia Monthly～イラストレーターとAI【1】／AIは「安倍吉俊」にはなれない（ゲスト：安倍吉俊氏） https://t.co/ixJnqtxt8k
— からあげ (@karaage0703) October 25, 2022
この日の気になるツイート
特定アーティスト生成派閥、それらに対抗するアーティスト派閥は海外でも発生しているようです。
コンセプト
- 特定のアーティストの作品を、スタイルセレクターでAIが微調整（例：Greg Rutkowski、現在AI世代に人気）。
- UIには、そのアーティストの普段のギャラも表示されます。
- AIアートを生成するたびに、UIに「AIを使うことで890ドル節約できました！」と表示される。
Concept:
— Eliezer Yudkowsky (@ESYudkowsky) October 21, 2022
- AI finetuned on particular artists' bodies of work with a style selector (eg Greg Rutkowski, currently popular in AI gen);
- UI also shows those artists' usual pay rates;
- Each time you generate AI art, UI says, "You saved $890 by using AI!"
このような概念にこそ、私たちは対抗しなければならないのです。
-著作権のない素材で構成されたデータセットを要求する。
-私たちの作品のパワーと所有権を取り戻しましょう。AIモデルからの脱却を可能にする。
-データセットが使用されたアーティストに報酬を支払う。
These type of concepts is what we NEED to be fighting against.
— Genel Jumalon ✈️ Anime Weekend Atlanta (@GenelJumalon) October 23, 2022
-Demand datasets composed of non-copyright material.
-Reclaim power and ownership of our works back. Allow us to opt out of AI Models.
-Pay artists who's datasets are used these models. pic.twitter.com/yGCoKpEKTW
最後に
Twitterに、毎日製作したものや、最新情報、検証を載せたりしています。
よかったら見ていただけたら嬉しいです。
画像生成AIの実験, 最新情報のまとめはこちら
過去の号はこちら
次の号はこちら
