芸術系AI（2023年1月アーカイブ）

チャットUIで、画像を生成して、そのまま編集命令もチャットでできるシステムつくった。

女の人生成して、表情変えたり、髪変えたり、メガネたしたり。#StableDiffusion https://t.co/fAEO8DUd1h

— 深津 貴之 / THE GUILD / note.com (@fladdict) January 30, 2023

おー！テキストから音の生成AIの「Make-An-Audio」を中国（北京大学、Bytedanceなど）が発表。様々なテキストから音生成可能な他、例えば「赤ちゃんのなき声」を条件として「雷と雨の音」に合成し「赤ちゃんが嵐の中泣いている音」を生成可能。
すごいのが画像や動画を入力として音声生成できる！ https://t.co/CfWzREtd8o

— bioshok(INFJ) (@bioshok3) January 29, 2023

努力の末、デモが4倍ぐらい早くなりました。これまで30秒かかっていた生成が7秒ぐらいになりました。ぜひお試しください。https://t.co/DRbAMPbp2v pic.twitter.com/0wAIYyrrEw

— あるふ (@alfredplpl) January 29, 2023

AI歌声合成の新時代！
ささら・つづみと演奏者、観覧者が一体となった最高のライブをぜひご覧ください！#CeVIO #CeVIO_AI #ささつづWinter

【ささら＆つづみ Winter】Shangri-La｜ロストワンの号哭【特別無料公開】
niconico : https://t.co/kfGTd3qEQL
YouTube : https://t.co/NxKnwRPcot pic.twitter.com/Onv3ZdU8mD

— CeVIOプロジェクト スタッフ公式 (@CeVIO_st) January 29, 2023

今日もまた世界が変わってた👀！Googleの研究チームがテキストから音楽を生成するMusicLMを公開。似たようなサービスは前もあったけど、それとは次元が違う。さすがGoogle👏。公式ページ（👉https://t.co/3GQW3DaaWa）で5500個のサンプルを無料で公開していて、5月のGoogle I/Oが待ち遠しい🦒。 https://t.co/XVk5eIWjKU pic.twitter.com/MnJqX65BIL

— sangmin.eth @ChoimiraiSchool (@gijigae) January 27, 2023

これすっご。まだ論文を読めてないが、デモを見ると適当な素人のハミングからピアノ、ギター、弦楽４重奏、オペラ歌手風にメロディーを維持しつつMusic2Musicをテキスト条件付け（アカペラコーラスとか入れる）で生成できている・・・。これimg2imgの音楽版じゃん。もちろんtext2musicもできる。 https://t.co/8FQyEITPRG

— bioshok(INFJ) (@bioshok3) January 27, 2023

Major update: Automatic1111 @Gradio Web UI Photoshop Stable Diffusion plugin V1.1.0, No GPU required, Free and Open Source

github: https://t.co/eqCBQLZPF8
reddit thread: https://t.co/AsoWFY27iO pic.twitter.com/OsARu4wgWR

— AK (@_akhaliq) January 28, 2023

テキストから音を生成するモデル「AudioLDM」。テキストとして「A music made by xxx」を入力した場合の生成結果。音楽以外にも様々な音を生成できるらしい。単一のGPUで学習されているそうで、論文は月曜日に出るらしい。モデルはすぐにオープンソースにする予定とのことhttps://t.co/6DbLYBCUfM

— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) January 28, 2023

画像生成AI「Midjourney」をオープンソースで再現する「OpenJourney」が登場https://t.co/mRHQRaxbkL

— GIGAZINE(ギガジン) (@gigazine) January 26, 2023

nijijourneyにもblendモードが搭載されたようです。これは嬉しいhttps://t.co/exBb3UDuCv

— やまかず (@Yamkaz) January 26, 2023

Clean Diffusion 2.0 PoCをリリースしました。Stable Diffusion のうち、VAEとU-Netという画像が関わる部分を全てパブリックドメインの画像だけで作りました。現状は海しか作れません。ですが、クリーンなモデルは作れることを本モデルにより世界で初めて実証しました。https://t.co/9i0fY5nLB8 pic.twitter.com/4nKlQV4KHw

— あるふ (@alfredplpl) January 26, 2023

#CoolJapanDiffusion 2.1.1.1をリリースしました。前回からの変更点は以下の通りとなります。
・入力プロンプトにWaifu Diffusionとの互換性
・masterpieceという画風を追加（デモの初期画風へ）
・マンガ表現の強化

デモ: https://t.co/DRbAMPbp2v
モデル: https://t.co/cLVCfivUtr pic.twitter.com/dUF2usFiyN

— あるふ (@alfredplpl) January 24, 2023

複数の画像や言葉を混ぜ合わせて、斬新な絵が作れる
「Image Mixer」モデルがリリース！

モデル: https://t.co/dXWI839qdV
デモ: https://t.co/eFoFYc3c9mhttps://t.co/S2yEHiyyo0 pic.twitter.com/dUlr9a2a2S

— やまかず (@Yamkaz) January 24, 2023

Playground AIの画像変換機能を使ってみてる。

好きな画像をアップロードして「本体を赤くして」とか「背景をビーチに変えて」とか好きに打ち込むと本当に画像をそのように変換してくれて結構すごい。

しばらくしたら簡単な画像編集はデザイナー要らずで出来てしまうだろうな。 pic.twitter.com/MOJYNNswQ2

— KAJI | 梶谷健人 (@kajikent) January 24, 2023

Replacing clothes using AI in video. InstructPix2Pix + EbSynth@Gradio Demo: https://t.co/4MpDl56Rbl
reddit thread: https://t.co/A8mXMZmNm2 pic.twitter.com/1Yi6wsE4CG

— AK (@_akhaliq) January 24, 2023

#CoolJapanDiffusion 2.1.1.1をリリースしました。前回からの変更点は以下の通りとなります。
・入力プロンプトにWaifu Diffusionとの互換性
・masterpieceという画風を追加（デモの初期画風へ）
・マンガ表現の強化

デモ: https://t.co/DRbAMPbp2v
モデル: https://t.co/cLVCfivUtr pic.twitter.com/dUF2usFiyN

— あるふ (@alfredplpl) January 24, 2023

簡単に Stable Diffusion のモデルを試せる Google Colab の使い方ガイド｜teftef @hanyingcl #note https://t.co/vqbpX7nEEu

Colab で動かす Stable Diffusion の使い方です。GPUがなくても数多くのモデルを使って画像生成できます。#stablediffusionart #AI術師さんと繋がりたい #AIart

— teftef (@hanyingcl) January 23, 2023

日本を画像生成AIで再現する　「自分の見た景色」を学習したAIは強力な思い出再生装置に（要約） https://t.co/HdGjbB6qm4

— 布留川英一 / Hidekazu Furukawa (@npaka123) January 20, 2023

人間の指示から数秒で画像編集できる 「InstructPix2Pix」のコードが公開！

「ひまわりとバラを交換」「空に花火を追加」「雪が降っていたら？」などを入力すると画像が編集できる

Project: https://t.co/H3iY5qQpXm
code: https://t.co/sZueY6UG4R
demo: https://t.co/8bPVHiWkB3 pic.twitter.com/ox5pUUtOh8

— やまかず (@Yamkaz) January 20, 2023

img2imgベースのお絵描きAIアプリ
「Ai Pencil」が公開https://t.co/LPbeDkXCrd pic.twitter.com/LmffVAKgRt

— やまかず (@Yamkaz) January 20, 2023

Stable Diffusionが使えるPhotoshopプラグイン
「https://t.co/p9luEakmXm」https://t.co/wwqI4gJ0Nz

特徴はhttps://t.co/Ggc3yujipuの画像を検索してインスピレーションを得れることと、Automatic1111、fast-stable-diffusionのAPIをバックとして利用できること pic.twitter.com/3VSb0PkxDS

— やまかず (@Yamkaz) January 17, 2023

画像のミキシングツールが開発中！

複数画像やテキストを混ぜあわせることができるMidjourney v4のRemix機能と似たものを、以前画像のバリエーション生成モデルを制作したJustin Pinkneyさんが開発中https://t.co/5TDnLmbfyF pic.twitter.com/tViaNslFin

— やまかず (@Yamkaz) January 18, 2023

どうやらDeepFloydの新しい画像生成AI「IF」はオープンソースのImagenらしい...やばい

特徴は、
・文字の情報をより適切に反映
・不自然な出力が少ない
・1024x1024の高品質画像生成でアップスケーラーいらず
・2月上旬に公開(？)https://t.co/7HHnf9Asd4 pic.twitter.com/d2AQAnzoFs

— やまかず (@Yamkaz) January 16, 2023

img2imgで生成されたアニメーション
もう今のレベルでもアニメ制作に少し利用できそうな感じがするpic.twitter.com/FFPLikBWVehttps://t.co/ool0IHKSM3

— やまかず (@Yamkaz) January 17, 2023

ラフでは腰の位置とあとはポイントになる部分だけで事足りる場合もある…かもしれない pic.twitter.com/ZZRZt6IZBz

— ヒラオ (Hirao) (@zetuZT) January 16, 2023

アニメ調テスト。Midjourney（コマンドで--niji）の同バリエーションで連番を作りAfter Effectsでワープスタビライザーとウィグラーかけただけ。 pic.twitter.com/PxmIPEffBE

— 庭月野議啓 NIWATSUKINO Norihiro (@Dir_NIWATCH) January 16, 2023

二次元イラストに特化した画像生成AI「Anything v4.0」が登場https://t.co/zFCZ1d67FD pic.twitter.com/JtIiom2Xvs

— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) January 14, 2023

nijijourneyで作られた架空映画『RED HOOD』
めちゃクオリティ高くて凄い。AIで丸ごとアニメ生成できる世界早くきてほしいpic.twitter.com/893mSd6sIJhttps://t.co/28BfBffR9h

— やまかず (@Yamkaz) January 15, 2023

AI を自分好みに調整できる、追加学習まとめ ( その５: LoRA)｜teftef @hanyingcl
#note

LoRA を試した結果と、 論文解説

モデルは公開しています。#stablediffusion #AIartists https://t.co/SjNM0MvN53

— teftef (@hanyingcl) January 15, 2023

Stable Diffusionとレイヤー編集が使える画像生成AIプラットフォーム
「https://t.co/YqTQgWYo65」が公開 pic.twitter.com/T2Z4iH43dD

— やまかず (@Yamkaz) January 15, 2023

何やら凄そうな画像生成AI「Counterfeit-V2.0」が登場してる。。。https://t.co/P8F1gWhnrV pic.twitter.com/xPCxYlwvK5

— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) January 16, 2023

nijijourneyでアニメ背景生成。近頃生成してなかったけど数か月前に比べて大分アニメ背景になってきてるのね。恐ろしや pic.twitter.com/RXp1KxYy3f

— Hirokazu Yokohara (@Yokohara_h) January 15, 2023

ピクセルアートのDiffusionモデル「PXL8 V1」が公開！

モデル: https://t.co/DXARvxEUXv
一緒に使うスクリプト: https://t.co/ZM60ejQL7A pic.twitter.com/nagdZvZF4e

— やまかず (@Yamkaz) January 12, 2023

AUTOMATIC1111の拡張機能として新しいUpscaler「Ultimate SD Upscaler」が公開！https://t.co/2VNzJCUMZQ pic.twitter.com/d7Z2Jf3Itl

— やまかず (@Yamkaz) January 12, 2023

絵画のように見える良いポートレートを作成するためのモデル「DreamShaper 2.52」がリリース！https://t.co/fyYNTdPdqH pic.twitter.com/jwrSXBeNWu

— やまかず (@Yamkaz) January 12, 2023

2022年はさまざまな生成モデルが登場しましたが、年末に発表されて大きな注目を集めているScalable Diffusion Models with Transformersについて日本語訳が有志の方によって行われました。https://t.co/pG8ZlEmVlb

— H_Shimizu (@biomedicalhacks) January 12, 2023

MidjourneyとAfterEffectsで制作されたショートフィルムpic.twitter.com/PE62HQ8oHjhttps://t.co/UxdEFnHiq1

— やまかず (@Yamkaz) January 13, 2023

AI
8時の投稿の再投稿 pic.twitter.com/d9vwwYFdZM

— 852話 (@8co28) January 12, 2023

より良くなったAnything V3「Anything V3 - Better VAE」が公開https://t.co/erOQxLsvu5 pic.twitter.com/wHD5GeUJnd

— やまかず (@Yamkaz) January 9, 2023

StableDiffusion Webui AUTOMATIC1111などで利用できる様々なマージモデルシリーズ「OrangeMixs」https://t.co/WlCKdFV3fp pic.twitter.com/5ecHZZVCqk

— やまかず (@Yamkaz) January 10, 2023

AI を自分好みに調整できる、追加学習まとめ (番外編 : データセットの集め方について)｜teftef @hanyingcl #note https://t.co/5v5IabcSls

— 布留川英一 / Hidekazu Furukawa (@npaka123) January 7, 2023

超高品質なモデルを公開し続けるhttps://t.co/3PyNVedI5cから
「Dreamlike Anime 1.0」モデルがもうすぐ公開予定https://t.co/gHtBvmJRGg pic.twitter.com/Cno78CqS5w

— やまかず (@Yamkaz) January 8, 2023

Cool Japan Diffusion 2.1.0のデモにプロンプト補正機能を試しに入れてみました。 a girlやcatなどのシンプルな言葉を入れると、勝手にネガティブプロンプトとかを追加してくれます。お試しあれ。https://t.co/b3mUfsAZ18 pic.twitter.com/jsDa8ZnNRy

— あるふ (@alfredplpl) January 9, 2023

My friend makes this video using 4 hand-drawn images + #Live3D-v2 + #stablediffusion .

Looks like AI assisting anime creation has gone to the next level!

(original output from Live3D can be found on https://t.co/IyYNukhGIU) pic.twitter.com/U5F0bLmU66

— Transp. Chan (@transpchan) January 6, 2023

単純なプロンプトで高品質な画像を生成できる
「Vintedois Diffusion v0.1」

大量の高画質画像と単純なプロンプトで学習させることで、長いプロンプトエンジニアリング不要で美しい画像を生成することができる。もうすぐv0.2が公開
モデル: https://t.co/Ta1oLEAgg1
Demo: https://t.co/7tBpePl9v7 pic.twitter.com/2u0BCMl15F

— やまかず (@Yamkaz) January 4, 2023

スケッチからイラスト生成への拡散モデル「Style2Paints V5 」

モデルのパラメータ数は、Stable Diffusion V2 の 1.42 倍。モデルは2つあり、一つは正確に元のスケッチに合わせる「ドロシー」。もう一つは自由気ままに生成する「アリス」。オープンソース予定！ https://t.co/UEqI3PVzoz

— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) January 5, 2023

ローカルで埋め込まれたプロンプトで画像検索できるツール
「Diffusion Toolkit」のβ版 v0.8.3が公開！https://t.co/SwvJNvtgdAhttps://t.co/zT7WVrOwFw pic.twitter.com/t57v7c0O5x

— やまかず (@Yamkaz) January 4, 2023

2023年、早速グーグルが画像生成AI「Muse」を発表！拡散モデルや自己回帰モデルよりもかなり効率的なのに、最高レベルの画像生成性能を達成！品質、多様性、テキストと画像との整合性に優れた上で、他のモデルより2倍〜10倍高速！多様な編集機能も！https://t.co/wHEAPTcxlJhttps://t.co/eCyHUvnXbi pic.twitter.com/MbdRwxlkZS

— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) January 3, 2023

Googleより新しい画像生成AI
「Muse」が発表https://t.co/owDIsBbqky

既存の拡散モデルや自己回帰モデルより大幅に高速かつ、最先端の画像生成能力を実現したテキストから画像を生成するTransformerモデル

モデルのfine-tuningやinversionなしで、inpainting、outpainting、マスクフリー編集が有効 pic.twitter.com/4tOH5r2kfc

— やまかず (@Yamkaz) January 3, 2023

Cool Japan Diffusion 2.1.0がリリース！https://t.co/Lr0BehMnko

CJDは、SDを微調整し、アニメやマンガ、ゲーム等のクールジャパンを表現することに特化したモデル

取説: https://t.co/B1Nw5PptZD
2.1β: https://t.co/7CsV7corcI
2.0: https://t.co/Yh5Yf0lhnFhttps://t.co/dc4qMqVpxp pic.twitter.com/8hLeO1syag

— やまかず (@Yamkaz) January 3, 2023

AI
課題の合間に絵を描く女の子 pic.twitter.com/dGHQfjJBwH

— 852話 (@8co28) December 30, 2022

ポップミュージックの波形から、ピアノカバー（MIDI）を生成する「Pop2Piano」のデモが公開されてたのでやってみたhttps://t.co/XWuxQsBGkThttps://t.co/K3PSCnNqf9 pic.twitter.com/0ka9zsOHne

— やまかず (@Yamkaz) January 3, 2023

テキストから3Dを生成する新しい手法
「Dream3D」が公開https://t.co/pHCchg8FV9

CLIP-Mesh、Dream Fields、PureCLIPNeRFなどの最先端の手法と比較して、優れた視覚的品質と形状精度で、想像力豊な3Dコンテンツを生成することが可能に。コードは近日公開 pic.twitter.com/Rp8rE0SoUT

— やまかず (@Yamkaz) January 2, 2023

Cool Japan Diffusion 2.1.0 ですが、こちらのページから無料でお試しすることができます。ぜひお試しください。https://t.co/Fx7GbqU5VL pic.twitter.com/VVh2VMqX6x

— あるふ (@alfredplpl) January 3, 2023

AI
架空文字架空雑誌 pic.twitter.com/Gbz9tf0n08

— 852話 (@8co28) January 3, 2023