メインコンテンツへスキップ
見出し画像

芸術系AIアーカイブ(2022年12月31日~2022年9月30日)

    はじめに

    芸術AIの進化が速い。芸術系AIの出力を人間が評価し、出来の良いものをネットに上げ、それをAIが学習するという好循環が生まれています

    文章→画像→3D→動画、文章→音声 のAIを組み合わせることでストーリー動画を作成できます

    学習データを元に作成するAIは「どこかで見聞きした絵柄、ストーリー、音楽」しか作成できない限界があります

    米国では売れ筋の映画を参考にAIが映画のシナリオを作成するので「ヒット確実だが似たようなストーリーの映画」が大量生産されて問題になっていると聞いたことがあります

    こちらは、今話題のChatGPTメイン

    芸術系AIリンク

    phenaki(Text-to Video)

    HoloraAI(Text-to-animecharacter)

    AI絵を修正する

    芸術系AI注目情報

    #StableDiffusionV2 .1(絵画作成)

    2022年12月31日

    UIデザインを生成するために微調整されたStableDiffusion v2.1用Embedding β版が公開https://t.co/JWlk5yQmrs pic.twitter.com/oJgM80N6ul

    — やまかず (@Yamkaz) December 29, 2022

    #8528diffusion (絵画作成)

    2022年12月31日

    AIが「突然の土砂降りで服がぐっしょり濡れてしまった時たまたま僕の家の前だったのですごく恥ずかしいながらもTシャツを貸して欲しいと頼みに来たクラスメイトのおとなしい女の子」みたいな絵出してくれたので強い pic.twitter.com/Ltlr3Jz3Kh

    — 852話 (@8co28) December 30, 2022

    #8528diffusion (絵画作成)

    2022年12月30日

    #ChatGPT (映画)

    2022年12月28日

    ChatGPTが歴史を作る: AIとして初めて映画の脚本と監督を担当https://t.co/9OO3SxMclL

    — やまかず (@Yamkaz) December 27, 2022

    #MusicEngine (音楽)

    2022年12月28日

    【お知らせ】MusicEngineのドキュメントを書きました!Unity単体で音楽同期演出やらインタラクティブミュージックができます。Githubから落としてきてご自由にご活用ください。何度もリクエスト頂いていたのに遅くなってすみません!https://t.co/WYMJNfK1sZ
    例として動画のようなことができます。 pic.twitter.com/Nzcmc6JPzO

    — じーくどらむす/岩本翔 (@geekdrums) December 27, 2022

    #Shoost (動画)

    2022年12月28日

    Shoost が歌配信でよく使われているようなので、自動カメラ切り替えを作ってみた。なかなか良さそうなので実装できるように調整してみる。 pic.twitter.com/jCg3RNEZNB

    — MuRo (@MuRo_CG) December 28, 2022

    #UnityLibrary (音源)

    2022年12月26日

    ヤマハがUnity向けに立体音響ライブラリを提供。
    立体音響には反射とか遮蔽とかドップラー効果とか色々ありますが、今回は定位に特化したエンジンとのこと。
    パーソナライズのない平均的な頭部伝達関数でもしっかり定位が出ると自信をお持ちでした。問い合わせで評価版も。https://t.co/q8CmECmeM2

    — Masa Seiki (@mas_sk) December 23, 2022

    #breadboard (生成画像の一括管理)

    2022年12月26日

    マシン上(Mac、Windows、Linux)のすべてのStable Diffusionでの生成画像を1か所で参照、検索、管理できる「breadboard」が公開https://t.co/6roXjJ5Ilw pic.twitter.com/pR9wHey87H

    — やまかず (@Yamkaz) December 23, 2022

    #音楽生成AIの2年

    2022年12月26日

    【プレイバック2022】AI歌声合成が歌手を超えた'22年。「Synthesizer V」の進化に驚愕した by 藤本健-AV Watch https://t.co/5w1jXj8joK #ロボット業界ニュース

    — ロボットスタート(ロボスタ) (@robotstart) December 25, 2022

    #blender (フィギュア作成)

    2022年12月25日

    AI出力絵(3枚目)のdepth(深度)を求めて
    blenderで技術3D化(2枚目の動画)して
    その後データを調整して3Dのフルカラー印刷で実際にフィギュア具現化(1枚目)しました
    5cmくらい pic.twitter.com/6GZKFVaGEH

    — 852話 (@8co28) December 25, 2022

    #852v0 .4(絵画作成)

    2022年12月25日

    v0.4で使用した1.1万枚のhttps://t.co/kFo85GjNcb
    学習データセット(AI出力絵)を追記しました。

    追加学習画像のgoogleドライブ→noteで公開ですが、ver0.4から1万枚を超えたので容量が大きく現実的でなくなっているので
    次回からは生データではなく50%程度縮小をかけたデータを公開します。

    — 852話 (@8co28) December 25, 2022

    #PhotoshopAdon (絵画作成)

    2022年12月23日

    Stable Diffusionが使えるPhotoshopプラグインがなんと無料でオープンソースに!https://t.co/FaOS0YB9OV

    カスタムモデルの利用から、画像の生成、インペインティング、アウトペインティング、画像のバリエーションまであらゆる機能が搭載 pic.twitter.com/4VX1D2fyUy

    — やまかず (@Yamkaz) December 21, 2022

    #ChatGPT +Midjourney(絵画作成)

    2022年12月22日

    ChatGPTとMidjourneyで素晴らしい画像を作成する

    How to generate the perfect imageshttps://t.co/cXdc7OruHU

    — やまかず (@Yamkaz) December 22, 2022

    #個人学習 (絵画作成)

    2022年12月22日

    AIに僕の絵柄を教えてみました。クラウドGPUを借りて150枚の参考絵を使って6時間習わせてみました。結果はこうなりました↓ pic.twitter.com/Vi9pCuG78b

    — ピナケス (@PinaxPinakes) December 21, 2022

    #Kario1 .0(AI絵画作成)

    2022年12月22日

    韓国のAI開発組織「カカオブレイン」が画像生成AI「Karlo 1.0」を公開。DALL-E2ベースのモデルで、約1億1500万枚の画像とテキストの組で学習

    CEO(最高経営責任者)「AIエコシステムの発展を加速させるために、世界トップレベルのAIをオープンソースで公開し続けます」https://t.co/Q30vQDGpv4 pic.twitter.com/2uk4TBOge0

    — 小猫遊りょう(たかにゃし・りょう) (@jaguring1) December 21, 2022

    #Point -E(AI絵画作成)

    2022年12月22日

    OpenAIから新たに「入力テキストに従って3Dモデルを作成するPoint-E」が発表

    点群で3次元オブジェクトを作ってからメッシュを貼る。特徴はその速さ

    日本語の良い解説記事https://t.co/Bs9PRWkMCm

    huggingfaceで試せます(皆試していてBusy)https://t.co/lbORJKrhp2

    以下私の手元で動かした様子 pic.twitter.com/nJSQh4HvnH

    — 小川雄太郎 (@ogawa_yutaro_22) December 21, 2022

    #Colab (AI絵画作成)

    2022年12月22日

    https://t.co/CJqXAJoa7E

    ↑Colab で動かすStable Diffusion (Fintuning Model Ver 1.0)

    個人がファインチューニングしたその方々独自のモデルが試せます

    モデル提供いただいた方@8co28
    様@nikaidomasaki
    様@p1atdev_art
    様
    ありがとうございます#stablediffusion #WaifuDiffusion #AIart pic.twitter.com/g2UYJueC1c

    — teftef (@hanyingcl) December 22, 2022

    #8528Diffusionv0 .4(AI絵画作成)

    2022年12月22日

    ファインチューニングについての大まかな説明とファインチューニングで独自のモデルを作ってみたい方はこちらからhttps://t.co/ijc0MfAfwX

    — teftef (@hanyingcl) December 22, 2022

    #8528Diffusionv0 .4(スマホでAI絵画作成)

    2022年12月22日

    スマホからも試せる8528 diffusion v0.4のデモを公開しました(時間帯により生成時間にかなりの開きがあります)
    シード固定、正方形、ポジティブプロンプトを入れるだけの簡単なデモです。https://t.co/8LF7u392Yv

    #8528d pic.twitter.com/C5LBLmBATv

    — 852話 (@8co28) December 21, 2022

    #CustumDiffusion

    2022年12月21日

    The @Gradio Demo for Custom Diffusion: Multi-Concept Customization of Text-to-Image Diffusion is out on @huggingface Spaces

    demo: https://t.co/hg55A3YCE0 pic.twitter.com/iSr7Vuba2b

    — AK (@_akhaliq) December 19, 2022

    #StableDiffusion (まとめ)

    2022年12月21日

    画像生成AIアドベントカレンダー 19日目、書きました!#StableDiffusion を応用して作った自分のVRChatアバターについて、興味範囲であるVRとAIの両方入り記事です。 https://t.co/CgIRTLU8Ae

    — Kenji Iguchi (@needle) December 19, 2022

    #AIいらすとや(絵画生成)

    2022年12月21日

    いらすとや風のイラストを生成する「AIいらすとや」をリリース|AI Picasso株式会社のプレスリリース https://t.co/SimilCAlZN #ロボット業界ニュース

    — ロボットスタート(ロボスタ) (@robotstart) December 20, 2022

    #Shoost (絵画生成)

    2022年12月20日

    見てくれ!これが、自動プロンプト生成によって表情筋を鍛えることに成功したミクさんだ!表情筋鍛える前との比較はリンクを下にぶら下げておきます。#AIイラスト #AIart #AImovie #stablediffusion pic.twitter.com/9cFFXipuxt

    — 猩々 博士🧪学術系Vtuber (@Mega_Gorilla_) December 18, 2022

    #Shoost (絵画生成)

    2022年12月20日

    #Shoost のちょっとしたTipsを書きました。

    Shoost Tips|MuRo|pixivFANBOX https://t.co/ePMP6Gp3Pu

    — MuRo (@MuRo_CG) December 19, 2022

    #Shoost

    2022年12月18日

    Some fun with #Shoost v7 & Aldious, the update is sooo good, the new effects are amazing!#VTuber pic.twitter.com/EKgYbVt29a

    — ♰ Ludovica ♰ (@LudovicaVT) December 17, 2022

    #Shoost (絵画生成)

    2022年12月18日

    shoost新機能のLEDが良きですね!🌈 pic.twitter.com/ix0FIAE5a5

    — ガオラン|Vtuber (@Gaoran_Meru) December 17, 2022

    #Shoost (絵画生成)

    2022年12月18日

    Trying out the lastest version of Shoost and I'm in love😭❤️❤️❤️
    All those effects are so perfect! Thank you so much for your hard work🙏#Shoost pic.twitter.com/7BCd8OzRUe

    — Rosine🌹💕@MidG (@Rosine_MidG) December 17, 2022

    #HolalaAI (絵画生成)

    2022年12月17日

    新しいAIイラスト生成サービス
    「HolaraAI」が公開!https://t.co/sWSI6GGmY7

    より良い色とスタイルを得るため、そして他のすべての人と公平になるために、Stable Diffusion 1.5を多くの独自手法を用いて学習させたものとのこと。以下は個人的に出力したもの、編集なしです #HolaraAI pic.twitter.com/uTqdS21nfp

    — やまかず (@Yamkaz) December 16, 2022

    #Shoost (絵画生成)

    2022年12月16日

    【 Update 】 Shoost v0.7.0 🎉 #Shoost
    - 天候やパーティクルエフェクトを追加/ Add weather and particle effects.
    - LEDパネル、カメラフラッシュ、Outline、機能を追加/Add LED Panel, Camera Flash, Outline, functions.

    【日本語】https://t.co/dq9UocTBiR
    【English】https://t.co/MPr9ymLdlG pic.twitter.com/pI1TnwDT3v

    — Shoost (@Shoost_Product) December 15, 2022

    #Shoost (絵画生成)

    2022年12月15日

    試しにさっそく使ってみましたが…

    スゲェなコレ……(語彙力)
    チョチョッとイジっただけでココまで…(語彙力)#Shoost https://t.co/MNrRDu8nVS pic.twitter.com/IkFIgZIPUV

    — ろか (@roka202205) December 15, 2022

    #Midjourney (3D)

    2022年12月15日

    デフォルメCG風ゲームキャラをMidjourneyで生成。CGレンダリング風が楽しい。困ったことに自分で作らなくても可愛いキャラがいっぱい生成されるのよね。。 pic.twitter.com/VER3Ub8Zrd

    — Hirokazu Yokohara (@Yokohara_h) December 14, 2022

    #AIの進展

    2022年12月15日

    これはホントそうですね。>RT

    数ヶ月前に他と差をつけるのはプロンプト入力のコツになるかと思ったけど、この辺も一瞬にして関係なくなる。
    写実的にするのもたった1コマンドで出来るようになった。

    — Kouji Tajima 田島光二 (@Kouji_Tajima) December 15, 2022

    #AI画集

    2022年12月15日

    BOX(画像生成AI出力画集) | 852話 https://t.co/M7588gnWXx #booth_pm
    自分用にAI画像(人物)をまとめた本をpixivFACTORYで作ってBOOTHに置きました。工場で製本・発送されるので住所バレの危険無し。
    A5縦オールカラー100P2200円(+送料)
    この動画が中身全てになります。紙で欲しい人向け。 pic.twitter.com/mG2sReyZwv

    — 852話 (@8co28) December 15, 2022

    #StableDiffusion (アバターがテキスト発話)

    2022年12月15日

    伝えたいことをAIで話すアバター動画に一瞬で変換!

    GPT-3、Stable Diffusion、D-IDの独自の顔アニメーション技術を組み合わせた世界初のプラットフォーム
    「Creative Reality Studio」が公開https://t.co/2Cvi975XQg pic.twitter.com/X7uqfMKd84

    — やまかず (@Yamkaz) December 13, 2022

    #Imagine3D (3D生成)LumaAI

    2022年12月15日

    テキストから3Dを生成する新しい機能
    「Imagine 3D」が公開予定!https://t.co/bAuCCEXoaa

    Luma AIがまさかの3D生成サービスを公開されるようです。現在アーリーアクセス中で、今後改善を続けることで、誰でも利用可能にするとのことpic.twitter.com/j9yRUr4b0Whttps://t.co/RUfR3EIWz5

    — やまかず (@Yamkaz) December 14, 2022

    #Aitutsprompt (イラスト生成)

    2022年12月14日

    無料で高品質のMidjourneyプロンプト収集サイト
    「Aitutsprompt」が公開!https://t.co/3cjfhbIHTu pic.twitter.com/FSXsuzvv44

    — やまかず (@Yamkaz) December 13, 2022

    #AIイラストメーカー(イラスト生成)

    2022年12月14日

    Meituの「AIイラストメーカー」が凄すぎると話題! 下手な落書きが瞬時にプロ並みの萌え絵に! - OTONA LIFE | オトナライフ https://t.co/LjIayV8Qe3 #ロボット業界ニュース

    — ロボットスタート(ロボスタ) (@robotstart) December 13, 2022

    #ダンスモーション生成(ダンスモーション生成)

    2022年12月13日

    これって、ヒューマノイドにさまざまなダンスを踊らせるのが可能になるということ?https://t.co/zfgcf4YDAq https://t.co/G2UWx1eEWu pic.twitter.com/pL2AEiiDED

    — YANO Tomoaki@JSMEーTRCビジョン2050WS12月23日 (@yanotomoaki) December 12, 2022

    #アニメ生成 (アニメ生成)

    2022年12月12日

    It's really cool that I can just animate small bits of generic animations and then tie them together on the timeline in unity to make sequences. pic.twitter.com/KRRTj4Xt16

    — Lez (@leztusi) December 11, 2022

    #852 -diffusion-V0.2(画像生成)

    2022年12月9日

    8528Diffusionv0.2を公開しました。 SD、WD AIモデルの追加学習 よもやま話2|852話 @8co28 #note https://t.co/ViRTXS179K
    一応リンクまとめ記事です。ckptをダウンロードできるhuggingfaceと白井さんに作っていただいたcolabと学習元データとdiscord鯖のリンクが載ってます。

    — 852話 (@8co28) December 9, 2022

    #852 -diffusion-V0.2(画像生成)

    2022年12月9日

    852話さんが作った 8528-diffusion-v0.2をGoogle Colab上で起動したWebUIで使用するコードです。https://t.co/slD5EtZwIZ

    Running on public URL: https://t.co/59uk61Jg19
    と出てくるURLをブラウザの https://t.co/kbnG05BECF のURLを別ウインドウで開くと、AUTOMATIC1111が動きます!#8528d pic.twitter.com/OjfslEiYpr

    — Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) December 9, 2022

    #StableDiffusionV2 (画像生成)

    2022年12月8日

    画像生成AI「Stable Diffusion v2.1(SD v2.1)」を組織「Stability AI」がもうリリース!SD 2.0ではフィルタを厳しくしすぎてデータセット内の人の数が大幅に減ってたが、ユーザーの要望に応えてフィルタを緩和。v2.0と比べ、解剖学や手の表現が向上。Stability AIは止まらないhttps://t.co/Qgd7sTfWG4 pic.twitter.com/bkAQmiExe2

    — 小猫遊りょう(たかにゃし・りょう) (@jaguring1) December 8, 2022

    #StableDiffusionV2 (画像生成)

    2022年12月8日

    Stable Diffusion V2(768px)用ピクセルアートのembeddingが公開!https://t.co/Ic7PvR5Bwu pic.twitter.com/N9V3wCarn0

    — やまかず (@Yamkaz) December 8, 2022

    #StableDiffusion2 .1(画像生成)

    2022年12月8日

    Stable Diffusion 2.1がリリース!!早い!https://t.co/8qBvDnd0hK

    DreamStudio搭載と同時に、モデルもリリース!
    2.0をベースに、手や解剖学的表現が向上し、様々なアートスタイルに対応。より多くのトレーニング、より多くのデータ、データセットのフィルタリングを緩和https://t.co/VVaPWYLsqj pic.twitter.com/V12Z3yDIVV

    — やまかず (@Yamkaz) December 7, 2022

    #AIイラスト急増(画像生成)

    2022年12月6日

    イラスト投稿サイトの「pixiv」でもAI画像の投稿が急増しています。7月以降の投稿件数は、AIで生成した画像と表記するイラストだけで累計9万件を超えます。#日経ビジュアルデータ #画像生成AI https://t.co/WPPU03gm2E pic.twitter.com/x5EMoW2jv0

    — 日経ビジュアルデータ (@nikkeivdata) December 4, 2022

    #8528d -1205_2(画像生成)

    2022年12月6日

    今回の実験の中で一番キュートだったやつ
    AI 無編集 #8528d pic.twitter.com/g83a4XQMKg

    — 852話 (@8co28) December 6, 2022

    #8528d -1205_2(画像生成)

    2022年12月6日

    AI
    8528diffusion v0.2ができたので実験中
    色々出せるようになってきた#8528d pic.twitter.com/kGx1XGwjgr

    — 852話 (@8co28) December 6, 2022

    #8528d -1205_2(画像生成)

    2022年12月5日

    AI
    8528d_1205_2(追加学習βモデル)
    2000枚学習させたv0.1データに新たに2500枚追加学習させたもの。扱いづらいがどんどんいいものになっている気がする。#8528d #AIart pic.twitter.com/f0f0ogvwOU

    — 852話 (@8co28) December 5, 2022

    #DALL -Emini(画像生成)

    2022年12月5日

    英語の文章に基づいて画像を自動生成するAI「DALL·E mini」が、生み出されるシュールな画像ゆえに話題になっている。https://t.co/nsuMZv5eNG

    — WIRED.jp (@wired_jp) December 4, 2022

    #InvokeAI2 .2(画像生成)

    2022年12月4日

    最強のStable Diffusion実装になりつつある..

    「InvokeAI 2.2」がリリース!https://t.co/bcVZEqy00c

    【新機能】
    ・無限キャンバス, Out/Inpainting、img2img
    ・Embedding管理
    ・高度な画像ビューワー
    ・Mac M1/M2,Windows, Linuxで1クリックインストール
    ・モデルが安全か自動スキャン
    ・DPM++2 pic.twitter.com/5vLna81JvQ

    — やまかず (@Yamkaz) December 2, 2022

    #個人作成ゲーム(AIでゲーム開発)

    2022年12月4日

    個人ゲーム開発でこのクオリティか…将来は映画やゲームの境界線は消えていくのかも。#3DCG #UE5
    pic.twitter.com/kYPmUFbSLp

    — 佐藤航陽 🌎 著書「世界2.0 メタバースの歩き方と創り方」 (@ka2aki86) December 2, 2022

    #TikTok (AIマンガ生成フィルタ)

    2022年12月4日

    TikTokにAIマンガっていう画像生成フィルターが搭載されてた。試した。流行ってるらしいけどホント海外は動きがはやい pic.twitter.com/kxArHMCAUP

    — Hirokazu Yokohara (@Yokohara_h) December 3, 2022

    #meitu (作画)

    2022年12月4日

    AIイラストメーカーで有名なクラシック音楽家を美少年化すると破壊力がすごいシリーズ。せっかくなのでゲームパッケージ作ってみました。#クラシック音楽家とAIアルケミスト pic.twitter.com/PK55XhQ8gr

    — 徳重龍徳(ライター、グラビア評論家)@ホークス&ちいかわファン (@tatsunoritoku) December 3, 2022

    #4次元生成(一覧)

    2022年12月1日

    画像生成AIが話題だけどこの数ヶ月で以下3次元、4次元生成AIも多く発表されてる

    ○text→3D
    Dreamfusion、StableDreamfusion、Magic3D

    ○image→3D
    LOLNerf、3dim、Get3D、NeuralLift-360

    ○4D→4D(映像から自由視点映像)
    NerfPlayer、PFN 4D Scan

    メタバースの要素技術が洗練されてっている。

    — bioshok(INFJ) (@bioshok3) November 30, 2022

    #StableDiffusion (追加学習)

    2022年12月1日

    #nerf -for-image(GoogleResearch)

    2022年12月1日

    Google Researchの画像1枚からできるNerf、これもえぐい
    なお
    requires either 4 GPUs with 40GB of memory each (e.g. A100) or 8 GPUs with at least 24 GB each.https://t.co/DuPICYeN0b

    — birdMan (@birdMan710Nika) November 30, 2022

    #学習方法最適化 (高速化)

    2022年12月1日

    急速に研究開発の進む大規模言語モデル分野ですが、「これまでの訓練方法は最適ではなかった」という結果が発表され、小規模で高い性能を上げるモデルが開発されています。

    本記事では、最適な訓練・チューニング法に関して、最新の論文をピックアップして解説しました。https://t.co/Dphc6pIoxb

    — ステート・オブ・AI ガイド (@stateofai_ja) December 1, 2022

    #INDUSTRIALATHLETE (動作解析)

    2022年12月1日

    INDUSTRIAL ATHLETE analyzes order picking at KNAPP AG in Austria

    KNAPP AG from Hart bei Graz in Austria uses the mocap-based measurement system INDUSTRIAL ATHLETE from scalefit to evaluate their ergonomic goods-to-person workplaces.

    Video source: scalefit#AI #motiontracking pic.twitter.com/yQqMjrhls5

    — Wevolver (@WevolverApp) December 1, 2022

    #WaifuDiffusion

    2022年12月1日

    自分が出力したAI画像をさらに学習させたモデルを作った話
    4枚の画像は追加学習後のWDの出力物。
    SD、WD AIモデルの追加学習 よもやま話1(ckptテスト用colabあり)|852話 @8co28 #note https://t.co/OUa1EG1GPM pic.twitter.com/frHx2S2tpW

    — 852話 (@8co28) November 30, 2022

    #WaifuDiffusionxColab

    2022年11月30日

    #WaifuDiffusion

    2022年11月30日

    WaifuDiffusionに追加学習させた8528_1130.ckptモデルの同seed対比。背景は若干弱いけど全体的な画面の構成はいい感じに出力されるよう調整された。
    学習に使ったのはAI出力(t2iか、t2iのi2i)画像1500枚くらい。 pic.twitter.com/OrayEHusm5

    — 852話 (@8co28) November 29, 2022

    #NovelAI

    2022年11月29日

    NovelAIの深部で謎の未確認生物「Uwawawawawwaawaawaawawwawawa」が発見されたhttps://t.co/ExfInP99B2

    アニメの女の子と融合することができる非義務的な共生体で、頭頂部からの融合を好み、帽子のような役割を果たすとのこと pic.twitter.com/BqpASldf4J

    — やまかず (@Yamkaz) November 28, 2022

    #拡散モデル実装にColabを使用

    2022年11月29日

    WDモデルへの追加学習にこちらのcolabを使用させていただきました。現状VRAM的にcolabのpro以上だと使えるようです。 https://t.co/lHYgmeaEYa pic.twitter.com/PjUKw09BPs

    — 852話 (@8co28) November 29, 2022

    #CLIP STUDIO PAINT 画像生成AIパレット実装

    ついに、大手画像作成ソフトウエアがAIを組み込み始めた
    Adobeが組み込む日も近い

    2022年11月29日

    12/6(火)に無償公開するVer.1.13.0で「画像生成AIパレット」の試験的な実装を予定しています。
    今回の実装にあたりセルシスはユーザーデータをAI学習用に一切提供しておらず、今後もユーザーの明確な同意なしにデータを収集・利用することはありません。https://t.co/rhjDfSFuRo pic.twitter.com/hACKPxPtkB

    — CLIP STUDIO PAINT(クリスタ) (@clip_celsys) November 29, 2022

    #WaifuDiffusion + Nijijourney

    2022年11月29日

    #WaifuDiffusion に #Nijijourney で生成した画像を数百枚追加学習した画像。今まで作ったAI画像を全部学習させて自分だけのモデル作る計画している。 pic.twitter.com/MUelwi9UJL

    — 852話 (@8co28) November 29, 2022

    #芸術系AIまとめ

    2022年11月28日

    「創造するAI」が進化 テキストからついに動画を生成: 日本経済新聞 https://t.co/pW0NRIX3CL #ロボット業界ニュース

    — ロボットスタート(ロボスタ) (@robotstart) November 27, 2022

    #AI画像生成の方法

    2022年11月28日

    #生成系AIベンチャー

    2022年11月27日

    ゲーム x ジェネラティブAI (by a16z)

    AIはイノベーションが加速。AI関連の論文数は指数関数的な伸びを示している

    日本で生成系AIは話題にならずスタートアップは少ないが、シリコンバレーは革命前夜な盛り上がり🔥

    続👇 pic.twitter.com/cPpxrCModI

    — 久保田 雅也@ベンチャーキャピタル (@kubotamas) November 26, 2022

    #Stable Diffusion2.0 (画像生成)

    2022年11月24日

    うおっっっ!!!Stable Diffusion 2.0がいきなりリリースされた!!!!!  https://t.co/v1ppFOPrtR

    — うみゆき@AI研究 (@umiyuki_ai) November 24, 2022

    #nijijourney (画像生成)

    2022年11月21日

    #nijijourney ざっくり感想
    ・クローズドβ版より進化してる
    ・NAIで使ってたPromptを流用しても全然結果が違うので,これ用のPromptを練る必要あり
    ・長々したPromptより,短めにしてnijijourneyにお任せした方が良い部分強そう
    ・やはり背景が強い.その上で銃や楽器の破綻も少ない

    かなり良い感じ! pic.twitter.com/UXusJI3wdk

    — 猫黒夏躯 (@NatsukuPhoto) November 20, 2022

    #Stable Diffusion (画像生成)

    2022年11月20日

    Stable Diffusionで「どの呪文がどこに効いているか」を可視化する手法、DAAM試してみました!
    (要するにStable Diffusion用のGrad-CAMみたいなもん)
    詳細はALTに記載。

    これは呪文研究に効果を発揮しそう…!https://t.co/loE3uYkbzc pic.twitter.com/2sxF2nE5N0

    — birdMan (@birdMan710Nika) November 16, 2022

    #eDiffi (画像生成)

    2022年11月14日

    これだと文字も正しく出ると。人類最後の砦が……
    NVIDIAが発表した最高性能の画像生成AI「eDiffi」の仕組みと機能|IT navi @itnavi2022 #note https://t.co/3sQwXZKgT9

    — 尻P(野尻抱介) (@nojiri_h) November 14, 2022

    #Stable Diffusion (画像生成)

    2022年11月14日

    元素法典・水の魔術で生成して、その1枚をimg2imgで「これをmikuさんでお願い」した結果。#初音ミク #stablediffusion #anythingv3 pic.twitter.com/CxaWT4giZs

    — 尻P(野尻抱介) (@nojiri_h) November 14, 2022

    #Stable Diffusion (画像生成)

    2022年11月13日

    Stable DiffusionのVAEって単品だとどのぐらいの性能なんかなぁとふと思って試してみたらめちゃくちゃ強かった
    オリジナルと再構成後の差が普通に分からん pic.twitter.com/5jluZhpK0N

    — なんか (@_determina_) November 9, 2022

    #Anything v3.0 (画像生成)

    2022年11月13日

    謎に包まれた画像生成AI「Anything v3.0」が新たに登場。「NovelAIを凌駕している」と評価するユーザーも多く、従来の画像生成AIの問題点、例えば「手がうまく描けない」という部分が大幅に改善されているらしい(コンピュータウイルスの話も聞くので使用する場合は要注意) pic.twitter.com/u2444gXrvM

    — 小猫遊りょう(たかにゃし・りょう) (@jaguring1) November 13, 2022

    #NovelAI +FSBT (アニメ生成)

    2022年11月12日

    出来たわ。。3DのAIを用いたアニメ化!#NovelAI + FSBTで、i2iの弱点である、表情や髪型、服装に一貫性がない問題を修正しつつ、3Dの躍動感と2Dの可愛さを出来たぞ。
    私が求めていたのはこれ!!#NovelAIDiffusion pic.twitter.com/2zxwc3o5Cx

    — 猩々 博士🧪学術系Vtuber (@Mega_Gorilla_) November 10, 2022

    #DeepLearning (AI基盤モデル)

    2022年11月12日

    分かりやすい解説だった。

    AI開発の新たなパラダイム「基盤モデル」とは https://t.co/k4NeTsw34s

    — Shuuji Kajita (@s_kajita) November 11, 2022

    #BehavierTree (ロボット行動決定)

    2022年11月12日(NEW!)

    現在開発中のロボットアームを動かすためにBehaviorTreeというソフトウェアを使っています。
    ゲーム等でCPUの行動決定をするのに広く利用されており,知能ロボットでの活用も期待されています。#BehaviorTree #ROS2 #ロボティクスhttps://t.co/Hj0yMY4nsp pic.twitter.com/quGJR9INfQ

    — HarvestX Inc. 🍓授粉ロボット (@harvestxjp) November 11, 2022

    #Midjourney v4 (ミックス画像生成)

    2022年11月10日

    コレ凄い!Midjourney v4のRemixの新しい機能触った。生成した画像や自分の画像など2つをミックスして新たな画像を作れる。めちゃくちゃクオリティ高くて実用性高い pic.twitter.com/pwJCJPl7Bf

    — Hirokazu Yokohara (@Yokohara_h) November 9, 2022

    #eDiffi (画像生成)NVIDIA

    2022年11月3日

    おっ、NVIDIAが最先端の画像生成AI「eDiffi」を発表!約10億ペアのテキスト+画像を含むデータセットを使用。複雑なテキストを正確に読み取り、芸術的・写実的な画像を生成。幅広い芸術スタイルで生成可能。文字列を画像上に描画可能(eDiffi : ensemble diffusion for images)https://t.co/VgGuUsMs9a pic.twitter.com/CAHyOVeBXm

    — 小猫遊りょう(たかにゃし・りょう) (@jaguring1) November 3, 2022

    #NovelAI (アニメーション作成)

    2022年11月1日

    #NovelAI によるアニメーション
    UC 3dを上手く使って手描き感のある連続アニメを作りました。前回の東方から一皮むけたかもしれない。すごい。
    (AIアニメのあとにi2iで使用したMMD出力の動画が流れます)#NovelAIDiffusion pic.twitter.com/6REzUX4Cao

    — 852話 (@8co28) November 1, 2022

    #ERNIE -ViLG2.0 (画像生成)Baidu

    2022年10月28日

    中国のBaiduが新しい画像生成AI「ERNIE-ViLG 2.0」の論文と試せるデモページを公開。以前二次元キャラ生成に強いと話題になったAIです

    デモ: https://t.co/teGSYiMryM
    論文: https://t.co/KH2c5qpow7 pic.twitter.com/UeIKkssWlg

    — やまかず (@Yamkaz) October 28, 2022

    #NovelAI (画像生成)

    2022年10月27日

    #NovelAI 用の呪文生成器作りました!https://t.co/KUDqSE78cm

    呪文ガチャや作った呪文の保存、共有などができます。
    結構便利に作れたと思うのでぜひ使ってみてください! pic.twitter.com/duHuLSGi4m

    — 逆瀬川 (@gyakuse) October 24, 2022

    #芸術系AIまとめ

    2022年10月26日

    (本文より)
    AIがテキストから変換するのは画像だけだろうか?
     すでに音楽やダンスモーションを生成するアプリケーションができている。
     入力と出力は、復元が成立しているかどうかを自己評価できるならなんでも結びつけられるだろう。
     SDのプロンプトはいまのところ英語に限られるが、私は機械翻訳を援用している。テキストの音声入力も近頃は人間以上の成績になっているので、これらを組み合わせればSFのように声でなんでも作れるようになる。
    「新しいコートをデザインしたいんだ。丈は短めで、フェイクファーの質感に。……いや、襟はもっと大きくして」と口頭で指示できる。ロボットの動作も、ボカコレに応募する音楽も、声で指示できる技術が出揃っている。

     テキストからの画像生成と、逆に画像からテキストを生成できるようになると、画像を仲介した意味理解ができた、とみなせるかもしれない。
     テキストは英語に限らない。

     apple(英語) →りんごの絵→りんご(日本語)

    と翻訳もできる。これは単純に英和辞書を引いているのではなく、りんごの本質を介しての翻訳なので、自然言語の意味理解に結びついている。記号着地というやつだ。

    #動画生成

    2022年10月20日
    ついに動画作品が!

    AIに人類の進化を描かせる。後半がヤバイ。デジタルクリエイターのファビオ・コンペレッリの作品。

    pic.twitter.com/f7ShFb6Kcs

    — 萩原幸也 ®️ (@onipro) October 20, 2022

    #Colab (音楽生成)

    2022年10月20日
    テキストで音楽作成の指示

    テキストから音楽生成きた!

    Stable Diffusionと同様、テキストを入力するだけでAIが音楽を生成してくれるColabノートブックが公開
    (中身はmuburt(@mubertapp)のAPI)

    やってみたけどこのプロンプトエンジニアリング難しいpic.twitter.com/i6ztYB8JOdhttps://t.co/pEBGhwk34W

    — やまかず (@Yamkaz) October 20, 2022

    #DALL -E-Bot (ロボットの動作生成)

    2022年10月17日
    簡単なテキストでロボットに食器を並べさせる

    画像生成AIが“ロボットの動き”を生成 英ICL「DALL-E-Bot」開発:Innovative Tech - ITmedia NEWS https://t.co/pR0y2oVU6r #ロボット業界ニュース

    — ロボットスタート(ロボスタ) (@robotstart) October 16, 2022

    #NovelAI (画像生成)仕様

    2022年10月20日
    NovelAI 仕様公開

    今日、NovelAIの仕組みを簡単に説明した記事を公式が公開。LAIONデータセット(約150TB)からの約20億枚の画像で学習した「Stable Diffusion」をベースに、詳細なテキストでタグ付けされた約530万枚のデータセット(約6TB)で微調整。モデル自体は約1.6GBのバイナリファイルhttps://t.co/ax4mEHADWY

    — 小猫遊りょう(たかにゃし・りょう) (@jaguring1) October 20, 2022

    AIイラスト生成サービス

    #StableDiffusion 走らせ方

    前準備必要ですが Docker for Windows の上でうごかすほうが環境依存さけやすいかと。
    細かくコードもいじる想定の場合は Docker の知識は必要になります。
    参考記事 https://t.co/DUqMVVCYcI
    この記事だと automatic1111 で構築してますが jupyter notebook での例も検索すればでてきます

    — わたなべごう (@wtnbgo) October 11, 2022

    novel aiの内部技術が公開されましたね。落とし所探ってる段階かな。 https://t.co/ZNNQl63cr8

    — 深津 貴之 / THE GUILD / note.com (@fladdict) October 11, 2022

    2022年10月11日

    #Stable Diffusion (画像生成)理解促進

    何かと世間を賑わせている Stable Diffusion。技術的には、近年研究開発が進んだ「拡散モデル」ですが、どの論文をどの順番で読んだら良いか入門が難しいトピックです。

    本記事では、この Stable Diffusion を基礎から理解したい方向けの必読論文とその概要を紹介しました。https://t.co/95kJk7emgW

    — ステート・オブ・AI ガイド (@stateofai_ja) October 11, 2022

    2022年10月6日

    #NovelAI (マンガ生成)

    Novel AIで漫画作ってみました

    「写真ができたときにも今のAIと同じような気持ちになった人がいたのか、調べてみた」#NovelAIDiffusion #NovelAI pic.twitter.com/84tzvhdm7q

    — ゆりどり (@yurijinitai) October 6, 2022

    #NovelAI , #img2img (画像生成)

    img2imgが面白くて
    これ、呪文も丁度良かったんだけど
    SSR引いた気分

    サムネだと一緒なの本当にすき#NovelAIDiffusion #novelAI pic.twitter.com/yCxoQgzmgK

    — 東亜あじこ@Vtuber (@Ajiko_channel_v) October 5, 2022

    #Shoost (動画生成)

    神アプリShoostで遊んだ…エモすぎる pic.twitter.com/2wL8TjuCBO

    — 倉吉サム🐢11月以降お仕事募集中 (@kurakichi36) October 8, 2022

    #Model inversion attack

    Model inversion attackってのがあって、学習データをモデルから復元できるか、みたいなのは問題になったりするところではある。
    Stable Diffusionベースのものへの攻撃ではないけど、例えばこんなのがあったり。基本的には難しいのはわかると思う。https://t.co/3KVInC7PN4

    — chokudai(高橋 直大)🍆@AtCoder社長 (@chokudai) October 8, 2022

    #Stable Diffusion (画像生成)入門

    Stable Diffusionの入門キットColabをアップしました。
    diffuser0.4対応したので早いし軽い。あとSD、Waifu、TrinArt、Rinna、オリジナルモデル等に切り替え可能す。https://t.co/2za9T9cd76 pic.twitter.com/NIn0gxp19x

    — 深津 貴之 / THE GUILD / note.com (@fladdict) October 7, 2022

    #DreamFusion (動画生成)

    速すぎる…テキストから多様で高精細な3D生成が可能なAI「DreamFusion」の論文が1週間前に発表され、衝撃を与えたが、内部ではグーグルが非公開にしてる画像生成AI「Imagen」が使用されており、実装も非公開だった。だが、もうstable diffusionに置き換え、オープンソースにhttps://t.co/lpz6gN3FAW

    — 小猫遊りょう(たかにゃし・りょう) (@jaguring1) October 7, 2022

    #imagenVideo (動画生成)Google

    これCGじゃなくてテキストから動画生成。しかもHD解像度。凄い! https://t.co/rsZNl1ot8n

    — Hirokazu Yokohara (@Yokohara_h) October 5, 2022

    #imagenVideo (動画生成)Google

    毎日、発展の連続だな。テキストから動画を生成するAI「Imagen Video」をグーグルが発表。テキストアニメーションの生成や様々な芸術スタイルのビデオ生成などが可能。物体の回転に対して構造をほぼ維持。3Dオブジェクトに関する理解能力が確認されるhttps://t.co/gEus6EUyeLpic.twitter.com/Gnoaj94Kwh

    — 小猫遊りょう(たかにゃし・りょう) (@jaguring1) October 5, 2022

    #NovelAIDiffusion (コミック生成)

    『ネームがあったらAIで漫画は描けるのか』考察
    3枚目を指示画像に
    Strength:0.75 文字指定は「pixiv, girl, dinamic pose, manga, white and black, comic,」
    2枚目が生成されたので最低限の加筆修正写植して1枚目に

    絵が描けなくても漫画を発表できるようになる時代だ#NovelAIDiffusion #novelAI pic.twitter.com/CMEgrEXvE7

    — 852話 (@8co28) October 4, 2022

    #NovelAIDiffusion (画像生成)

    話題のやつ、自分でサイト上で書いたイラスト(一枚目)から生成してみた!#NovelAIDiffusion#NovelAI pic.twitter.com/pewfqJKN4C

    — picco (@picco_xxx) October 3, 2022

    #AudioGen (音楽生成)

    テキストから音生成。スゴイ、ヒップホップやサンプリング音楽系には神なのでは? 環境音なんでもメイカーになってる https://t.co/Z6WcIQw8bw

    — 深津 貴之 / THE GUILD / note.com (@fladdict) October 1, 2022

    #Make -A-Video (動画生成)Meta

    え..このクオリティはやばい。
    テキストから動画を生成するAI「Make-A-Video」をMetaの機械学習エンジニアチームが発表。https://t.co/ZK7iuI5KVN pic.twitter.com/VLzKTCuAYg

    — やまかず (@Yamkaz) September 29, 2022

    #Phenaki (長編動画生成)

    これまた凄い。本日もう一つの動画生成AI「Phenaki」。連続したテキストから、従来よりも長いストーリーのある動画を生成。2分の動画の生成例もある(T5X、C-VIVITなどを利用)。昨日の夜にMetaが発表した動画生成AI「Make-A-Video」とは別のものhttps://t.co/lkouQBceEt pic.twitter.com/LdHyvOY61h

    — 小猫遊りょう(たかにゃし・りょう) (@jaguring1) September 30, 2022

    #DreamFusion (3D動画生成)

    なんて日..。

    テキストから動画を生成するAIの後に、3Dを生成するAIが出てきた。(両方とも過去のものより質が高い)
    名前は「DreamFusion」。作者は匿名。

    ええ、速すぎる ほんとに何が起きてるのhttps://t.co/rsttNZuy5I pic.twitter.com/GJMJic2V5R

    — やまかず (@Yamkaz) September 29, 2022



     
     
    2013年3月まで産総研、2016年3月まで近畿大学、2020年3月までJAXA、現在岡山大学。球面モータの研究と日本機械学会の2050年ロードマップ作成に取りくむ。数学・パズル・アニメが大好き。 Twitter:https://twitter.com/yanotomoaki

    あなたへのおすすめ