AI学術情報（2022年12月31日～9月25日アーカイブ）

神スライドに感謝を...

深層学習を用いた三次元点群処理入門 https://t.co/lKwuMUR9cW

— Namihei Adachi (@7oei) December 29, 2022

凄い！来年に来るらしいToolBot2.0は「猫の画像を生成するアプリを作って、丸く切り取って後　meowというボタンを押したら次の猫を生成する様にして」というとそういうアプリが瞬時にできてしまうらしい。。
後半のやつはredditのなんかのアプリ作ってるけどよくわからないが、凄いな。 https://t.co/G3pBe2rEVt

— bioshok(INFJ) (@bioshok3) December 27, 2022

うぉ、グーグルの言語モデル「Flan-PaLM」「Med-PaLM」が凄い。7つの医学質問応答タスクで最高性能

米国医師免許試験(USMLE)形式のタスク「MedQA」で正答率67.6%(USMLEの合格点は60%）。従来手法は50.3%

医学生向け試験タスク「MedMCQA」で57.6%(合格点は50%)

PubMedQAで79.0%(専門家の性能は78.0%) pic.twitter.com/VzBVTuctBE

— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) December 28, 2022

機械学習モデルは純粋な関数とは異なり，内部に状態や記憶を持ち，入力に応じて出力を変える　

例：注意機構を持つネットワークはタスクに応じてグラフ構造を変えるため，①汎化能力の改善が期待できる，②破滅的忘却リスクを抑制できる，③時間スケールを隔てた過去の内部状態を想起できる pic.twitter.com/q64pmavHUs

— Yusuke Hayashi（林祐輔） (@hayashiyus) December 28, 2022

Mango is a python library to find the optimal hyperparameters for machine learning. Mango enables parallel optimization over complex search spaces of continuous/discrete/categorical values.

Article:https://t.co/eTn2hz67So

Mango Python GitHub:https://t.co/R56CHGCbtt pic.twitter.com/fMDOVPUj3k

— Carl Carrie (@🏠) (@carlcarrie) December 27, 2022

本記事では、歪んだ空間である双曲空間上に単語などを埋め込む「双曲埋め込み」を解説します。代表的なポワンカレ埋め込みから始め、双曲埋め込みの発展的な手法や強化学習を組み合わせた最新手法について解説します。

名古屋大学の塚越さん (@hpp_ricecake)による執筆ですhttps://t.co/KjfoPigjaC

— ステート・オブ・AI ガイド (@stateofai_ja) December 28, 2022

#UnrealEngine アドカレ2022 23日目の記事公開しました。

Whisper #ONNX 化、リアルタイム化、Hugging Face TokenizerのC++移植、#UE5 側のマルチスレッド対応などなど

音声認識AIのWhisperをUnreal Engineでリアルタイムに動かすためにやったこと｜空き家総合研究所 https://t.co/IlVaAD2exD #zenn

— 麻場 健司／MocapFor(Streamer|All)開発 (@KenjiASABA) December 23, 2022

腰の動きでロボットアームを動かす、“第3の腕”として利用 https://t.co/WYiVXJddNr 胴体に設置の制御装置から棒みたいなARが表示されその先とロボットアームのエンドエフェクタが同期して移動先に先端を誘導できる。ハンズフリー操作が利点。Seamlessの有料ジャーナルから抜粋 https://t.co/VfON6fNSiK pic.twitter.com/0fAJMbZjho

— Seamless (@shiropen2) December 23, 2022

『Perplexity AI』がGoogle超えでヤバい…コードを書かずデータベース検索ができる。Twitter投稿検索やグラフの可視化もでき、コードも自動生成。他にも検索結果を4行程度の要約＋参考リンクを提示する機能も。広告が無いので正しい情報が得られる。OpenAIのAPIによる検索革命https://t.co/yRDS56UJKR pic.twitter.com/dFDkM6I73j

— チャエン| Web3.0と海外テック (@masahirochaen) December 23, 2022

制限付きボルツマンマシンと同様の可視ニューロンと隠れニューロンで構成された素朴な二部グラフ構造を考える．こんなシンプルなモデルでも，特別なラグランジアンを仮定した上で隠れニューロンについて周辺化すると，自己注意機構を備えたニューラルネットを作ることができるhttps://t.co/85jTJMRKnh pic.twitter.com/VOoNeJYlQ9

— Yusuke Hayashi（林祐輔） (@hayashiyus) December 23, 2022

因果推論の先へ―機械学習で因果効果を予測する『反実仮想機械学習（Counterfactual Machine Learning）』入門https://t.co/B62wh8Jfmk

— いしお (@Ishitonton) December 23, 2022

確率分布の最適化で自己位置を求めている結果。外れ値の除去とかは一切せずに、全ての観測値を同等に扱っても、それなりに正しい位置が最適（最尤）解として求められています。最適化はあんまり詳しくないですが、個人的にはやっぱり、確率ロボティクスってすごいなと感じる結果でした。 pic.twitter.com/4JG4VoMk1c

— Naoki Akai（赤井直紀） (@naokiakai) December 23, 2022

異種データを混ぜて最適化する論文。

計算と実験は別々にデータを扱いますが、階層的に最適化するため非効率でした。

IBMさんがマルチ出力型のガウシアンプロセスにより両データを混ぜて最適化し、コストを3分の１にできたそうです。

異種データが多い材料分野には便利。https://t.co/lcOqu1zjJN

— 横山トモヤス｜計算材料科学者 (@yoko_materialDX) December 23, 2022

OpenAIのPoint-Eで生成された椅子一覧

Point-EだからRTX3090で1つ90秒以内で生成できるらしい。人間では発見できなかった椅子のデザインが膨大に発見されそうでとてもワクワクするpic.twitter.com/4df4eB6W4Ohttps://t.co/WZewZtTOCH

— やまかず (@Yamkaz) December 23, 2022

2022: A Year in Review (ML Papers Edition)

In this thread, let's take a look at some of the top trending ML papers of 2022 ↓ pic.twitter.com/E4VIuF23HX

— elvis (@omarsar0) December 25, 2022

自然言語処理の全論文が集まるACL anthologyの2022年秋までの60万件の論文を「内容」で検索できる"ACL2Vec"のプロトタイプを作成しましたので、公開しました。論文内容のニューラル文書ベクトルを線形代数で効率的に計算し、結果から直接論文PDFに飛ぶこともできます。https://t.co/p4p2qjnIOC pic.twitter.com/jpdBMDLWP6

— Daichi Mochihashi (@daiti_m) December 23, 2022

RT
DeepMindのAI「AlphaCode」が人間のプログラマーと互角になってきた https://t.co/sQrkKE2CAL

— 森山和道／ライター、書評屋 (@kmoriyama) December 24, 2022

https://t.co/qg9kK92t2A
2023年AI予測記事
・GPT４について
・データ枯渇について
・画像生成AI
・自動運転
・検索の変化
・ヒューマノイドロボットは急速に現実のものに
・MLOpsからLLMOpsへ
・ロボット基盤モデル
・Alphafold
・中国と台湾とアメリカの関係
面白い記事

— bioshok(INFJ) (@bioshok3) December 21, 2022

🖋 書きました

生成AIの活用事例や技術、様々な人の考えを分類して、生成AIが創れる世界を3つに整理してみました
(画像生成AIのアドベントカレンダー21日担当です)https://t.co/Q9VfhXfECs

— やまかず (@Yamkaz) December 21, 2022

ここまでくると凄いな
自分もUnityで強化学習してるけど、これからはUnityの時代が来るぞ。 https://t.co/1n8wDBMBLM

— 家庭用ロボットを開発するぞ！ (@AGIRobots) December 21, 2022

たんぱく構造をAI予測　メタ、未知含む6億種発表：日本経済新聞 https://t.co/oBcz1AkLzz https://t.co/BoDDekdmlr pic.twitter.com/uGTjPkgOhv

— YANO Tomoaki@JSMEｰTRCビジョン2050WS12月23日 (@yanotomoaki) December 22, 2022

Language models (LMs) are already deployed in many real-world applications and used to interact with users 👩‍🦰, but these models are primarily evaluated non-interactively.
How can we evaluate LMs interactively and why is it important? (1/8) pic.twitter.com/K5P1qi4BSn

— Mina Lee (on the academic job market) (@MinaLee__) December 21, 2022

Meta AI等が「わずか15の人手プロンプト」からtext-davinci002を用いて68478のそこそこ書式の決まったデータセット例を作り出し、そこから言い換えで自然な文にして24万に拡張したデータセット「Unnatural Instructions」発表！ここまで多様なタスク例を超少数のデータから生成した初めての成果！ https://t.co/4pjMca34Dh

— bioshok(INFJ) (@bioshok3) December 21, 2022

Box Embedding
点でなく箱の埋め込み表現を考えることで、概念の広がりや概念同士の包含関係を表現することを目指す。
billionオーダーのデータで教師なしで学習でき、下位タスクでWord2Vecを上回ったとのことなので、近い将来BERTやGPTに実装されることもあるかも。https://t.co/fWNpaCobLB

— bilzard🔋 (@bilzrd) December 21, 2022

・InstructGPT、強化学習で13億パラメータのPPO-ptxが1,750億パラメータのGPTよりもはるかに人間好みの文を出力するし
・75億パラのデータベース接続するRETROはPILE上でGPT-3と同等の性能だし、
・WEBGPT ネット接続は7億6000万パラメータで　TruthfulQAの真実性有用性でどちらもGPT3上回る

— bioshok(INFJ) (@bioshok3) December 20, 2022

Googleが1週間弱前に勾配降下法とプロンプト学習は同値ですという仮説リリースしたばかりだけど、Microsoft等も同じような論文を発表している！
つまり一旦大規模モデルトレーニングして学習させたいことはプロンプトでやり、コンテキスト窓はデータベース活用等で工夫すれば微調整とかいらないのかも https://t.co/y8EIV61ojb

— bioshok(INFJ) (@bioshok3) December 21, 2022

日々新しい改善手法が発表され、追うだけでも大変な拡散モデル。

NeurIPS 2022 の論文賞に輝いた本論文は、乱立する拡散モデルの「設計空間」を統一的な観点から比較・改善し、現時点で最高品質の画像生成を達成した重要なものですので、本記事で詳細に解説しました。https://t.co/gCVCSYnhUI

— ステート・オブ・AI ガイド (@stateofai_ja) December 21, 2022

グーグルのAI研究（CLIPPO：CLIP-Pixels Only）

CLIPは画像とテキストのペアを用いて学習した汎用的なモデルであり、視覚と言語を従来よりも結びつけることに成功したが、CLIPPOではテキストすら画像化することで，画像と言語の両方をピクセルベースで統一的に扱うhttps://t.co/3dGanulgaf pic.twitter.com/uKoHJdRjoO

— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) December 19, 2022

Applying large-scale language models outside language: Examples from materials discovery, cybersecurity, and building management

Article by @mergeflow: https://t.co/EXevpkTBIZ#Cybersecurity #MachineLearning #Materials #technology #engineering #BuildingManagement pic.twitter.com/KlhfILaz61

— Wevolver (@WevolverApp) December 19, 2022

Microsoftの開発してきたAI紹介。結構知らないものが多いし、まとまってて面白い。画像処理AI、映像認識AI、科学的ツールのAIによるエンパワー、モデルの無害化、意思決定のための因果推論、言語モデル、強化学習などなど。とても面白いのでオススメ。 https://t.co/uTvukUiPHr

— bioshok(INFJ) (@bioshok3) December 20, 2022

タンパク質科学のための言語モデルの最近の開発により、大規模な構造バイオインフォマティクスが科学界に提供されるようになった現状をまとめたTrends in Biochemical Sciences誌の総説です。AlphaFold 2はもちろんさまざまなトピックが網羅されています。https://t.co/tOoR1OSfwA

— H_Shimizu (@biomedicalhacks) December 19, 2022

プロンプトを拡張してくれる
「Prompt Extend」のデモとモデルの新バージョンが公開！https://t.co/LQBlPCcgOs

モデルはより大きなデータセット(200万個のプロンプト)で学習され、モデルやトークナイザーが改良されているとのことhttps://t.co/HzYlgBN1ri pic.twitter.com/S5AnhzekJU

— やまかず (@Yamkaz) December 18, 2022

#マテリアルズインフォマティクス の最新ニュース。

日立さんと積水化学さんから量子アニーリングと機械学習を組み合わせた手法が提案され、従来より高い予測精度を達成し、開発期間を20%短縮できるとのこと。

MIの問題をQUBO形式の変換するとこがポイントそう。https://t.co/L85baYsZIC

— 横山トモヤス｜計算材料科学者 (@yoko_materialDX) December 18, 2022

よかった / Stable Diffusion の仕組みを理解する - ABEJA Tech Blog https://t.co/23ozirJlYx

— しゅんけー (@shunk031) December 19, 2022

chatGPTに頼んだら、動画からスティックピクチャーを作成するプログラムを勝手に書いてくれた。
AIが進化するスピード、はやすぎる、、！ pic.twitter.com/HpKYgrmW0A

— 齋藤周 / Amane Saito (@Amapenpen) December 17, 2022

Googleやばすぎる仮説！
「勾配に基づく最適化と注意に基づくコンテキスト学習は等価である」
K個の勾配降下ステップ学習はK個の線形自己注意層を持つ学習済みTransformerと密接に整合。単一線形自己注意層から多層非線形モデルまで調査し類似。MLP追加でTransformer内での非線形回帰タスク解決可能！ https://t.co/WOLfeicyXz pic.twitter.com/A6VuEUYTrD

— bioshok(INFJ) (@bioshok3) December 16, 2022

生物医学の言語を解釈するために訓練された特化型大規模言語モデル「PubMed GPT」がリリース！https://t.co/bCGItCY6qB

スタンフォード大学の研究所がPubMedの医学データを使用しMosaicMLのCloudで27億パラメータのGPTを訓練。米国医師免許試験で最先端の結果を達成https://t.co/6P5tsLl71D

— やまかず (@Yamkaz) December 16, 2022

OpenAIが、より高機能で効率的で使いやすい新しい埋め込みモデル「text-embedding-ada-002」を発表！https://t.co/V0LEZSJfft

従来の最も高性能なモデル「Davinci」をほとんどのタスクで上回り、価格も99.8％低い

— やまかず (@Yamkaz) December 16, 2022

Caper AIが人間のフィードバックを用いた強化学習をシンプルなUI（Gradio上）で行えるオープンソースのAPI「CHEESE」をリリース！
以下の図のように従来の強化学習ライブラリとも連携して、RLHFの民主化への一歩だ。 https://t.co/5zygSblj92 pic.twitter.com/3wtWlUfJKq

— bioshok(INFJ) (@bioshok3) December 17, 2022

すごい！NVIDIAパートナーのGridspaceのAIコールセンターデモ。人間と区別できない。
バーチャルエージェントは自然な会話をし、業界の専門用語を理解し、より多くのタスクを実行す。
ガートナーによると、2021年の30%から2025年には75%までコールセンタースタッフのタスクを自動化すると予想！ https://t.co/EigXW0BFDC

— bioshok(INFJ) (@bioshok3) December 16, 2022

これは便利すぎる..

テキスト入力をSQLに変換しツイート検索を圧倒的に手軽で柔軟にする
「Bird SQL」が公開！https://t.co/ng9u3tDjY0

例えば、こんな検索ができる
「過去最高のいいねのツイート」
「ElonMuskをフォローしてる100万人以上のフォロワーを持つユーザー」pic.twitter.com/IkygZ11hfR

— やまかず (@Yamkaz) December 16, 2022

2023年のAIの予測。マトリックスモデルと呼ばれるAIが台頭すると。
・お喋りではなく、ユーザーに行動を提案し、更に壁にぶつかっても人間を目標に誘導する
・大きなコンテキスト ウィンドウ (8k ～ 10k 文字)
・長い会話のためのデータベース
・検索エンジンから情報照会 https://t.co/xw9chq6yBd

— bioshok(INFJ) (@bioshok3) December 15, 2022

「音楽を含む音声はスペクトログラム画像に変換できる→Stable Diffusion（アルゴリズムは無改造）にスペクトログラム画像を追加学習させる→スペクトログラムをテキストから画像生成させる→その画像を音声に戻したら音楽になる！」って、確かに言われてみれば理屈はわかるけど、マジかよ……… https://t.co/fOkJOnLdFK

— Kenji Iguchi (@needle) December 15, 2022

部品の組立方法を自動で考え、視覚化してくれる研究が進んでいます。80部品であれば数分で生成が可能です。将来的にはスナップリングなどのバネ機構などにも対応予定とのこと。また、ロボットアームを用いて自動組立装置の構想もあります。ここまで出来るならロボのパスも意外と簡単に生成しそう。。 pic.twitter.com/j441jIMnDi

— ナムチャン/南原 徹也＠甲子化学工業 (@namchan_koushi) December 15, 2022

OpenAI の最新の言語モデル ChatGPT が話題です。その訓練において重要な要素である、人間の嗜好・指示とアラインメントさせる技術「人間によるフィードバックを用いた強化学習 (RLHF)」に注目が集まっています。

本記事では、この RLHF の技術を関連論文と共に解説しました https://t.co/lMq3PfONf5

— ステート・オブ・AI ガイド (@stateofai_ja) December 15, 2022

スタンフォード大学のAIを学べるページがめちゃくちゃ良かったので共有。（東大とかが日本語でこのクオリティのページを作ったらかなり良さそうだけど、無理なので今後も英語力は必要そう）

人工知能: https://t.co/WSDFYQJqxe
機械学習: https://t.co/weIVGHQvi9
深層学習: https://t.co/TXQ599aCHd pic.twitter.com/t5Cxt3E1Mh

— YK (@ykjvs) December 14, 2022

https://t.co/AZ60uVanoN
や、ヤベェ
日本語で適当に喋らせたい言葉を入れたらアバターが喋ってくれる映像が生成されるサービス！（１００カ国語くらいに対応しているらしい）

— bioshok(INFJ) (@bioshok3) December 14, 2022

Notion AI 試してみたら最強すぎた…🤯
これで大学のレポートも一瞬で終わるね！！((#Notion #NotionAI pic.twitter.com/4sIwc5jEKZ

— 三橋 優希 / Yuki Mihashi (@YukiMihashi) December 14, 2022

VRChatにNeRF（Instant NGP）で三次元再構成したデータを持ってきてボリュームレンダリングしてみました。撮ったものを複数並べてみると結構楽しくなりますね pic.twitter.com/oPL0qaNvmf

— あるしおうね (@AmadeusSVX) December 14, 2022

機械学習により偏微分方程式を解くためのツール。

機械学習により物理シミュレーションを高速化する研究が盛り上がっています。

初期データの生成、境界条件の選択、モデルの学習など一連を行えるツールが公開されたそうです。

PINN初心者はここから始めるのが良さそう？https://t.co/wRej5Pc8lm

— 横山トモヤス｜計算材料科学者 (@yoko_materialDX) December 14, 2022

ChatGPTの手法の元を辿ると行きつくのは2019年にOpenAIが出したFine-Tuning Language Models from Human Preferences https://t.co/PHARfiMeMGだと思いますが、２年前の強化学習苦手の会Advent Calendarでまとめてたので良ければどうぞhttps://t.co/HhFyczKE9zhttps://t.co/forczY391R

— Seitaro Shinagawa (@sei_shinagawa) December 14, 2022

GPT-3でテキストを作り、Stable Diffusionで画像を作り、アバターがしゃべる動画が作れる"D-ID"すごいhttps://t.co/oNKGHalXA4

テキストは
I will introduce about the history of the internet.
しか入れてなくて数分で完成した

これ研修動画とかめっちゃ楽に作れるようになるのでは！ pic.twitter.com/ZrYbNwFesW

— ふるかわしょーいち＠AIライティングCatchy (@sho_furu) December 14, 2022

何というか、Googleは自然言語処理AIだけで覇権を取ろうとしているわけではなく、次のやばでかAIロボティクス革命を主導するために、Saycan,InstructRL,Code as Policies,そして今回のやばい自然言語処理ロボティクスAIのRT-1を開発していると感じる。いやーすごいな。 https://t.co/Il5nDlmISB

— bioshok(INFJ) (@bioshok3) December 14, 2022

Slackで特定のスタンプ押したらGPTが勝手に文章返してくれるツール作ってみました。

例えば
[良い質問ですね]スタンプで、質問に答えて、

[グッジョブ]スタンプで、お礼言います。 pic.twitter.com/TZAlOY4QC3

— いとう！@AIを1日1つ作る (@itosinitosin123) December 14, 2022

オープンソースのAI (whisper、BERT、VOICEVOX)を組み合わせて音声対話ロボットを作った話を記事に書きました！今回、質疑応答エンジンはBERTにしましたが今後ChatGPTなどに置き換えればより自由度の高い会話ができると思います。完全にネタ記事ですがよろしくお願いします。https://t.co/0pe4yIMJYv

— クニえもん.inc🤗 (@kun1em0n) December 12, 2022

やばいのがくる..
AIによるテキストからスライド生成がついにやってくる..https://t.co/sQDMHHwUTk

テキスト入力で全体スライドを生成、その上でスライド追加、配置変更、背景動画追加、文修正などもテキストでできる。数日後に初期版公開予定pic.twitter.com/8vgYgPhVyNhttps://t.co/VxCvNyqOCf

— やまかず (@Yamkaz) December 13, 2022

大規模言語モデルの入力テキスト＋出力テキストはGPT3は2048,ChatGPTは8000tokenくらいに制限されているらしく、今後のAIエージェントがつきっきりでパーソナルアシスタントになるためにはどうにか越えないといけない壁だなと思い調べてたけどあまり情報がなく、しょうがなくChatGPTに聞き仮説形成した pic.twitter.com/PMPVoOWVyn

— bioshok(INFJ) (@bioshok3) December 13, 2022

基盤モデル×Robotics アドベントカレンダーの13日目の記事を投稿しました！

論文を簡単にまとめてみましたので、興味ある方はぜひ読んでみてくださいhttps://t.co/XHWzVvgC8F

— いちにさん | ロボット系SE1年目 (@ko1_baseba11) December 12, 2022

ぬか床ロボットNukabotに発酵チューニングしたGPT-3を実装して、どんな問いにも発酵的な答えを捏造、もとい、生成するようになりました。妖怪なので異次元の現実について語っているのかもしれません。下北沢・発酵デパートメントにいるので、ぜひおしゃべりしてみてください！ pic.twitter.com/4MEDJLdsDY

— Dominique Chen / ドミニク・チェン (@dominickchen) December 11, 2022

また、「特定の企業についての質問に答えてくれる」というのはその通りですので、今後もバリバリ活用したいと思います！https://t.co/rsA5DJgxHV

— Daichi Konno / 紺野 大地 (@_daichikonno) December 10, 2022

OpenAI GPT3.5とBingを組み合わせて検索結果を要約し、さらに引用までつけてくれる「Perplexity Ask」という検索インターフェースが発表されてる。 https://t.co/W4ov07KnO6

— bioshok(INFJ) (@bioshok3) December 8, 2022

ChatGPTのプロンプト辞典
「ShowGPT」が公開！https://t.co/HBKNGikOBa

プロンプトを登録したり、コピーしたり、コピーされた数がランキングになってて便利だし楽しい。あらゆるジャンルのプロンプトが登録されてる pic.twitter.com/dDpTXEFpRV

— やまかず (@Yamkaz) December 8, 2022

GoogleドキュメントやMicrosoft Word上でChatGPTが利用できる「docGPT」が公開！https://t.co/fwSGCnvkLh pic.twitter.com/sUWwNL7i7y

— やまかず (@Yamkaz) December 7, 2022

たんぱく質設計に拡散モデルを使用したRoseTTAFold Diffusionが開発された。「Xに結合する分子を作って」とテキスト誘導も可能。 https://t.co/4XeLT4PlNE

— bioshok(INFJ) (@bioshok3) December 6, 2022

Google検索をするとChatGPTの回答も表示してくれるブラウザ拡張機能「ChatGPT for Google」https://t.co/DRSITqmczn

— GIGAZINE(ギガジン) (@gigazine) December 7, 2022

ChatGPTが使えるAPI、Chrome拡張機能、他アプリケーションの拡張機能（VSCode、WhatsApp、RayCast、Telegram等）がまとまってるページhttps://t.co/cj58WOPeMj pic.twitter.com/hrsYR2Qh4I

— やまかず (@Yamkaz) December 7, 2022

2018年を境にAIの処理能力は２ヶ月ごとに倍のスピードで進化（👉https://t.co/S97EqVhQYg）している。これらの変化の中で今後どのようなスキルや人材が必要になり、それに対し
てどのような対応が必要になるかを真剣に考える時期だと思う。 pic.twitter.com/Sxjf5KnN0i

— sangmin.eth @ChoimiraiSchool (@gijigae) December 4, 2022

生物学のDALL-E2「Chroma」が発表！https://t.co/htB3nrJG54

Generate Biomedicines社より、拡散モデルを使用してこれまで以上に正確に新規タンパク質の設計を生成するプログラム「Chroma」が発表。最終的にはより効果的な新薬の開発につながることを期待しているとのこと pic.twitter.com/pn5dCszeVD

— やまかず (@Yamkaz) December 4, 2022

AI技術者の人材不足は解消し、
人間のAI技術者が淘汰される日は近い？#ChatGPT https://t.co/Ehbr63YrAf

— YANO Tomoaki@JSMEｰTRCビジョン2050WS12月23日 (@yanotomoaki) December 4, 2022

【🎉基盤モデル×Robotics 3日目 投稿🎉】

タイトル：ChatGPTでロボットのコード生成はできるのか？

本日投稿者いなかったのでピンチヒッターです！
ゆるめの記事ですが話題にのっかりました！
明日の投稿者もいない...（誰か...👀）

今後共よろしくお願いします！https://t.co/0PojBI1jUf

— るっと🐨 Ph.D. 🤖 (@MeRTcooking) December 2, 2022

Google Researchの画像１枚からできるNerf、これもえぐい
なお
requires either 4 GPUs with 40GB of memory each (e.g. A100) or 8 GPUs with at least 24 GB each.https://t.co/DuPICYeN0b

— birdMan (@birdMan710Nika) November 30, 2022

急速に研究開発の進む大規模言語モデル分野ですが、「これまでの訓練方法は最適ではなかった」という結果が発表され、小規模で高い性能を上げるモデルが開発されています。

本記事では、最適な訓練・チューニング法に関して、最新の論文をピックアップして解説しました。https://t.co/Dphc6pIoxb

— ステート・オブ・AI ガイド (@stateofai_ja) December 1, 2022

INDUSTRIAL ATHLETE analyzes order picking at KNAPP AG in Austria

KNAPP AG from Hart bei Graz in Austria uses the mocap-based measurement system INDUSTRIAL ATHLETE from scalefit to evaluate their ergonomic goods-to-person workplaces.

Video source: scalefit#AI #motiontracking pic.twitter.com/yQqMjrhls5

— Wevolver (@WevolverApp) December 1, 2022

「GT-3は2時間で論文を書き上げた。それはきちんとした論文の体をなしており、文献が適切に引用され、新しい内容が書かれていた。」 / AIに論文書かせてみた: 日本経済新聞 https://t.co/zWojaCXbWF

— ｼﾝUMAﾏﾝ (@UMAisForever) November 29, 2022

タイムラインがChatGPTで溢れていますが、こちらGoogleのピッチフォークPJも気になる

>ピッチフォークは｢コードの書き方や書き換え方を教える｣ために作られた。このツールは、プログラミングスタイルを学習し、その学習に基づいて新しいコードを書くように設計されているhttps://t.co/90zyI0dDJI

— 小川雄太郎 (@ogawa_yutaro_22) December 1, 2022

ゲーム x ジェネラティブAI (by a16z)

AIはイノベーションが加速。AI関連の論文数は指数関数的な伸びを示している

日本で生成系AIは話題にならずスタートアップは少ないが、シリコンバレーは革命前夜な盛り上がり🔥

続👇 pic.twitter.com/cPpxrCModI

— 久保田 雅也@ベンチャーキャピタル (@kubotamas) November 26, 2022

"chain of thought prompting"
なるほど、リーズナブルなアプローチですね。

言語モデルに思考の連鎖を促し推論能力を向上(1/2) https://t.co/IrcFiGYJUT

— Shuuji Kajita (@s_kajita) November 25, 2022

「やあGPT-3、今から君は人間が暗算でできる程度以上の計算はできない。代わりにPythonのシェルを用意しといたんで、わからなかったらそれ使って問題解いて」
で実際に必要に応じてPythonを叩いて質問への答えを出してるGPT-3。すっげ…… https://t.co/S7fK1RUuFn

— Kenji Iguchi (@needle) September 18, 2022

AI、人類のダメなところを学習しがちww

科学記事を自動で生成するAI「Galactica」がわずか3日で公開停止へ、入力内容次第で「ウソ記事」を生成可能と判明 - GIGAZINE https://t.co/LujhrVzf93

— Shuuji Kajita (@s_kajita) November 24, 2022

GPT-3の弱点、改めて見ると人間ぽい・・・
空気を読んでそれっぽく振る舞うけど、自分の発言が本当かどうかは知ったこっちゃないww　
「すごく駄目な人」だこれ。 https://t.co/eaPds9qzIR

— Shuuji Kajita (@s_kajita) November 24, 2022

#GPT-4 は
LaMDAの技術を一般開放かな？

Is LaMDA Sentient? — an Interview by @cajundiscordian https://t.co/TlNJt7ORuC https://t.co/IcoszsEyRa

— YANO Tomoaki@JSMEｰTRCビジョン2050WS12月23日 (@yanotomoaki) November 24, 2022

GPT-4の噂で盛り上がっているので、とりあえず現状のGPT-3のレベルを確認。
---
超高精度な言語モデル「GPT-3」は本当に「人間そのもの」な会話ができるのか実験した結果は？ - GIGAZINE https://t.co/lIX6jZimU0

— Shuuji Kajita (@s_kajita) November 23, 2022

OpenAIの言語モデル最新版「GPT-4」が近日中に登場との噂、ついにチューリング・テストに合格するAIが実現か | TEXAL https://t.co/llBn3DUotH

— 尻P(野尻抱介) (@nojiri_h) November 23, 2022

分かりやすい解説だった。

AI開発の新たなパラダイム「基盤モデル」とは https://t.co/k4NeTsw34s

— Shuuji Kajita (@s_kajita) November 11, 2022

現在開発中のロボットアームを動かすためにBehaviorTreeというソフトウェアを使っています。
ゲーム等でCPUの行動決定をするのに広く利用されており，知能ロボットでの活用も期待されています。#BehaviorTree #ROS2 #ロボティクスhttps://t.co/Hj0yMY4nsp pic.twitter.com/quGJR9INfQ

— HarvestX Inc. 🍓授粉ロボット (@harvestxjp) November 11, 2022

画像生成AIが“ロボットの動き”を生成　英ICL「DALL-E-Bot」開発：Innovative Tech - ITmedia NEWS https://t.co/pR0y2oVU6r #ロボット業界ニュース

— ロボットスタート（ロボスタ） (@robotstart) October 16, 2022

Model inversion attackってのがあって、学習データをモデルから復元できるか、みたいなのは問題になったりするところではある。
Stable Diffusionベースのものへの攻撃ではないけど、例えばこんなのがあったり。基本的には難しいのはわかると思う。https://t.co/3KVInC7PN4

— chokudai(高橋 直大)🐙🔥@AtCoder社長 (@chokudai) October 8, 2022

whisperの登場で、coconalaやlancersの所謂「文字起こし業者」は文字通り業界ごと焼き払われたんだよな
当事者にとって見たら地獄だよな
何故かお絵描きAIと比べると話題にする人いないけど

— birdMan (@birdMan710Nika) September 25, 2022