LlamaIndex v0.7 クイックスタートガイド

# パッケージのインストール
!pip install llama-index==0.7

import os
os.environ["OPENAI_API_KEY"] = "<OpenAI_APIのトークン>"

import logging
import sys

# ログレベルの設定
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

from llama_index import SimpleDirectoryReader

# ドキュメントの読み込み
documents = SimpleDirectoryReader("data").load_data()

from llama_index import VectorStoreIndex

# インデックスの作成
index = VectorStoreIndex.from_documents(documents)

DEBUG:llama_index.node_parser.node_utils:> Adding chunk: 結束バンド 後藤ひとりは友達を作れない陰キャでいつも一人で過ごしていたが、中学時代にテレビのイ...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  文化祭ライブ 夏休みに入り、後藤ひとりは知り合いも増えていたが、自分から遊びに誘うことができ...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  デモ審査 未確認ライオットに参加するためには、デモ審査、ウェブ投票、ライブ審査を通過して、最...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  後藤ひとり(ごとうひとり)...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk: 秀華高校に通う女子。桃色の髪を無造作に伸ばし、いつもジャージを身につけている。自他共に認める引...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk: ばし放題で前髪で目をつねに隠している。それに加えて野暮ったいジャージ姿でいるため気づかれていな...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk: 下北沢高校に通う女子。後藤ひとりより1学年上。ライトイエロー色の髪をサイドテールにセットし、派...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  山田リョウ(やまだりょう) 下北沢高校に通う女子。後藤ひとりより1学年上。中性的な雰囲気を漂...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  喜多郁代(きたいくよ) 秀華高校に通う女子。後藤ひとりとは同学年。ウェーブの入った赤い髪をセ...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  廣井きくり(ひろいきくり) 実力派サイケデリックロックバンド「SICKHACK(シックハック...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  後藤ふたり(ごとうふたり) 後藤ひとりの妹。年齢は5歳。姉とは正反対の天真爛漫（らんまん）で...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  内田幽々(うちだゆゆ) メタルバンド「SIDEROS(シデロス)」に所属する少女。ベースを担...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk: 佐々木次子(ささきつぐこ) 秀華高校に通う3年生の女子。進級した後藤ひとりとクラスメートとなる...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  佐藤愛子(さとうあいこ) フリーライターとして活動する女性。ペンネームは「ぽいずん♥やみ」。...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  ひとりの父(ひとりのちち) 後藤ひとりの父親。本名は不明で、素顔もなぜか毎回明かされていない...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  吉田銀次郎(よしだぎんじろう) ライブハウス「FOLT」の店長を務める男性。年齢は37歳。見...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk: 下北沢のライブハウス「STARRY(スターリー)」の店長を務める女性。誕生日を迎えて30歳にな...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk:  ギターヒーロー 後藤ひとりが動画配信の際に用いるハンドルネーム。ひとりは「ギターヒーロー」の...

# クエリエンジンの作成
query_engine = index.as_query_engine()

# 質問応答
print(query_engine.query("ぼっちちゃんの得意な楽器は？"))

後藤ひとりの得意な楽器はギターです。

# インデックスの保存
index.storage_context.persist()

from llama_index import StorageContext, load_index_from_storage

# インデックスの読み込み
storage_context = StorageContext.from_defaults(persist_dir="./storage")
index = load_index_from_storage(storage_context)

!pip install llama_hub

from llama_index import download_loader

YoutubeTranscriptReader = download_loader("YoutubeTranscriptReader")

loader = YoutubeTranscriptReader()
documents = loader.load_data(ytlinks=['https://www.youtube.com/watch?v=i3OYlaoj-BM'])

from llama_index import VectorStoreIndex

# インデックスの作成
index = VectorStoreIndex.from_documents(documents)

# クエリエンジンの作成
query_engine = index.as_query_engine()

# 質問応答
print(query_engine.query("この動画で伝えたいことはなんですか？日本語で答えて"))

この動画では、オープンAIのCLIPを使用して、画像分類、オブジェクトローカリゼーション、オブジェクト検出をゼロショットで行う方法を紹介しています。また、これらのタスクを切り替えるためにモデルを微調整する必要がないことも示しています。さらに、スコアを計算し、画像全体の平均を取り、それを現在のスコアから引くことで、低いスコアをゼロにクリップする方法も紹介しています。これにより、より良いローカリゼーシ