LlamaIndex v0.5 クイックスタートガイド

# パッケージのインストール
!pip install llama-index==0.5

import os
os.environ["OPENAI_API_KEY"] = "<OpenAI_APIのトークン>"

import logging
import sys

# ログレベルの設定
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

from llama_index import GPTSimpleVectorIndex, SimpleDirectoryReader

# インデックスの作成
documents = SimpleDirectoryReader("data").load_data()
index = GPTSimpleVectorIndex.from_documents(documents)

INFO:root:> [build_index_from_documents] Total LLM token usage: 0 tokens
> [build_index_from_documents] Total LLM token usage: 0 tokens
INFO:root:> [build_index_from_documents] Total embedding token usage: 14646 tokens
> [build_index_from_documents] Total embedding token usage: 14646 tokens

# 質問応答
print(index.query("ぼっちちゃんの得意な楽器は？"))

ぼっちちゃんの得意な楽器はギターです。

# 質問応答
print(index.query("ぼっちちゃんについてどう思う？"))

ぼっちちゃんは、人見知りな性格で臆病な後藤ひとりのことを指しているようです。後藤ひとりは、承認欲求が強く、人と接するのが苦手な一面もありますが、ギターの腕前はプロ級で、文化祭ではアドリブでボトルネック奏法を行い、ライブを成功に導いたという優れた才能を持っています。そんな後藤ひとりを「ぼっちちゃん」と呼ぶのは、彼女のことを大切に思っているからだと思います。そし

# 質問応答
print(index.query("喜多ちゃんの一番中の良い友達は？"))

喜多郁代の一番中の良い友達は、後藤ひとりであると思われます。後藤ひとりとは同学年であり、社交的な性格をしている喜多郁代とは正反対で要領がよく、友達も多いということから、喜多郁代の一番中の良い友達として後藤ひとりが挙げられるでしょう。

# インデックスの保存
index.save_to_disk("index.json")

# インデックスの読み込み
index = GPTSimpleVectorIndex.load_from_disk("index.json")

from llama_index import download_loader

YoutubeTranscriptReader = download_loader("YoutubeTranscriptReader")

loader = YoutubeTranscriptReader()
documents = loader.load_data(ytlinks=['https://www.youtube.com/watch?v=i3OYlaoj-BM'])

from llama_index import GPTSimpleVectorIndex, SimpleDirectoryReader

# インデックスの作成
index = GPTSimpleVectorIndex(documents)

# 質問応答
print(index.query("この動画で伝えたいことはなんですか？日本語で答えて"))

この動画では、オープンAIのCLIPを使用して、画像分類、オブジェクトローカリゼーション、オブジェクト検出をゼロショットで行う方法を紹介しています。また、これらのタスクを切り替えるためにモデルを微調整する必要がないことも示しています。さらに、スコアを計算し、画像全体の平均を取り、それを現在のスコアから引くことで、低いスコアをゼロにクリップする方法も紹介しています。これにより、より良いローカリゼーシ