JTC社員が最近話題のLLMワークフロー作成ツールDifyを使ってRAGを作ってみた

Large Language Models (LLM)を使ったワークフロー作成システムDifyがかなり話題になっていたので、とりあえず触ってみたらクリックだけでRAGが実現できたので、紹介する。

私に関して言うとJTC生保の情Ｓ担当でエンジニアでも何でもないので、興味ある人はぜひ試してみてほしい。

まずDifyのサイトに入ろう。
Gitにもリポジトリがあるみたいなんだけど、JTC社員はWebアプリの方が使いやすいと思うので、まずはユーザー登録を行います。

そうすると、ポータル画面が表示されるので、早速何か作っていきましょう。
①最初から作成
②テンプレートから作成
の２種類あるけれど、僕たちJTC社員は迷わず②テンプレートから作成ですよね！

そうすると色々なテンプレートがあったので、”Basic”と書いてあったこのテンプレートに決めました！

テンプレートを選ぶと、もうワークフローが出来ていました！
きっとこの”Knowledge Retrival”にＲＡＧの材料を突っ込むんですね！

弊社の保険約款を知識として追加することにしました。
B275.pdfがそれです。ネットからダウンロードして追加しました。

とりあえず、アプリ公開。
答えが全く返ってこなかったので、原因を確認しましょう。

デバッグとプレビューがあったので、ここでワークフロー間の挙動を見ていけそう。Chatbotの右の↓ボタンを押すとそれぞれのワークの中身が確認できます。

”Knowledge Retrival”は返却されているのに、”LLM”のパラメータに受け渡しが出来てなさそう、、、
”LLM”を見ると、コンテキストが空っぽじゃないですかー、”LLM”の結果を入れてみましょう！
（ちなみにシステムプロンプトは初期設定です。ありがたい。）

”Knowledge Retrival”のresultが選べますね。
選択します。

上段はコンテキスト設定前
下段はコンテキスト設定後
おっ、結果が変わりましたね。うまくいきそう！

デバックで中身の確認！ＯＫそうです。

では、再度アプリとして使っていきましょう！
保険約款の記載箇所が返ってくるようになりました！
マウスポチポチでＲＡＧが出来ましたね。

課題
時間があるときに”Knowledge Retrival”部分を整理したいですね。
pdfを機械処理してくれていますが、必ずしも句読点で文章を区切ってもらえている訳ではないので、若干の修正が必要そう。
人間が読んでも難しい保険約款ですからね、読みやすいように前処理をする事で精度が格段にあがりそうです。

PoC（実証実験）が走っているJTCも多いと思いますが、こうやって自分で作って勉強してみるとネックになっている部分が分かりますね！