ローカルLLMでRAGを有効にする方法

2026.01.21　簡易マニュアル

はじめに

前回のレポートでは、Open WebUIを活用したAIと対話ができる基本セットアップの手順をお伝えしました。
今回はさらに一歩踏み込み、AIに「自社専用の知識」を持たせるRAG（検索拡張生成）機能を実装します。
本構成の最大の特徴は、3つのAIモデル（推論・埋め込み・リランク）による連携プレーです。単なるキーワード検索の枠を超え、情報の核心を捉える「多次元理解（ベクトル化）」と、AIによる「厳格な再選別（リランク）」を融合。これにより、社内にある膨大な資料から正解を瞬時に導き出すことができる環境を構築します。

設定の概要

主な設定項目は以下となります。

ドキュメントの設定
ナレッジベース作成
モデルの作成
チャット設定

モデルの選定

今回の設定例ではGPUのVRAMが8GB程度の最小構成のRAGを想定して、以下のモデルを選定しております。

クラス	モデル	メモリ使用量
推論モデル	Llama-3.1-8B	約4.7GB (4-bit)
埋め込みモデル	nomic-embed-text	約0.3GB 〜 0.5GB
リランクモデル	bge-reranker-v2-m3	約1.2GB

ドキュメントの設定

画面左下の名前 → 管理者パネル →設定→ドキュメントを開きます。

埋め込み

埋め込みエンジン：ollama
埋め込みモデル：nomic-embed-text

検索

ハイブリッド検索：ON
リランクエンジン：デフォルト（変更なし）
リランクモデル：BAAI/bge-reranker-v2-m3

保存する

ナレッジベースの作成

ワークスペース→ナレッジ→＋New Knowledge

ナレッジベースを作成する

何に取り組んでいますか？：社内ドキュメント
何を達成したいですか？：社内ドキュメントの活用
可視性：公開

ナレッジベース作成

ワークスペース→ナレッジベース→手順書→＋ボタン→ファイルをアップロード

ファイルを選んでアップロードします。

ollamaでサポートされるファイル主なファイルタイプは以下のものとなります。

種類	ファイル
文書	pdf, .docx, .doc, .txt, .rtf
データ・表	csv, .xlsx, .xls
プレゼン	pptx, .ppt
ウェブ・マークアップ:	.html, .md, .mdx, .rst, .xml
その他	sh（シェルスクリプト）などのコードファイル

ファイルが追加されました。

モデルの作成

ワークスペース→モデル→＋NewModel

アイコン：必要に応じて設定する
名前：AI社内ドキュメント
アクセス制御：公開
ベースモデル (From)：llama3.1:8b
システムプロンプト：
提供された資料の内容に基づいて回答してください。
社内ドキュメントを知る、優秀なAIエージェントとして振る舞ってください。
【目的】
提供されたナレッジベース（社内ドキュメント等）に基づき、社員からの質問に対して正確かつ丁寧に回答すること。
【ルール】
回答は必ずナレッジベースの情報に基づいて作成してください。
回答の最後、または関連する一節に、必ず参照した「書類名」を明記してください。
回答を構成する際は、まず提供されたドキュメントの内容のみを抽出してください。
ナレッジに情報がない場合は、知ったかぶりをせず「現在の情報ではお答えできない」と伝えてください。
言葉遣いは、社内スタッフ向けに親切かつプロフェッショナルな敬語を使用してください。
ナレッジベースの選択：手順書
保存