# RAGとは？社内チャットボットの仕組みと、精度が出ない本当の理由

> RAG（検索拡張生成）の仕組みを図解で解説。社内チャットボットが自社の規程やマニュアルに答えられる理由、精度が出ない原因の多くがデータ整備にあること、構築費用の目安まで、名古屋のAI実装支援会社が技術者の視点で説明します。

- 公開日: 2026-07-25
- 更新日: 2026-08-11
- URL: https://central-ax.co.jp/blog/what-is-rag/
- 発行: 株式会社 Central AX（https://central-ax.co.jp/）

---

「社内規程やマニュアルについての問い合わせ対応を、AIに任せられないか」「ChatGPTを入れてみたが、自社のことを聞いても答えられない」——社内チャットボットを検討し始めた会社が、最初にぶつかる壁ではないでしょうか。

この壁を越える技術が、RAG（ラグ）と呼ばれる仕組みです。いま企業向けのAIチャットボットは、RAGで作るのが標準的なやり方になっています。一方で「RAGを入れたのに精度が出ない」という相談も、実は非常に多い。そしてその原因の多くは、AIの性能ではなく別のところにあります。

この記事では、RAGとは何か、どういう仕組みで動くのか、精度が出ない本当の理由はどこにあるのかを、東海エリアの中小企業で導入を検討している方に向けて、技術の中身までかみ砕いて解説します。

→ [社内チャットボットの構築について相談したい方はこちら（初回30分無料）](/contact/)

![オフィスの書類棚から紙のファイルを取り出し、ノートPCの画面と見比べながら社内文書を整理するビジネスパーソン](/assets/img/blog/rag-hero.jpg)

## RAGとは？——AIに「カンニングペーパー」を渡す仕組み

RAG（Retrieval-Augmented Generation、検索拡張生成）とは、**AIが回答を作る直前に、関連する社内文書を検索して探し出し、その内容を参照しながら答えさせる仕組み**です。この考え方は、[2020年に発表された論文「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」](https://arxiv.org/abs/2005.11401)で提案されました。

ChatGPTのようなAI（大規模言語モデル）は、インターネット上の膨大な文章で訓練されていますが、あなたの会社の就業規則や製品マニュアルは読んだことがありません。だから聞かれても答えられないか、もっともらしい嘘（ハルシネーション）を作ってしまいます。

RAGはこの問題を、AIを訓練し直すのではなく、**回答のたびに「この資料を読んで答えて」とカンニングペーパーを渡す**ことで解決します。試験に例えるなら、生徒（AI）に教科書を丸暗記させるのではなく、持ち込み可の試験にして、質問に関係するページだけ開いて見せるイメージです。

![RAGの仕組み。質問を受けると、まず社内文書データベースから関連箇所を検索で探し出し、その文章をAIに渡して、根拠付きの回答を生成させる3ステップの流れ](/assets/img/blog/rag-flow.svg)

## RAGが動く3つのステップ

技術的には、RAGは次の3段階で動きます。

1. **事前準備（文書の取り込み）**——社内の規程・マニュアル・議事録などを細かい断片（チャンク）に分割し、それぞれの「意味」を数値の並びに変換（ベクトル化）してデータベースに保存します。意味を数値にしておくことで、「言い回しが違っても内容が近い文章」を機械が探せるようになります
2. **検索（Retrieval）**——ユーザーが質問すると、質問文も同じ方法で数値化し、意味が近い文書の断片をデータベースから数件探し出します。「有給 繰越」と聞かれたら、就業規則の年次有給休暇の条文が引っかかる、という具合です
3. **生成（Generation）**——探し出した断片を質問と一緒にAIへ渡し、「この資料に基づいて答えてください」と指示して回答を作らせます。資料に根拠を限定するため、嘘が大幅に減り、「就業規則第◯条によると」と出典を示すこともできます

この「文書を細かく分割して数値化し、質問に近いものを検索してAIに渡す」という流れは、[Claudeの開発元であるAnthropicの技術解説](https://www.anthropic.com/news/contextual-retrieval)でも標準的なRAGの手順として説明されています。ポイントは、**回答の質が「検索で正しい文書を引けたか」にほぼ依存する**ことです。ステップ2で違う文書を引いてしまえば、ステップ3のAIがどれだけ優秀でも正しい答えは出ません。これが次の話につながります。

## 精度が出ない本当の理由——問題はAIではなく「文書側」

「RAGを導入したが使い物にならない」という相談を分解すると、原因はだいたい次の3つに集約されます。

| よくある失敗 | 起きること | 対策 |
| --- | --- | --- |
| 文書が古い・矛盾している | 旧版と新版の規程が両方ヒットし、AIが古い方で答える | 導入前に文書の棚卸し。正本を決め、旧版を検索対象から外す |
| 文書の形式が機械に読めない | スキャンPDFや複雑な表・図面が正しく取り込めず、検索に引っかからない | テキスト化・表の構造化など前処理を設計する |
| そもそも文書化されていない | ベテランの頭の中にしかない知識は、RAGでは永遠に出てこない | 聞かれる頻度の高い暗黙知から文書化を進める |

お気づきでしょうか。3つとも、AIの性能の話ではなく**データ整備の話**です。RAGは「社内に散らばった文書を検索して読む」仕組みなので、読む対象の文書がぐちゃぐちゃなら、答えもぐちゃぐちゃになります。当社はこれを「AI活用の前にデータベースが課題」と呼んでいて、詳しくは[製造業のAI活用は「データ整備」から始まる](/blog/manufacturing-data-first/)という記事に書きました。

逆に言えば、文書がきちんと整っている会社では、RAGは驚くほど素直に動きます。導入の成否は、契約前のデータ整備の見立てでほぼ決まると考えてください。

## 構築費用の目安

RAGチャットボットの費用は、既製ツールを使うか、自社向けに開発するかで大きく変わります。

| 進め方 | 費用の目安 | 向いているケース |
| --- | --- | --- |
| 既製のRAGサービスを利用 | 月数万円〜 | まず試したい。文書が少なく、標準機能で足りる |
| PoC（小規模検証）で自社開発 | 50〜200万円 | 自社の文書・業務に合わせた精度検証をしてから判断したい |
| 本格実装 | 200万円〜 | 基幹システム連携・権限管理・全社展開まで見据える |

当社の[AI受託開発の料金](/pricing/)もこのレンジ（PoC 50〜200万円、本格実装200万円〜）で設計しています。相場の詳しい内訳は[AI受託開発の費用相場](/blog/ai-development-cost/)にまとめてあります。

注意したいのは、**最初から本格実装に進まないこと**です。前述のとおり精度はデータ次第なので、まず小さく作って「自社の文書でどこまで精度が出るか」を確かめ、数字を見てから投資判断をするのが、遠回りに見えて確実です。

## 一般論の限界と、当社のアプローチ

ここまでの解説は、正直どの技術ブログにも書いてあります。ただ、実際の導入で差が出るのは技術選定ではなく、**導入前のデータ整備と、導入後に使われ続ける運用設計**です。

株式会社Central AXは、名古屋を拠点に、東海エリアの企業向けにAIの受託開発を行っています。RAGチャットボットの構築では、開発の前に必ず文書の棚卸しから入ります。オンライン完結の開発会社と違い、**現場に伺って「どの文書が正で、誰が何を聞きたいのか」を確認しながら進められる**のが、地元の会社としての当社の強みです。

特に東海エリアに多い製造業では、図面・作業標準書・検査基準など「紙とベテランの記憶」に知識が眠っている会社が少なくありません。RAGはこうした技術伝承の受け皿としても有効で、退職前のベテランの知見を文書化してRAGに載せる、という進め方の相談も増えています。

[![Central AX サービス紹介資料（無料）。AI研修・AI受託開発・LLMO対策の内容と料金、支援の進め方がわかります](/assets/img/blog/banner-download.svg)](/download/)

## よくある質問（FAQ）

**Q. ChatGPTの有料版があれば、RAGは要らないのでは？**

A. ChatGPTにもファイルを添付して質問する機能はあり、少量の文書ならそれで十分です。RAGが必要になるのは、文書が数百・数千件あり、毎回手で添付できない規模になったとき、そして回答の根拠や閲覧権限を管理したいときです。

**Q. 機密文書を使っても大丈夫ですか？**

A. 設計次第です。法人向けAPIは入力データを学習に使わない契約が標準で（[OpenAI](https://developers.openai.com/api/docs/guides/your-data)・[Anthropic](https://privacy.claude.com/en/articles/7996868-is-my-data-used-for-model-training)がそれぞれ明記しています）、データベースも自社管理下に置けます。一方、無料の個人向けツールに機密文書を入れるのは避けるべきです。この論点は[ChatGPTの情報漏洩リスクと対策](/blog/chatgpt-data-leak-risk/)で詳しく解説しています。

**Q. 導入までどれくらいかかりますか？**

A. 既製ツールなら数日で試せます。自社開発のPoCは、文書整備の状況次第ですが1〜3ヶ月が目安です。文書が整っていない場合は、その整備期間が別途かかります——そしてここが一番時間のかかる工程です。

**Q. ファインチューニング（追加学習）とはどう違うのですか？**

A. ファインチューニングはAIそのものを再訓練する手法で、知識の追加には実は不向きです。[追加学習とRAGを同じ条件で比較した研究](https://arxiv.org/abs/2312.05934)でも、新しい知識を覚えさせる用途ではRAGが一貫して上回りました。社内知識を答えさせる用途なら、まずRAGが第一候補になります。使い分けは[自社データをAIに使わせる3つの方法](/blog/ai-customization-methods/)で詳しく解説しています。

## まとめ

RAGとは、AIが回答する直前に社内文書を検索し、その内容に基づいて答えさせる仕組みです。AIを訓練し直さずに自社の知識を扱えるため、社内チャットボットの標準的な作り方になっています。

ただし精度を決めるのはAIの性能ではなく、検索対象となる文書の整備状態です。「RAGを入れる」前に「文書を整える」——この順番を守るだけで、導入の成功率は大きく変わります。費用は既製ツールで月数万円から、自社開発ならPoC 50〜200万円が目安です。

Central AXは名古屋を拠点に、データ整備の見立てからRAG構築までを一貫して支援しています。「うちの文書でどこまでできるのか」という段階のご相談からで大丈夫ですので、お気軽にお声がけください。