ローカルLLM導入の進め方：事前確認から設置・運用まで

ローカルLLM（社内に置く生成AI）の導入は、次の順に進めます。機器の構成は、使うAIモデルと同時に利用する人数で変わるため、機器を選ぶのは、用途と人数を決め、AIモデルを選んだあとです。

1. 1用途、人数、入力する情報を決める
2. 2設置場所と社内ネットワークを確認し、AIモデル、機器の構成、構築の範囲を決める
3. 3構築した環境を設置し、動作を確認する
4. 4利用ルールを周知し、操作研修を行う
5. 5更新、障害対応、見直しの担当を決めて運用する

総務省が自治体向けにまとめた「自治体におけるAI活用・導入ガイドブック＜導入手順編＞」（第4版、2025年12月）は、導入の手順を事前検討から運用までの5段階で示しています。最初の事前検討に置かれているのが、解決したい課題の特定です。何に使うかを先に決める点は、企業の導入でも変わりません。

当社の導入支援は、ご相談・事前確認、ご提案・お見積り、ご契約・機器の購入、構築・検証、設置・研修の順で進めます。

ローカルLLMは、オンプレミスLLM、社内LLMと呼ばれることもあります。

最初に決めるのは、何の業務に使うか、何人が使うか、どの情報を入力するかです。この3点が、機器の構成、構築の範囲、社内の利用ルールの前提になります。

用途は、利用する部門に聞いて、業務の単位で書き出します。文書の要約、文章の作成と添削、資料の作成といった単位です。はじめから全社に広げず、部門と用途を絞って始めると、人数と文書の量を見込みやすくなります。

人数は、利用人数と、同時に利用する人数に分けて見積もります。同時に利用する人数が増えると、AIサーバーの応答は遅くなります。

入力する情報は、契約書、人事・給与の資料、顧客情報を含む資料のように種類で挙げ、誰が入力してよいかを決めます。機密情報の区分をすでに定めている会社は、その区分を使います。

インターネットの最新情報を調べる用途が中心で、社外に出せない情報を扱わない会社には、クラウドの生成AIが合います。当社の導入支援で構築する環境は、インターネット検索に対応していません。

用途が決まったら、AIサーバーの設置場所と、接続する社内ネットワークの現状を確認します。ここで集めた情報が、機器の構成と見積もりの前提になります。事前確認の項目と、主に答える人を表にまとめます。

設置場所は、入室できる人を限れるかどうかを見ます。IPA（情報処理推進機構）の「中小企業の情報セキュリティ対策ガイドライン 第4.0版」（2026年3月）は、サーバーの設置エリアに入室できる人を制限し、入退室の記録を取るよう勧めています。施錠できない場所に置く場合の例には、サーバーを専用のラックに入れて施錠する方法を挙げています。

社内ネットワークは、構成が分かる資料を用意します。ネットワーク図がない場合や、情報システム部門がない場合は、ネットワークを保守している会社に、機器の構成を尋ねます。

当社の導入支援では、ご相談の段階で業務内容と利用人数を伺い、設置場所と社内ネットワークを確認します。各PCはブラウザから利用するため、ソフトの導入は不要です。設置の際に、社内用の証明書を登録します。

契約の前に確認するのは、機器を誰が所有するか、構築する会社の作業がどこまでか、何をもって納品の完了とするか、導入後の更新と障害対応を誰が担当するかです。機器の構成と構築の範囲は、事前確認の結果をもとに、提案と見積もりで決まります。

見積もりを依頼するときは、事前確認の内容に加えて、読み込ませる文書の種類と長さも伝えます。長い文書の読み込みには、時間がかかるためです。

当社の導入支援では、構築の範囲を、基本構築とオプションに分けています。機器は、ご契約の段階でお客様が販売元から直接購入し、お客様の資産になります。構築は、機器を当社でお預かりして行います。

設置の日に確認するのは、決めた用途のとおりに動くことと、AIサーバーから社外への通信が止まっていることです。外部通信の遮断は、情報漏洩を防ぐための設定です。機密情報を入力し始めるのは、この確認が済んでからにします。

動作の確認は、構築した会社に任せきりにしません。立ち会うときは、日常の業務に近い質問と資料を用意します。

当社の導入支援では、お客様の実際の文書を使った確認は、設置日に、お客様の事務所の中で、お客様ご自身の操作で行います。

どの会社に構築を依頼する場合も、納品時の確認項目を、契約の前に決めておきます。確認の結果は、日付と立ち会った人を添えて、社内でも記録に残します。

社内の利用ルールは、利用を始める前に決め、操作研修とあわせて周知します。ルールがないと、何を入力してよいかを利用者がその都度判断することになります。

AIを社内に置いても、誰が何を入力できるかは決めておきます。人事や給与の資料のように、社内でも見られる人が限られる情報があるためです。利用ルールには、次の項目を入れます。

• 入力してよい情報の種類と、入力できる人
• 業務以外の目的で使わないこと
• 回答と作成したファイルは、人が内容を確認してから使うこと
• 重要な判断は、原文で確認すること
• 操作に困ったときと、異常に気づいたときの連絡先

個人情報を含む資料を入力する場合は、利用目的の範囲内かどうかも確認します。個人情報保護法は、法令に基づく場合などの例外を除き、あらかじめ本人の同意を得ずに、特定した利用目的の達成に必要な範囲を超えて個人情報を取り扱うことを認めていません（第18条）。AIを社内に置く場合も同じです。

AIの回答には、誤りが含まれることがあります。研修では、操作の方法とあわせて、回答を人が確認する習慣を伝えます。

当社の導入支援では、誰が何を入力できるかなどの社内の利用ルールを、導入時に一緒に整理します。操作研修はオプションです。

運用に入る前に、ソフトウェアの更新、障害時の対応、利用状況の見直しを誰が担当するかを決めておきます。

社外への通信を遮断したAIサーバーは、インターネット経由の自動更新を受け取れません。更新をいつ、誰が行うかは、導入時に決めます。

障害時の連絡先と、停止中の業務の進め方は、平時に文書にまとめます。会話履歴はAIサーバーの中に保存されるため、機器の故障に備えてバックアップを取るかどうかも決めます。当社の導入支援では、会話履歴のバックアップは行いません。

使い始めたあとは、利用状況を定期的に確認します。使われていない部門があれば理由を聞き、利用ルールと研修の内容を見直します。

当社の導入支援では、月額保守（任意）の中で、お問い合わせ対応、障害の調査と復旧、ソフトウェアの更新を行います。更新は、当社の担当者がお客様先に伺い、AIサーバーを一時的に社外へ接続して行います。定期の更新のほか、重大な不具合の修正が公開され、導入した環境に当てはまると当社が判断したときは、臨時の更新を行います。月額保守のご契約がない場合、当社による更新は行いません。

情報システムの専任の担当者がいない会社では、社内の窓口になる人を決め、技術的な作業を外部に任せて進めます。外部に任せても、次の仕事は社内に残ります。

• 用途と、入力してよい情報の範囲を決める
• 設置場所と電源を用意し、社内ネットワークの接続先を決める
• 設置時の確認に立ち会う
• 利用ルールを周知し、利用者の質問を受ける
• 利用者の追加と削除など、日々のアカウントの管理を行う
• 障害や異常に気づいたときに、外部へ連絡する

どれも、技術の知識より、社内の業務と情報の扱いを知っていることが求められる仕事です。

委託する範囲と責任は、契約書で確認します。IPAの「中小企業の情報セキュリティ対策ガイドライン」は、業務の一部を外部に委託する場合、契約書に情報セキュリティに関する委託先の責任と実施すべき対策を明記し、合意する必要があるとしています。

ローカルLLMは、クラウドの生成AIに比べて、導入の前に決めることと、導入後に社内で担当することが多くなります。社内の窓口になる人を置けない場合や、機器の設置場所を確保できない場合は向きません。入力する情報を限って、クラウドの生成AIを使う方法が合います。

当社の導入支援では、AIモデルと機器の選定、AI環境の構築、設置を当社が担当します。機器の購入と、設置場所・電源・社内ネットワークの用意は、お客様にお願いしています。AIサーバーへの固定IPアドレスの割り当ては、ネットワークを保守している会社に依頼していただいても構いません。導入後は、お客様の管理者1名に、利用者の追加と削除、パスワードの再設定、停電のあとに暗号化したディスクのロックを解除する作業をお願いしています。手順は、管理者向けのマニュアルに記載します。

• サービスお客様にご用意いただくものを見る