2025年７月７日、ついに生成AIを活用したチャットボットサービスの本格運用を開始しました。

　これまで２回の実証運用を通じて、生成AIの活用可能性の検証、RAG（検索拡張生成）用データベースの構築・整備など、数多くの試行錯誤を重ね、ついに本番稼働を迎えることができました。改めて、これまでの経緯や取り組んできたことを振り返りたいと思います。

　まず、別府市のデジタルに関する全体的な取り組み状況についてご紹介します。

2019年度　デジタルファースト宣言
2021年度　デジタルファースト推進計画策定

【推進計画概要】
市民の幸福度向上を目的として、「市民がご自身のスマートフォンを利用して24時間365日どこからでも行政サービスが利用できる」こと、「いかなくていい市役所」の実現を目指しています。キャッチコピーは「ポケットの中にもうひとつの市役所を」とし、スマホひとつでさまざまな行政サービスが利用できることを目標としています。

　デジタルファースト推進計画の取り組みを進める中で、市役所に対する問い合わせの自動応答として、公式LINEアカウントを活用した「チャットボットサービス」に力を入れて進めてきました。

　ライフイベントごと（転入、転出、転居、出生、おくやみ、結婚、離婚）、分野ごと（子育て、障がい福祉、マイナンバー、ごみとリサイクル、ごみカレンダー、国民健康保険・後期高齢者医療保険、税）のチャットボットサービスを提供しています。

　質問に対する回答が固定されている方式（シナリオ型）で構築していますが、回答を誤る可能性は低いものの、事前に準備した質問内容と違うものには回答が用意されていない、という特徴があります。

【課題】
用意された質問や回答が、自分の知りたい情報に合致しない場合がある

　利用して課題と考えたことは、事実に基づかないことを回答してしまうこと（ハルシネーション）、別府市以外の情報も含んだ「全世界の情報から回答を紡ぎ出す」ため汎用的な回答になってしまうことの２点です。

　この２点の課題を解決できれば、別府市役所に対する問い合わせを生成AIが正しく回答していくことが実現でき、シナリオ型のチャットボットサービスの課題である、事前に準備した質問内容と異なる質問に回答が用意されていないという点も解決できます（図-1）。

【課題】
ハルシネーション、全世界の情報から回答を紡ぎ出す

図-1　生成AI 活用チャットボット運用の目的

　このような課題を感じていたタイミングで「別府市固有のデータを使った生成AIを作りませんか」とご提案をいただき、協議を重ねた結果、大分大学医学部、SDT株式会社、別府市の産学官で連携、生成AIに関する技術を活用することにより、デジタル・トランスフォーメーションを推進、デジタル社会の実現に貢献することを目的とした連携協定を締結しました。

　連携協定に基づき、市民向けの生成AIチャットボットの構築に向けて、内部での検証を重ね、実証運用を二度行いました。また、対象分野の選定にあたっては、平日昼間に市役所に電話や来庁することが難しいと考えられ、かつ、スマートフォンの扱いに慣れている世帯が多いと考えられることから、「子育て分野」を対象としました。

　子育て分野に関する別府市のデータベースを構築し、市民からの質問に対して、まず、別府市のデータベースを検索し検索結果をもとに生成AIが回答を紡ぐ、という形式で実施しました。

●実証運用期間
2024年３月８日（金）～４月１日（月）（25日間）

●目的
生成AIを活用したチャットボットサービスの実現可否を評価する

●利用環境
生成AIはSDT株式会社のPanorama AIを、LLMは数種類試した結果、Google社製のサービスを利用

●利用方法
別府市LINE公式アカウントのメニューからのみ利用可能

●利用回数
139回

●実証運用で確認したかったこと
①自然言語での質問に対して、正しい情報を回答するか
②利用者がどのような質問を行うか把握する

●総合評価と次への課題
この実証運用第１弾では、以下３点の課題への対応を進めることにより、市役所への問い合わせ対応に生成AIを活用することは可能と評価しました。

課題①：回答精度の向上
課題②：利用数を増やす
課題③：費用対効果に優れた最新のLLMを採用する

　また、正しく回答するため、データの拡充と利用状況を監視しながらデータの調整を行うなど、継続した取り組みが行える“仕組みづくり”が必要と感じました。

　一方、生成AIの能力に、将来的な市役所の問い合わせ対応業務の未来像を感じることができました。

　以下の改善を図り、実証運用第２弾を実施しました。

改善点①：LLMの変更
改善点②：RAG用のデータベースの調整
改善点③：「よくある質問」の初期表示
改善点④：評価アンケートの設置
改善点⑤：回答がなかった場合、関連する質問候補の表示

●LLMの比較
機能面、費用面、そして安定性を総合的に評価した結果、第２弾の実証実験では、正確性を犠牲にすることなく、より柔軟に対応できるClaude 3.5 Sonnetを採用することに決定しました。

比較結果については公式note１）や別府市公式ホームページで公開しています。

１）別府市公式note
https://beppu-city.note.jp/

●実証運用期間
2024年８月20日（火）～９月30日（月）（42日間）

●目的
本格運用を目指し、第１弾における課題対応の検証および本格運用に向けた運用面を確立すること

●利用環境
Panorama AI、LLMはClaude 3.5 Sonnetを採用

●利用方法
別府市LINE公式アカウントの生活情報メニュー、もしくは、別府市公式ホームページのトップ画面から遷移して利用

●利用回数
1,078回

●実証運用で確認したかったこと
①実証運用第１弾の課題に対応することで、自然言語での質問に対して、より正しい情報を回答するか
②利用数が増加したか
③本格運用に向けた運用手順を確立できるか

●総合評価と本格運用に向けた課題
・回答の精度は上がったと評価（実証運用を通して精度を上げていくための経験値が蓄積された）
・利用数は増加したと評価（入口を増やす、適切なタイミングでの周知は重要）
・運用手順についてのポイントは整理できたと評価（実施しながらの成長を目指し定期的な確認作業は重要）

　実証運用第２弾においても、生成AIが勝手に作り出したような回答はなく、実証運用第１弾と比較しても、利用数、正答率ともに向上がみられました。

　利用者に不利益を与えるような回答は見受けられませんでしたが、子育て関連の質問であるにも関わらず回答できなかったものが全体の約10％ありました。正答率は向上していますが、まだ、回答できるはずの質問に回答できていない事例も見受けられ、継続した精度の向上、回答率の向上に向けた取り組みが必要であると感じました。

　精度の向上、回答率の向上に向けては、データの拡充、LLMの選択が必要であるものの、同時に重要なこととして、サービスを開始してから生の質問を受けながら調整していく作業であると強く感じています。そのためには、利用状況を監視しながらデータの調整を行っていく運用体制の確立など、継続した取り組みが行える“仕組みづくり”が必要です。具体的には、定期的に回答内容をチェックし、チューニングをしていくことを定例とする、管理画面である程度回答精度を数値化してチェックしやすくする等です。

　二度の実証運用を経験して、生成AIの能力は素晴らしいものがあり市役所の問い合わせ対応業務の入口としての実装が可能であると評価しました。

　これまで２回の実証運用を通じて、生成AIの活用可能性の検証、RAG（検索拡張生成）用データベースの構築・整備など、数多くの試行錯誤を重ね、ついに、本番稼働を迎えることができました２）。

２）別府市公式ホームページ、実証運用に関するページ
https://www.city.beppu.oita.jp/sisei/df/henkaku/ai2.html

　本サービスは、いたってシンプルです。気になることを自然な言葉で質問するだけで、別府市の正確な情報得られるチャットボットサービスです（図-2）。

図-2　本サービスの全体像

　シンプルな使い心地の裏に、生成AIならではの技術的工夫と課題解決のための特長が主に五つあります（図-3）。

特長①：正確性の基盤は「RAG用データベース」
特長②：正確性へのこだわり
特長③：回答の根拠がわかる＝ブラックボックス化しない
特長④：経済性との両立
特長⑤：安全対策の徹底

図-3　本サービスの仕組み

　各特長の詳細は、ぜひ公式noteをご覧ください。そしてぜひ、サービス向上につながりますので、みなさまの利用した感想などいただけると嬉しいです。

　今回の取り組みは、日本DX大賞2025「庁内DX部門」において奨励賞を受賞した先進的な取り組みです。しかし、本サービスは「スタートがゴール」ではなく、市民の皆様とともに育てていくサービスです。今後も回答精度の向上と利便性の向上に取り組みつつ、子育て分野以外への拡張も視野に入れています。

　最終的には、別府市に関するすべての問い合わせを一元的に対応できる（問い合わせを受け付け、回答や必要な手続きへ誘導する）「市民ポータルの実現」をめざして取り組んでいきます。

　そしてこれらの取り組みすべて、「市民がご自身のスマートフォンを利用して24時間365日どこからでも行政サービスが利用できる」、市民の幸福度向上を目的としています。

　市民が便利になるとともに職員の負担も大幅に軽減される世界を目指し、これからもデジタルの取り組みを進めていきます。