「AIに自分の会社を聞いてみた」は、そのままでは点検にならない

2026-08-10 ／ 凪WORKS

「ChatGPTにうちの事務所のことを聞いてみたら、だいたい合っていました」。相談の席で、この報告をときどき受ける。逆に「まるで違うことを答えられて青くなった」と言われることもある。どちらの場合も、こちらから返す言葉は同じになる。それは何回、どういう聞き方で確かめた結果ですか。

一度尋ねた答えは、良くても悪くても判断の材料にならない。理由は四つある。

ひとつ。AIの答えは毎回そろわない。同じ問いを翌日にもう一度投げると、挙がる事業者の顔ぶれが入れ替わることがある。一度で「出た」「出ない」を決めるのは、さいころを一回ふって出目の傾向を語るのに近い。

ふたつめ。聞き方が答えを決めてしまう。社名や屋号を出して尋ねれば、AIはその名前を手がかりに探し、公式サイトを読んで答える。だから、たいてい合っている。けれども客は社名を知らない。知らないから「仙台 相続 相談 行政書士」と打つ。この二つは別の問いで、返ってくるものも別になる。自分の名前で聞いて安心するのは、答えを見てから問題を作るのに似ている。

みっつめ。自分のアカウントは、自分の会社の話を何度もしている。履歴や設定が残っていれば、AIはそれを踏まえて答える。手元の画面に見えているものが、はじめて尋ねた人の画面と同じとは限らない。

よっつめ。AIは、どこにも書かれていないことを答える場合がある。検索せずに手持ちの知識だけで返した回答は、もっともらしいのに根拠がない。仮に内容が合っていたとしても、それはこちらの情報が機械に正しく届いた証拠にはならない。

点検にするための五つの手当て

一つ目。問いを三つ決めて、文字で書き留める。屋号や事務所名で尋ねる問い。客が使う言葉で尋ねる問い（地域と業種と困りごと）。条件をつけた問い（土曜も開いているか、初回相談は無料か、どこまで出張するか）。この三つを、一字も変えずに毎回使う。問いが変われば答えも変わるので、変えた時点で前回と比べられなくなる。

二つ目。履歴の影響を切る。新しいチャットを開く。できればログアウトした状態か、一時チャットを使う。職場と別の回線から試すと、地域の効き方の違いまで見える。

三つ目。日を変えて三回。一日一回で三日ぶんあれば足りる。名前が挙がったかどうかを、回数で書く。三回のうち一回だけ挙がったなら、それは「出ている」でも「出ていない」でもなく、三分の一である。

四つ目。根拠のURLを求める。答えが返ってきたら「その情報はどのページに書かれていますか。URLを挙げてください」と続けて聞く。URLの出てこない回答は、記録には残しても、判定からは外す。内容が合っていても、どこを読んだのか分からなければ直しようがない。

五つ目。生の回答を保存する。日時、使ったAIの名前、投げた問いの文、返ってきた本文。この四つをそのまま残す。自分でまとめた要約だけを残すと、あとで見返したときに何が起きたのか分からなくなる。私たちは6月に、自社の観測ツールが「引用元0件」と報告してきた件を、保存してあった生の回答で確かめ直した。開いてみたら10件あった。道具の見落としだった（この顛末は別の記事に書いた）。

「違っている」の中身を、二つに分ける

食い違いが見つかったときは、表記の揺れと、事実の食い違いを分けて扱う。

「株式会社」が付いているかいないか。全角と半角。電話番号のハイフンの位置。屋号の中黒の有無。この手のずれは直す対象ではない。人が読んでも機械が読んでも、同じものとして扱われる。

直すのは、電話番号の数字そのものが違う、営業時間が違う、住所の番地が違う、扱っていない業務を扱うと言われている、閉じた店舗が営業中になっている、といった食い違いである。社内で判定の決まりを作ったとき、いちばん時間をかけたのがこの線引きだった。表記の揺れまで「間違い」として数えると、直す先が二十も三十も並び、本当に困っている一件がその中に埋もれる。

もうひとつ、混ぜてはいけない区別がある。「AIが答えなかった」と「情報が存在しない」は別である。回答が途中で切れた、検索が働かなかった、こちらの聞き方が悪かった。どれも「載っていない」の証拠にはならない。分からなかったものは、分からなかったと書いておく。空欄のほうが、誤った断定より扱いやすい。

これで分からないこと

ここまでやっても、分かるのは「AIがどう答えるか」までである。答えに名前が出たから客が増えるという話ではない。AIの回答を見た人が、そこから連絡してくるかどうかは、その先の別の問いになる。

ひとつのAIで直っても、ほかで直るとは限らない。7月に測った例では、旧ページを整理した変更がChatGPT側の回答に現れたあとも、Gemini側の回答は元のままだった（この件は別の記事に詳しく書いた）。三問を三つのAIに投げれば手間は三倍になるので、まずは客が使いそうな一つに絞ってよい。

測る道具も間違える。さきほどの「0件」がそれで、私たちが自分で書いたプログラムの見落としだった。よそに測ってもらうときは、グラフの出来より先に、生の回答を見せてもらえるかを確かめるとよい。

そして、三日ぶんの記録は、三日ぶんの事実でしかない。AI側の仕組みは更新される。半年前の記録を、今の状態として使うことはできない。点検は一度で終わらず、季節ごとに一度くらいの間隔で繰り返すことになる。

今日できるのは、三つの問いを決めて書き留めるところまでである。明日から三日、同じ問いを投げて、返ってきた文をそのまま貼っておく。それだけで、来月の判断の土台になる。何をどう直すかは、そのあとで決めればよい。ご相談は、お問い合わせからどうぞ。

凪WORKS／AI来客観測。本文中の6月・7月の記録は、当社が自社および施工先で行った観測によるものです。記述は作成時点のもので、特定の表示順位・推薦・来客数の増加を約束するものではありません。