【Copilot】Copilotに嘘つかれて3日無駄にしました(ハルシネーション)

未分類

どうもcoto.です。

最近サポートAIとしてCopilotにすっかり頼ってしまっているんですが、今回だいぶアレな嘘をつかれた(いわゆるハルシネーションというやつ)のでちょっと報告。…いや、愚痴か…?

わかってますよ。AIは間違えることも結構あること。決してAIのせいではなくそれを使う人間側の問題だということも。

でもね、100%完璧にあってるから、絶対!!!って何度もいわれたらさ。信じてみようかなってなるんだよ、人間は。

今回の「嘘」と顛末概要

最近別サイト関連の商品をPayhipで販売し始めたんですが、商品ページのURLを変更するためには自分のドメインをPayhipとDNS接続する必要がありました。(正しい接続方法はこちら

しかし、私が使用しているXサーバーとの接続方法が公式ヘルプにはありません。

そこでCopilotに接続方法を聞き、その指示に従って設定しましたが一向に接続されません。

私が公式ヘルプに載っていた、他海外サーバーとの接続方法を参考に間違っている可能性を問いますが、Copilotは頑なに当初の接続方法を提案し続けます。

3日後、業を煮やした私がCopilotの制止を振り切り設定を変更したところ、1時間も立たず接続が完了しました。

嘘のミソ

Xサーバー側のDNS設定です。

Copilotの主張:内容欄はpayhip.comが正しい。domains.payhip.comは古い情報
私の問:今もdomains.payhip.comなのでは?(←結局こっちが正しい)

見てよ、この会話

DNSを設定してもすぐには接続できません。世界中に伝播する時間が必要です。
とCopilotに言われ、まあそうかなとしばらく待ちます。

しかし翌日になってもエラー画面は続きます。
(ちなみに成功時はエラー画面①とpayhipの待ってね画面はでませんでした。payhipのは内容的にはかなり似てるけどwait時間のカウントが付いた画面が出ました。)

DNS設定してすぐのエラー画面①
翌日のエラー画面②
payhipにも待ってねと言われ続ける

そこでCopilotに間違っているのでは?と問い、↓が返ってきました。(以下黒塗りは私の名前)

へえーそうなんだ。古いんだーと思いながら待ちます。

さらにその翌日、画面は多少変わりましたがエラーは続きます。
もう一度間違いの可能性を聞きます。

2022年ごろまでdomains.payhip.comが使われていたけど、payhipの大規模な構造改定があって変わったんだよ、ともっともらしいことを言います。

いろいろスクショを見せた後の回答↓

提案した方法は100%正しい、絶対正しい、と強い言葉を使い続けるCopilot。

さらに次の日

などと、すごくそれっぽい理由をさらに並べる。

いろいろ並べられた情報の根拠としてだしてきたリンクを開くも、payhip.comなどとはどこにも書いていない。

いや、だから私のリファレンスじゃなくて、お!ま!え!の!だっていってんだろうが(この辺から大分イライラ)

もうこれ私、本気で怒ってる笑。

この翌日、設定をdomains.payhip.comに変更したことで無事繋がり、もうイライラは一切なかったのですがちょっと意地悪してみることに。

めずらしい!素直に謝ったーー!

copilotは間違いを指摘しても言い訳を並べるだけでほぼ認めないのですが、さすがに今回は謝ってくれました。とはいえやはり言い訳は続く。。。公式どころか誰もpayhip.comって言ってないんだけどな。。。

あ、GoogleのAI概要だけ「payhip.com(Payhip指定の物)」ってなってたからAIが陥りやすい何かがあるのかも。人間からは見えないメタ情報とか?

というわけで本件は終了です。

でもcopilot、root判定にもなってないと思うよ。ルートドメインだろうがサブドメインだろうがdomains.payhip.comて書いてあったよ。いつもサポートありがとうね。これからもよろしくね。

いや、うるせえよ。

コメント