外に出す文章は、送る前に別のAIに読ませとります。やることは単純で、チャットに本文を貼って「これを受け取る側として読んで、引っかかるところを挙げて」と頼むだけ。誤字やなくて、約束しすぎてへんか、数字の裏は取れてるか、そのへんの点検用です。
この前、指摘を全部直した文章を、同じAIにもう一回投げました。そしたら直した箇所そのものから、新しい欠陥が出てきました。
AIレビューは、指摘を直したら終わりやないです。直すのは文章を消す作業やなくて書く作業やから、直した先に新しい言い回しが生まれる。そこには新しいリスクが乗っとります。だから直した後、同じAIに差分だけをもう一度見せる。新しい相手を立て直すより安いし、自分が出した指摘がちゃんと直っとるかを本人が突き合わせられます。
指摘を全部反映したら、終わった気になった
返ってきた指摘は、どれも納得できるやつでした。言い切りすぎてるところ、根拠を書かずに数字だけ置いてるところ、読み手が前提を持ってへんのに内輪の言葉で書いてるところ。
順番に直しました。全部潰した。ここで普通なら送ります。指摘がゼロになったら、もう完成したような気になるからです。
けど前に一回、これで痛い目を見とります。弱める方向の直しやからチェックは省いてええやろ、と思って省きかけた時に、その省こうとした回で、本文に書いた約束のひとつが空手形になっとったのが出てきました。それがあったので今回は、直した後にもう一回だけ投げました。頼み方は「直した差分だけ見て」。全文は参考として下に付けて。
直した1文が、意味の読めん文になっとった
出てきたのはこういう指摘でした。
元の文には、資料から引っぱってきた言葉がそのまま入っとりました。ほんまはカギ括弧で囲むべきやったんですが、その時は文の流れで地の文に溶かしとった。で、その引用がどこで終わるかを読点ひとつが示しとったわけです。
で、指摘に対応する時に説明の語をひとつ足した。その拍子に、その読点を落としました。
実物は出せんので、同じ形の例を作るとこんな感じです。
- 直す前：資料には、対象は初回のみ、と書いてあった
- 直した後：資料にはすでに、対象は初回のみと書いてあった
前のやつは、読点ではさまれた「対象は初回のみ」が資料に書いてある言葉やと読めます。後のやつは、それが資料の言葉なんか、こっちが読んでまとめたもんなんか分かりません。字面はほとんど変わってへんのに、誰が言うたことなのかが消えとる。
結果、どこまでが引用でどこからが自分の言葉か読めん文になった。文法は合っとる。誤字もない。読んだ人が意味を取り違えるだけです。しかも運の悪いことに、そこが文章の山場でした。一番読まれるところ。
自分では絶対に気づかんかったと思います。直した本人は「語を足した」としか思ってへんので、消えたもんは見えません。
新しいAIを立てるより、同じ相手に差分を見せる
前に「同じ相手に何回聞いても、その相手に見えてへんもんは出てきません」と書きました。目を替えるのが効く、という話です。それは今も変わりません。
ただ今回みたいな「直したせいで壊れた」型には、目を替えるより効く手があります。指摘を出した本人に、直したものを見せる。
理由は単純で、本人は自分が何を問題にしたかを覚えとるからです。「その指摘、直っとるか」を突き合わせられるのは本人だけ。まっさらな相手に全文を渡し直すと、また最初から全部読ませることになるし、1周目で潰したはずのところをもう一回指摘してきます。時間もかかる。
使い分けはこうなりました。1周目は目を替える。2周目は同じ目に差分を見せる。
「本人に確認して」と返してくるレビューは信用できる
もうひとつ、この2周目で気づいたことがあります。
返ってきた指摘に、こういう申し送りが付いとりました。この語が実際の事実と合っとるかは、書いた本人に確認してほしいと。
最初は「そこは判断してくれへんのか」と思いました。でもこれ、正しい返し方やと思います。AIは文章の中のつじつまは見れます。でも、その文が現実と合っとるかは見れません。手元の資料も、こっちが実際に何をやったかも知らんので。
そこを黙って「問題なし」と返してくるレビューのほうが、よっぽど怖い。分からんことを分からんと言うて投げ返してくるほうを信用するようになりました。
2周目に投げる時の型
いまはこの3つでやっとります。
- 会話を替えずに、同じ相手に続けて投げる。新しく立て直すと1周目の記憶が無くなるので、突き合わせができんくなります
- 渡すのは差分。「ここをこう直しました」と直した箇所を並べて、全文は参考として下に置く
- 聞き方を変える。「直りましたか」やなくて「この直しで新しく壊れたところはありますか」。前者やと「直っとります」で終わってしまいます
3つ目がいちばん効きました。聞き方が「確認」やと確認しか返ってきません。
回数で押すんやなくて、1回目で目を替えて、2回目で直したもんを本人に戻す。それだけで、送る前に止まる事故が1個増えました。
よくある質問
2周目も同じAIに投げてええんですか
直した差分を見るぶんには同じ相手のほうがええです。自分が出した指摘が直っとるか突き合わせられるので。ただし最初から最後まで同じ相手だけで回すのは効きません。一番はじめは別の目に読ませてください。
毎回2周やるとしんどくないですか
2周目は差分だけなので、1周目よりだいぶ軽いです。全文を読ませ直すわけやないので。外に出す文章と、やり直しの効かんものだけ2周にしとります。自分用のメモは1周も回してへんです。
指摘が返ってこんかったら、その文章は大丈夫ですか
大丈夫とは言えません。指摘ゼロは「その相手に見えとる範囲では問題なし」までです。事実が合っとるかはAIには見れんので、数字と固有名詞はいったん本文から抜き出して一覧にして、出どころをひとつずつ当たるようにしとります。
あわせて読みたい
この記事の元になった話はこっちに書いてます。AIに3回チェックさせても同じ穴は素通りした話