受注した仕事の進め方を客に説明する文章を、送る前にAIにもう一回読ませとります。誤字やなくて、約束しすぎてへんか、数字の裏は取れてるか、そのへんのチェック用です。
先日、そのチェックを3回通した文章から、4回目と5回目でまだ修正必須が出ました。しかも3回目までに一度も出てこんかった種類の指摘でした。
3回投げて、同じところしか返ってこん
1回目で材料の網羅性、2回目で本文、3回目で差分。毎回ちゃんと指摘は返ってきます。2回目では、客がもう答えてくれとる質問をこっちがもう一回聞こうとしとったのが見つかりました。そのまま送っとったら事故です。
ただ3回目を終えたあたりで気づきました。指摘の種類がずっと同じやと。敬語、数字の根拠、言い切りすぎ。だいたいこの3つの周りをぐるぐるしとる。
考えてみたら当たり前でした。同じ相手に投げとるんやから、見えてへんところも毎回おなじです。
4回目は省いてええやろ、と思った
3回目で直した箇所は、全部「約束を弱める方向の言い換え」と「主語をはっきりさせる」だけでした。新しい約束も、新しい数字も足してへん。
なので4回目は省こうとしました。理屈は通ってると思ってました。結局かけたんですけど、かけて正解でした。
本文に書いた約束のうち1つが、裏側の作りがまだ無い状態やったのが出てきたからです。工程の中でやる作業やから嘘ではない。ただ、落としたら空手形になるやつでした。
目を替えたら、一発で出た
4回目は2本並べて回しました。ひとつは3回投げたのと同じ相手に、直した差分を見てもらう。もうひとつは、まっさらな別のAIに客の立場で初見で読んでもらう。
後者のやり方は単純です。新しい会話をひとつ開いて、それまでのやり取りを一切見せずに本文だけ貼る。そのうえで「あなたはこの文章を受け取る側です。読んで引っかかるところを挙げてください」と頼む。敬語と数字と契約の範囲はもう潰してあると先に伝えて、それ以外の角度で見てもらうのがコツでした。同じところをもう一回指摘されても意味がないので。
一発で出たのは後者でした。
指摘はこうです。客はその直前のやり取りで、ある選択肢に×を付けとる。それやのにこっちの文章は、その選択肢を使えば結果的にうまくいきます、と書いとる。客が自分で否定したもんを、こっちが押し戻す形になってると。
言われて初めて見えました。文だけ見たら、どこも間違ってへんのです。敬語も数字も通っとる。前のやり取りとの関係でだけ、まずい。3回投げた相手は、その文章の中しか見てへんかった。
5回のうち、効いたのは1回だけ
最終的にチェックは5回通しました。でも効いたのは回数やなくて、目を替えた1回です。
同じ相手に何回聞いても、その相手に見えてへんもんは出てきません。人間同士でも似たようなことがある気がします。
もうひとつ持って帰ったのは、弱める方向の直しやからチェックは省いてええ、が成り立たんかったことです。文章を直したら、その直した先に新しい言い回しが生まれます。私が省こうとした4回目が、まさにそこを掘り当てました。
AIに読ませる回数を増やすより、途中で一回、別のやつに読ませる。それだけで拾えるもんが変わりました。
AIが自分の間違いに気づけんかった話は、こっちにも書いてます。Opus 5でAIが黙った｜犯人を3回間違えた話
/n