モデルをOpus 5に変えた翌日、AIが黙って作業するようになった。Claude Codeで何をしとるか見えん。原因を突き止めるまでに、俺は犯人を3回間違えた。
先に言うとくと、犯人はAIやなかった。俺が使ってた物差しのほうやった。
乗り換えた翌朝、AIが黙りはじめた
Opus 4.8で懲りて、Sonnet 5にも飛びつかんかった話は3週間ちょっと前に書いた（Opus 4.8で懲りた俺は、Sonnet 5に飛びつかない）。その俺が、Opus 5には出た翌日に乗り換えた。4.7 → Fable 5 → Opus 5で、4.8だけ飛ばした形になる。
乗り換えた翌朝から、様子が変わった。長めの作業を頼むと、AIは何十回も手を動かしとるのに、こっちに出てくるのは最初の一行だけ。あとは沈黙。終わるまで何をやってるか分からん。
あとでAIに、やり取りの記録を全部数えさせた。その朝は10回連続で、途中の報告がゼロやった。
1人目に疑ったのは、Opus 5そのものやった
新しいモデルが無口な方向に調整されたんやろ、と思った。
で、公式の説明を読んだ。逆のことが書いてあった。Opus 5は前のモデルより、作業の途中経過を伝える回数が「増えてる」と。
自分の記録でも数えた。Opus 5は作業を2.5回進めるたびに一言くれてる。前のモデルより多い。1人目、外れ。
2人目に疑ったのは、自分が書いたルールやった
俺はAIに毎回読ませる自分ルールのメモを持ってる。同じ失敗を何回もされたから、一個ずつ足してきたやつ。
その中にこういう項目があった。「俺に読ませたいものは、作業が全部終わった最後にまとめて出せ」。途中で書かれても画面に出てこんことがあったから足した項目や。
これやと思った。指示に素直なAIが「じゃあ途中は黙っといたらええな」と受け取ったんやろ、と。犯人が分かった気になって、その場でメモに結論を書き込んだ。
数時間後、その行に自分で打ち消し線を引くことになる。
過去のぶんも数えさせたら、同じルールがあった時期に前のモデルは普通に途中報告をしとった。ルールがあるだけでは黙らんのや。2人目も外れ。
AIへの指示の出し方でコケた話は前にも書いた（AIに毎朝コケられた僕が、「指示の出し方」を変えた話）。あれは一本の指示の書き方の問題。今回は指示が増えた先の話や。
3回目でようやく、俺の測り方やった
数え方が壊れとった
実は最初に数えた時は、もっと酷い結果やった。どのモデルも途中報告ゼロ。
さすがにおかしい。ちゃんと喋っとった時期まで0件になってる。数え方が間違ってた。直して測り直したのが、さっきの2.5回に1回や。
喋ってはいた。ただし英語で
問題は2回目やった。直したあとの数字はもっともらしかった。だから疑わんかった。
別の作業で走らせとったAIの画面を、なんとなく眺めとって気づいた。途中の報告は出てる。出てるけど、英語やった。
「All three rounds done. Generating the merged report.」
数え直したら、そのやり取りは18.8%が英語やった。
AIは喋っとった。俺が読める言葉でなかっただけ。
数を数える側は、これを「報告あり」として通しとった。言葉の種類まで見てなかったから。壊れ方が派手なら気づける。もっともらしい数字は、壊れとっても分からん。
今は、途中の報告は日本語で出せというルールを足した。それで俺の画面には戻ってきた。
なんで英語になったんかは、まだ分かってへん。