AI脚本作成08　AIチャットの評価方法と評価基準

AIチャットには評価基準がありません。AIチャットに本の感想を聞くと、AIチャットは感想をインターネットで検索します。Amazonのコメントや本のレビューサイト、感想のブログなどを参照して回答を作成します。AIチャットが自分で考えた意見ではなく、インターネットの感想や理由をそのまま答えます。

AIチャットに面白い映画を教えてと聞くと、AIチャットが参照したサイトは名作映画100とか映画のランキングサイトでした。人間が作った評価の基準を参考にして、AIチャットは回答を作成します。AIチャットは人間の評価の参考にするために、ランキングサイトをよく参照します。
AI脚本作成02　AIチャットが参照するサイトまとめ

AIチャットに脚本を評価をしてもらった時に、AIチャットの評価方法が分かるような特徴的な回答を作成していました。https://kotatsumegane.blogspot.com/2019/04/bokinosensei02.html とurlを指定してAIチャットに感想を聞くと、AIチャットは「僕の先生」ですねと答えてから、感想を答えました。

このページは「簿記の先生」を題材にした脚本のページなので、私は「簿記の先生」をローマ字にして「bokinosensei」というurlにしました。AIチャットは「bokinosensei」をひらがなの「ぼきのせんせい」に変換した結果「ぼくのせんせい」の入力ミスだと思い、「僕の先生」に変更して解釈しています。

bokinosensei
bokunosensei
1文字違いで、iとuはキーボードの配列も隣なので、入力ミスしやすいです。

Googleで検索すると、「bokinosensei」は存在しないですが、「bokunosensei」はもしかして僕の先生と表示されます。AIチャットは「ぼきのせんせい」と「ぼくのせんせい」をインターネットで検索して、「ぼくのせんせい」の方が多いので、多い方を正しいと判断したようです。

AIチャットが質問した内容と全く違う内容で答える場合は、AIチャットが質問内容を違う意味で解釈している場合があります。英語や漢字なら意味は分かりますが、ひらがなやカタカナの場合はAIチャットに違う意味として解釈される可能性があります。

AIチャットは間違った文章を直してもらうには最適ですが、物語はよくある話に直してしまいます。AIチャットに数字にうるさい簿記の先生の話を添削してもらうと、簿記の先生が数学の先生に変わっていました。数字にうるさい先生は簿記の先生より数学の先生の方がよくあるので、変更したのでしょう。
AI脚本作成04　AIチャットに脚本を添削させた結果

日本のシナリオスクールの問題もあります。脚本の添削で検索すると、検索結果にはシナリオスクールやシナリオスクールの生徒のブログが出てきます。シナリオスクールは入学してほしいので初心者向けの内容が多いです。シナリオスクールの生徒のブログも初心者向けの内容が多いです。

そのシナリオスクールでは初心者は小道具などの使い方から学びます。課題をこなしていくと、設定や登場人物に関する課題があるので、初めはよくある設定でよくある登場人物で、課題が小道具なら小道具を使うことに集中した方が評価が高いと、シナリオスクールの生徒のブログに書いてありました。

初心者コースだけで辞める人やブログを途中で辞めてしまう人も多いので、インターネットには初心者の内容が多くなり、AIチャットはよくある設定でよくある登場人物が正しいと判断してしまうようです。
AI脚本作成05　AIチャットは無料のシナリオスクール

初心者が使うには最適ですが、初心者以外は添削ではなく感想を聞いた方がいいです。物語の感想であれば、AIチャットはシナリオスクールではなく、脚本や小説の書き方の参考書などを検索して感想を答えてくれます。AIチャットは自分で考えず、参照したサイトの考え方を採用します。
AI脚本作成03　AIチャットに脚本の感想を聞いた結果