Up 「正解」 作成: 2025-06-03
更新: 2025-06-03

    正しさを評価するためには，それがどういう正しさなのかを決めねばならない。
    実際，どういう「正しさ」を教えるかで，学習結果が違ってくることになる：
    • 翻訳モデル：
        入力：「I am happy」
        正解 (教師ラベル)：「Je suis heureux」
    • 言語モデル：
        入力：「今日も天気が」
        正解：「いいですね」 ← 次の語を当てる
        　　　　　（「次トークン予測」）


    「正解」 の決め方は，言語モデルだと，
    　　「次の単語予測（Next Token Prediction）
    が代表的である。：」
    その他に，BERTの Masked LM などがある。

    「正しさ」を「次の単語予測」にするとき，「教師あり」はつぎがこれの内容になる：
    1. o_i を「語彙を正しくつなごうとしたことの結果」と定めて，
    2. 語彙の正しいつなぎにそれが近づくよう，｢体の矯正」をする。


    ところでこれは，つぎのように説明される：
    　「 たとえば、入力文「私は昨日、映画を ___ 」に対するモデルの予測が，"見た" や "観た" などであるようにする。
    これは，"映画を" のトークンベクトルが，"見た" や "観た"のトークンベクトルに近づくよう，モデル全体を訓練するというタスクである。」

    しかし，入力テクストに対する Transformer の自動処理の中に，
    　" ｢私は昨日, 映画を ___ 」に続くトークを，モデルが予測する"
    という局面は，存在しない。
    そもそも，モデルが
    　「私は昨日, 映画を ___ 」のトークン列を前にして佇む
    ということは，無い。

    この説明は，「正解表を使う」の計算アルゴリズムに，内容を＜思い入れ・幻想＞で盛ったものである。
    ただし，この＜思い入れ・幻想＞で「正解表」を導入することは，結果的に功を奏する。
    しかし，「野生の思考」でも述べたが，＜思い入れ・幻想＞が結果的に功を奏することは，それが＜事実＞になることではない。　


    「正解」は，値固定の「正解表」として，学習前に作成する：
    　　　NV × NV 行列
    　　　TRUE = ( true_mn )

    教師あり学習が「次トークン予測」の場合だと，正解表の内容は：
    　true_mn :「T(m) のつぎに T(n) がくる確率」

    true_m は確率分布である。
    特に，要素の和が１：
    　　Σ_n true_mn = 1
    　　（ Σ_n は，n = 1, ‥‥, NV )