高校数学でみる生成AI：アテンション機構の秘密（確率編）

この記事でわかること

AIの文章理解の仕組み：アテンション機構を用いて、AIがどの単語に注目するかを判断する方法を解説。
確率の役割：ソフトマックス関数を使って、各単語の「注目度」を確率として計算する仕組み。
統計の役割：過去のデータを基に単語の出現パターンを確率分布として学習し、AIの予測精度を向上させる仕組み。

「AIが文章を理解したり、翻訳したり・・・なんだかすごい魔法みたい…」

そう思ったこと、ありますよね？何年か前の翻訳機能は正直言って全然使いものにならなかった記憶がありますが、昨今のAI翻訳は、化け物級に精度がいい！
その化けの皮を剥ぐと、高校で習う「確率・統計」が深く関わっているんです。

今回は、AIの文章理解を支える「アテンション機構」を例に、確率・統計がどのように役立っているのかを、文系の方や技術が苦手な方にも…まぁ、なるべく分かりやすく解説します。

アテンション機構って何？～AI界の「空気を読む」スペシャリスト～
確率がアテンション機構でどう使われているの？～AIの「注目度」は確率で決まる！？～
まとめ

アテンション機構って何？～AI界の「空気を読む」スペシャリスト～

アテンション機構とは、AIが文章を理解する際に、「どの単語が重要か」を判断する仕組みのことです。例えるなら、AI界の「空気を読む」スペシャリスト。

例えば、「猫が魚を食べる」という文があったとき、AIは「猫」「魚」「食べる」といった単語が重要だと判断し、これらの単語に注目して文全体の意味を理解します。まるで、人間が会話中に相手の言葉の重要度を瞬時に判断するみたいですよね？

この「注目度」を計算する際に、確率・統計がこっそり使われているんです。

確率がアテンション機構でどう使われているの？～AIの「注目度」は確率で決まる！？～

アテンション機構では、各単語の「注目度」を確率として計算します。これは、「どの単語にどれくらい注目すべきか」を確率で表すことで、AIがより柔軟に文章を理解できるようにするためです。

注目度の計算：ソフトマックス関数

具体的には、「ソフトマックス関数」という関数が使われます。ソフトマックス関数は、複数の数値（この場合は単語の重要度）を、合計が1になるような確率に変換する関数で、具体的には次のように与えられるものです。

$${s(x_i) = \frac{e^{x_i}}{\sum_{j=1}^{n} e^{x_j}}}$$

例えば、「猫」「魚」「食べる」という単語の重要度がそれぞれ「2」「5」「3」、つまり${x_猫=2}$、${x_魚=5}$、${x_{食べる}=3}$だったとします。ソフトマックス関数を使うと、これらの重要度は以下のような確率に変換されます。

猫：約0.042（4.2%）
魚：約0.844（84.4%）
食べる：約0.114（11.4%）

このように、ソフトマックス関数を使うことで、AIは「魚」という単語に最も注目すべきだと判断できます。

ところで、上の確率を全て合計すると100%です。これが先ほど書いた、「合計が1になるような確率に変換する関数」だということです。

統計はアテンション機構でどう使われているの？～AIは過去のデータから未来を予測する！？～

アテンション機構では、過去の大量のデータから単語の出現パターンを学習し、その結果を統計的に利用します。

例えば、「猫」という単語の近くには「魚」や「食べる」という単語が現れやすい、といったパターンを学習します。この学習結果を使って、AIは未知の文章でも「猫」という単語が出てきたら「魚」や「食べる」といった単語に注目すべきだと判断できます。まるで、ベテランの刑事さんが過去の犯罪データから犯人を予測するみたいですよね？