Embedding Master Pro - 生成AIの脳内を覗くベクトル・数理シミュレーター

STEP 1 (CORE)

Embedding層の完全フローシミュレータ

自然言語をコンピュータが理解する最初のハードルがこの層です。テキスト入力から始まり、AIモデルの内部ゲートを経て、多次元の密ベクトルとして出力されるまでの4つのフェーズが目の前で計算・実行されます。

順伝播させる単語を選択

現在の計算状況

1.トークン化

2.One-Hot

3.Lookup

4.出力(実数)

単語を選択し、「順伝播を実行」ボタンを押すと、Embedding層の内部計算アニメーションがスタートします。

📐 数式で見る数理モデル: Lookup & 行列積

$$\vec{e} = \vec{x} \cdot W = W_{i,*}$$

・$\vec{x} \in \{0, 1\}^V$ : 語彙数 $V$ 次元の One-Hot ベクトル。単語 ID $i$ の位置のみが $1$、他はすべて $0$。

・$W \in \mathbb{R}^{V \times D}$ : 事前学習済みの Embedding 重み行列。$D$ は次元数。

・$\vec{e} \in \mathbb{R}^D$ : 抽出された実数埋め込みベクトル。行列積の定義より、これは $W$ の $i$ 番目の行ベクトル $W_{i,*}$ と等価になります。

STEP 2

意味空間と動的次元削減 (PCA)

生成された高次元ベクトル（本アプリでは6次元）は、人間には直接視覚化できません。
ここでは、数学的圧縮アルゴリズム 「主成分分析 (PCA)」 をブラウザでリアルタイム計算し、最もデータの分散（広がり）が大きい上位2つの主成分を抽出し、2次元平面へプロットしています。

登録済みの単語一覧クリックで詳細表示

新しい単語を空間へ射り込む (追加)

独自の概念（例: `ロボット`）を定義し、6つの意味次元スライダーを動かして追加すると、リアルタイムPCA計算が動的に走り、空間全体が新たな重心に引っ張られて滑らかに変化します！

生命力 (生物か) 0.0

可食性 (食べ物か) 0.0

ハイテク度 (デジタル) 0.0

ジェンダー (男 / 女) 0.0

ロイヤル度 (高貴) 0.0

サイズ (物理的巨大さ) 0.0

📐 数式で見る数理モデル: 主成分分析 (PCA)

$$\Sigma = \frac{1}{N-1} \sum_{i=1}^N (\vec{v}_i - \vec{\mu})(\vec{v}_i - \vec{\mu})^T \quad \text{s.t.} \quad \Sigma \vec{u} = \lambda \vec{u}$$

・$\vec{\mu} \in \mathbb{R}^6$ : 全単語ベクトルの平均。データの中心座標を定義。

・$\Sigma \in \mathbb{R}^{6 \times 6}$ : 共分散行列。要素間のばらつきと相関度を示します。

・$\vec{u}$ : 固有ベクトル（主成分軸）。対応する最大の固有値 $\lambda$ に属する第1・第2固有ベクトルを直交座標系として抽出し、2次元へ投影(射影)します。

STEP 3

コサイン類似度 (Cosine Similarity)

AIは2つの言葉の「意味の近さ」を、ベクトル同士がなす 「角度の近さ（コサイン類似度）」 で判定します。
ベクトルの大きさ（長さ）に依存せず、方向（ニュアンス）がどのくらい一致しているかを数理的に測ります。

比較する2つの単語を選択

単語 A (基準ベクトル)

単語 B (対象ベクトル)

類似度の計算プロセス

ベクトル A:

ベクトル B:

内積 (A · B):

ノルム ||A||:

ノルム ||B||:

📐 数式で見る数理モデル: コサイン類似度の正体

$$\cos(\theta) = \frac{\vec{A} \cdot \vec{B}}{\|\vec{A}\| \|\vec{B}\|} = \frac{\sum_{i=1}^D A_i B_i}{\sqrt{\sum_{i=1}^D A_i^2} \sqrt{\sum_{i=1}^D B_i^2}}$$

・$\vec{A} \cdot \vec{B}$ : 2つのベクトルの内積。同じ次元同士を掛け合わせて合計した、重なりの強度。

・$\|\vec{A}\| = \sqrt{\sum A_i^2}$ : ベクトルのL2ノルム（強さ・長さ）。

・ノルムの積で内積を割ることで、ベクトルの絶対的な大きさの影響を排除し、「向き（類似性の純粋な度合い）」だけを $-1.0 \sim +1.0$ に正規化します。

STEP 5

セマンティック検索と RAG

キーワードが完全一致していなくても、意味合いを考慮して文書を検索できるのがセマンティック検索です。
これは近年、生成AIに独自ドキュメントを参照させるRAG (Retrieval-Augmented Generation) の基盤技術となっています。

1. 検索クエリを選択・入力

プリセットの質問

自作の質問（日本語）

※文章の文脈から特徴量ベクトルがリアルタイム抽出（シミュレート）されます！

📐 数式で見る数理モデル: RAG & 意味検索

$$j^* = \operatorname*{argmax}_j \cos(\vec{q}, \vec{d}_j) \quad \text{Prompt}_{\text{final}} = \text{SystemPrompt} \oplus \vec{d}_{j^*} \oplus \vec{q}$$

・$\vec{q}$ : ユーザーが入力した「質問」のEmbeddingベクトル。

・$\vec{d}_j$ : ナレッジベース内に登録された「各分割文書 $j$」のベクトル表現。

・$\text{Prompt}_{\text{final}}$ : 抽出した最適ドキュメント $j^*$（意味の類似度が最大のもの）をクエリと連結してLLMに入力します。

STEP 6 (ADVANCED)

最新研究：InfoNCE & マトリョーシカ

近年、大規模言語モデルと同期したEmbeddingの研究は爆発的に進歩しています。ここでは2つの最高峰のトピックについて数理ロジックと挙動を学習します。

マトリョーシカ表現学習 (MRL) シミュレーター

OpenAI等の最新Embeddingモデルで採用。高次元のベクトルの「先頭から何次元か」だけを切り詰め(Truncate)ても、意味解像度が高水準に保たれるように学習されます。

評価するベクトル次元数を切り出し 6 / 6次元

※スライダーを低次元（例えば2次元や1次元）に動かすと、特徴量が失われ、右側の意味空間上で言葉同士が重なり合って（衝突して）しまう様子が分かります！

📐 MRLの数理損失定義: 入れ子構造損失

$$\mathcal{L}_{\text{MRL}} = \sum_{d \in \mathcal{D}} c_d \cdot \mathcal{L}(\vec{v}_{1:d})$$

・$\mathcal{D} = \{1, 2, 3, 4, 5, 6\}$ : 評価・最適化する次元数のセット。

・$\vec{v}_{1:d}$ : ベクトル $\vec{v}$ の「先頭 $d$ 次元のスライス部分」。

・$c_d$ : 各切り出し次元に対する損失の重要度（重み）。

・$\mathcal{L}$ : 各切り出し表現における損失。先頭の数次元に対しても個別の損失を与えることで、どの長さで切り捨てられても高精度を保持できるように最適化します。

対照学習と InfoNCE Loss

Embeddingモデルは、「似た意味のペア(正例)」を引き寄せ、「異なる意味 of ペア(負例)」を突き放すという引力と斥力のコントラスティブ学習により高精度化されます。

📐 InfoNCE Loss: コントラスティブ損失

$$\mathcal{L}_{\text{NCE}} = -\log \frac{e^{\text{sim}(\vec{q}, \vec{p}^+)/\tau}}{e^{\text{sim}(\vec{q}, \vec{p}^+)/\tau} + \sum_{i=1}^K e^{\text{sim}(\vec{q}, \vec{n}_i^-)/\tau}}$$

・$\vec{q}, \vec{p}^+, \vec{n}_i^-$ : それぞれクエリ、正例（Positive）、$K$個の負例（Negative）の埋め込みベクトル。

・$\text{sim}(\vec{u}, \vec{v})$ : ベクトル間のコサイン類似度。

・$\tau$ : 温度パラメータ（類似度スコアの強弱の差をスケーリングする調整変数）。

・正例との類似度（分子）の確率（ソフトマックス形式）の最大化、すなわち負の対数尤度の最小化を目指して、正例を近づけ、負例を遠ざけます。

選択中の単語: 未選択

マップまたはリストから単語をクリックすると、ここに動的特徴量プロファイルが表示されます。

意味空間シミュレーター起動中

人間 (Person)

動物 (Animal)

食べ物 (Food)

IT/ガジェット (Tech)

カスタム (User)

Embedding Master Pro 層の内部計算シミュレーター

Embedding層の完全フローシミュレータ

順伝播させる単語を選択

現在の計算状況

意味空間と動的次元削減 (PCA)

登録済みの単語一覧クリックで詳細表示

新しい単語を空間へ射り込む (追加)

コサイン類似度 (Cosine Similarity)

比較する2つの単語を選択

類似度の計算プロセス

言葉の足し引き：ベクトル演算

ベクトル演算のプリセット

セマンティック検索と RAG

1. 検索クエリを選択・入力

最新研究：InfoNCE & マトリョーシカ

マトリョーシカ表現学習 (MRL) シミュレーター

対照学習と InfoNCE Loss

最もコサイン類似度が高い検索結果 (RAG抽出)

Embedding層の完全フローシミュレータ

順伝播させる単語を選択

現在の計算状況

意味空間と動的次元削減 (PCA)

登録済みの単語一覧 クリックで詳細表示

新しい単語を空間へ射り込む (追加)

コサイン類似度 (Cosine Similarity)

比較する2つの単語を選択

類似度の計算プロセス

言葉の足し引き：ベクトル演算

ベクトル演算のプリセット

セマンティック検索と RAG

1. 検索クエリを選択・入力

最新研究：InfoNCE & マトリョーシカ

マトリョーシカ表現学習 (MRL) シミュレーター

対照学習と InfoNCE Loss

最もコサイン類似度が高い検索結果 (RAG抽出)

登録済みの単語一覧クリックで詳細表示