深層学習におけるランダム行列とアテンション行列のスペクトル
日本神経回路学会誌 33(3), 124–133
2026-09-05
Abstract
深層学習に現れる高次元行列の固有値・特異値分布を、ランダム行列理論と自由確率論から解説する。 初期化と層の合成、モーメント法を経て、固定逆温度の自己注意におけるガウス等価性を紹介する。 日本神経回路学会誌33巻3号、124–133頁の解説記事。2026年9月5日発行、10月14日J-STAGE公開。
Main topic
BibTeX
@article{hayase2026jnns,
title = {深層学習におけるランダム行列とアテンション行列のスペクトル},
author = {早瀬友裕},
journal = {日本神経回路学会誌},
year = {2026},
volume = {33},
number = {3},
pages = {124--133},
doi = {10.3902/jnns.33.124}
}