こちらの本を読んだのでメモ
認知機能を持つ主体の認識の仕組みを統一的な観点で説明する理論として自由エネルギー原理というものがあり、その枠組を行動の推論にまで広げたのがactive inference。この本の著者の一人であるKarl Fristonが自由エネルギー原理の提唱元の人物。
本の内容としては 2部に大わけしてあり、 前半がframeworkの内容や理論についての解説、 後半が実際に問題に応用する際に必要な設計方法や具体例の紹介という形。
1部
- 個別事象のベイズ推定から始めて自由エネルギー原理の考え方にたどりつく方向で解説
- 生物は生存するために適切な状態を維持する必要がある、という前提から始めて自由エネルギー原理の考え方にたどりつく方向で解説
- 変分推論との関連や生成モデルの具体的な形について解説
- 既知の脳の仕組みとの合致など生物学的な意味について解説
全体像を知りたい場合は2章、3章を読むので十分把握できると思われる。
2部
- active inferenceを用いるとき必要な生成モデルや生成プロセスの各要素の設計や種類
- 離散・連続モデル、階層型のモデルなどについて
- toy problemにおける具体的なモデル、計算例の紹介
- 対象の生成モデルを分析する科学者のモデルへの応用例
最後の10章は全体のまとめのような形で、このframeworkと他の分野や理論との関わりについてまとめている。
重要な概念まとめ
自由エネルギー原理とactive inference
- 自由エネルギー原理は、予測誤差を最小限にするよう自身の認識を更新していくというもの
- 脳は感覚情報を元に状態を予測するという生成モデルという言い方
- 近い理論としてベイズ脳仮説や予測符号化
active infereneceはこの枠組みに行動推論も含めたものという立ち位置で
- 自身が望む状態へ到達するには認識を変化させるだけでは不可能なケースがある
- 環境側を変化させるために外部に働きかける(=行動する)必要がある
- 将来の期待される自由エネルギーを最小化する行動系列を推論することでその行動を決める
- = active inference
変分自由エネルギー
F = D_KL[Q(x) || P(x|y)] - ln P(y)
where x: 隠れ状態
y: 観測
Q(x): 近似事後分布(自身のもつ環境の状態を予測する分布)
P(x|y): 環境の真の事後分布
- 第1項がが自分の予測と環境の真の分布とのKL divergence(=距離のようなもの)
- 第2項が観測の対数確率(驚き)
前者のQを最適化することが認識の更新であり、その時点での観測に対し、隠れ状態の分布をあわせるよう更新する。 yは観測であり、これは自身の内部の生成モデルの更新では変化させられない。 ここを最小化するには観測yを変化させるために環境に働きかける必要があり、適切な働きかけ方を決めるために期待自由エネルギーを用いる。
この式は数式の変形によって様々な意味を表す項として置き換えることが可能。
期待自由エネルギー
G = -E_Q(x,y|pai)[ D_KL[Q(x,y|pai) || Q(x|pai)]] - E_Q(y|pai)[ln P(y|C)]
where x: 未来の予測した隠れ状態の系列
y: 未来の予測した観測の系列
pai: 採った行動系列(policy)
E_Q: 分布Qによる期待値
- 第1項が観測を得る前後の認識の変化の大きさ(情報利得)
- 第2項が予測される結果の望ましさの度合い(実利的価値)
将来の行動を反実仮想で考えるためにpolicyに条件づけされた自由エネルギーとなっており、これを最小にするpolicyが採るべきものとなる (未来の行動をとった際に予測される結果と認識との誤差を累積したもの)
こちらも変分自由エネルギーと同様、数式の変形によって様々な意味を表す項として置き換えることが可能。
マルコフ・ブランケット
agent(内部状態)と環境(外部状態)は直接的に相互作用しているわけではなく、活動状態と感覚状態を経由して間接的に影響を与えている。
- agentは行動することによって環境に働きかけてそれによって環境を変化させることができる
- agent -> 環境の間にあたるものが活動状態
- agentは環境の変化を自身の感覚器官でキャッチし、それを感覚情報として認識することによって環境からの影響を受ける
- 環境 -> agentの間にあたるものが感覚状態
数学的には条件付き独立であることを指している
p(u,x|b) = p(u|b) * p(x|b)
であるときbはブランケットであり、bを既に知っているときに後からxを知ったとしてもuについての追加情報は得られない、ということを意味する。
これが重要なのは、ブランケットによる間接的な影響の形をとっているからこそ、agentは自身を環境から独立したものとして保つことができるという点。仮にブランケットのない状態を考えるとagentは環境の変化の影響をそのまま受けてしまい、生物の持つ生存条件を保つなどの基本的な要求が満たせないことになる。
この本以外の文献
本で参考文献として書かれているものや出てくるワードなどに関連したメモ
- T字路のシミュレーション例の詳細はこちら
- ベイズモデル縮約
- https://arxiv.org/abs/1805.07092
- モデルの構造変化による影響を低コストで比較するために役立つ
- 全構造を説明可能なフルモデルで事後分布を計算しておけば、一部のパラメータをなくした部分モデルの事後分布は理論的に高速に計算可能
- 深層NNとMCTSを用いた形での応用例
- モデル選択を加えた期待自由エネルギーの最小化
- https://arxiv.org/abs/2512.21129
- 2025年末のものなので本より後のもの
- この本の訳者が書いた本
- https://www.iwanami.co.jp/book/b593229.html
- 内容は類似した部分が多く、生物学的な部分や数式を用いた計算例が多め
- 自由エネルギー原理の枠組みに対する批判について
