西垣通『新基礎情報学』まとめと感想

※自分用のgoogleドキュメントから転載

 現代における情報学(に限らず、自然科学全体?)はコンピューティング・パラダイムに基づいている。これはシャノンの情報理論(図書館情報学でやったやつ)やラッセル達が確立した論理演算の追求をベースとした、宇宙/世界の客観的記述が可能とする立場である。これは、西洋のユダヤ=キリスト教に基づく宇宙一元論と符合するので、熱狂的な信者が学者にも多く、AIが人間を超える(いわゆるシンギュラリティ)とまことしやかに予言されている。人間は物理的素材からできていて限界があるが、コンピュータの発達はそのような制限がなくいずれ人間を追い越すという想定である。

 コンピューティング・パラダイムの欠点は2つある。1つは形而上学的な問題。カントが明らかにしたように、人間の生物学的特性の限界により、宇宙/世界の存在に絶対的にアクセスすることは不可能で、人間というフィルターを通して相対的にアクセスすることしかできない。神が眺めているような宇宙/世界を想定することを素朴実在論といい、これはカントやフッサールの現象学によって大いに批判され、現代哲学では自明視できないと考えられている(だから、現代哲学は大抵が相対主義である)。が、多くの科学者はいまだに素朴実在論を信奉している。私たちも大半がそう考えていると思う。

 もう1つは技術的な限界。AIは記号の操作はできるが、意味を解釈できない(記号接地問題、フレーム問題というらしい)。人間は論理推論だけで生きているのではなく、身体的直観や暗黙知、文化、物語、俺様ルールなど様々な非論理的な知を駆使して生活している。機械が意味を「解釈できている気がする」のは私たちの想像力がそうさせているだけである。最近の深層学習はAIに統計処理を導入し、力技でそれっぽいことができているように見えるが、実のところ何もできていない(囲碁とか顔認識とか厳格なルールがある場合だけしか無理)し、その限界は30年前からわかっていた。結局、現時点の技術ではAIが自律的になることは不可能で、AIの背後には必ず設計者が存在する(これも昔と同じ)。

 とはいえ、今のようなAI信仰が進むと、AIの判定に従って人間が決定を下したり、AIを強くするためだけに人間が働くような、人間が機械の奴隷になる日もそれほど遠くはない(ハラリの「ホモ・デウス」という本に詳しいらしい)。ディストピアを回避するにはどうするか。そこで情報基礎学の出番というわけである。

 情報基礎学では、基礎理論としてサイバネティック・パラダイムを採用する。これは、生命活動から情報をとらえようとする立場のこと。生命の特徴は、価値の自律的な創出にある。生命は、限定された認知世界という前提の下で常に最適解を探そうとするものである。1970-80年代ごろに出現したネオ・サイバネティクスは、「客観的な、観察された世界の分析」から「主観的な、観察する世界の分析」に視点を移そうとするものである。視点を外側から内側に移すということである。

 情報基礎学(の西垣研究所?)はHACS(Hierachical Autonomous Communication System:階層的自律コミュニケーションシステム)モデルを採用する。HACSでは、まず生物をAPS(AutoPoietic System:自己創出システム)ととらえる。環境からの刺激を自分なりに意味解釈して、自分を再構成していくというモデルである。そして、複数のAPSが相互作用しつつ、さらに、APSの間に非対称な階層関係を想定するのがHACSである。

 例えば、学生と大学の関係を考えればいい(この例えはオリジナルです)。学生一人一人はAPSであるが、大学というシステムもまた一つのAPSである。APSとしての学生同士の相互作用を考えることができる他にも、大学から見ると学生一人一人は、自律性を捨象された機械のような存在として見える(学生番号で管理される学生を想定してみるといい)。つまりHAPSにおいては、自律(サイバネティック側からのアプローチ)と他律(コンピューティング側からのアプローチ)を両方考えることができるのである。

 本書は基礎情報学の枠組みをおおむね以上のように示すが、実際のところこれがプログラム開発にどう役立つのかについては何も述べておらず(プログラムはコンピューティングパラダイム内の集合だからそりゃあそうか)もっぱら哲学的な議論、AIの限界などがメインである。本書中で示された参考文献はとても面白いものばかりで全部読みたいが、情報学を学ぶ上でどのようにその視点を生かしていくか、私の中では全然はっきりしていない。とはいえ、私はこの本読むまで素朴実在論者だったし、情報学に対する考え方を180度回転(コペルニクス転回ってやつ?)してくれたことは事実である。そして、課題も沢山見えてきた。哲学への興味(基本的に西垣先生が毎回思想を解説してくれる)と、AIに対する興味があれば読める非常に刺激的な書物なので、ぜひ読んでみてください。

 東大情報学環ってすげー面白い所なんだなーと思いました。西垣先生はすでに退官されているので、後任の若手さんがまた面白いことをやってくれてるんでしょうね。

参考

digital-narcis.org


放送大全科目コンプしたい

慶應通信はまだ途中ですが、放送大学の科目履修生になってしまいました。

もともと理系(情報工学)だったので、情報系・自然系の科目を極めたい気持ちがあるからです。

大学院も視野に入れています。もともとは海外の大学院目指してましたが、どうも生活をかなり犠牲にせざるを得ないので、あきらめて、放送大の大学院もいいかなぁと考えています。

で、放送大の教材が届いたのでログインしてみたら、面白そうな科目が山ほどあるんですよ。全部見たい・聞きたい。

ということで、本当に全部見たり聞いたりしようかなと考えています。で、すべての講義の感想を書くの。私は楽しいし皆さんは履修の参考になるし最高じゃない!?

数は300科目の通年講義(45分15講)+特別講義が50講(45分)くらいあります。しかも、BSではアーカイブスといって、閉校した名講義も流れている。1.5倍速再生を駆使しても、1科目7時間で、必要時間は2000時間以上ですね。でもトライしてみたい気持ちがあります。

慶應通信が忙しいうちはほどほどにしますけど、いずれは、本気で実行しようと思います。

追記:サブブログ作りました

放送大学を全科目コンプリートするブログ – 全科目視聴するまで続けます (rokujo.org)


E-統計学

  • [[レビュー]]
    • 試験 ?
    • 課題 ★★★☆☆
    • 秋山裕先生
    • なんとテキスト科目のテキストをそのまま使用するという、非常にリーズナブルな授業。単位も半分と、テキスト統計学の短縮版と思われる。データの読み方から、正規分布~中心極限定理~[[仮説検定]]~回帰分析まで。excelの使い方を詳細に解説してくれており、神excelの使い手に一歩近づける。
  • 以下では講義のまとめをします
  • 第9回 [[仮説検定]]

    • 仮説検定では分布の変化を評価し、主張の検証を行う
      • 主張が統計学的にデータから支持されるかどうかを検証する
    • [[仮説検定]]の手続き
      • 仮説の設定
        • 「今までと変わらない」[帰無仮説]と「今までと変わった」[対立仮説]にするのが基本
        • 例)今学期の平均点を65点として、H0:μ=65、H1:μ>65
      • 帰無仮説(H0:μ=65)が正しいとして分布を考え、得られた標本の平均(xb=70)がその分布の中で発生しにくいかどうかを考える。発生しにくければ対立仮説を支持する。#br
        帰無仮説を正しいと考えるのは、対立仮説(H1:μ>65)を証明するのが大変だから。
      • 帰無仮説に基づく分布の決定
        • 標本の平均、標準偏差から、[[中心極限定理]]に基づき標本平均の分布を計算する。平均=標本の平均、標準偏差=標本の標準偏差/√n
        • 検定統計量は[[標準化]]して[[標準正規分布]]にする。
      • [[有意水準]]の決定
        • [[有意水準]]とは、得られた標本平均が分布の中で「発生しにくい」と判断する確率のこと
        • 社会科学では一般に5%が用いられる。
      • [[棄却域]]の設定
        • [[有意水準]]の領域の範囲を求めることを[[棄却域]]の設定という。
          • 例えば対立仮説が「先学期の平均65点より高い」であれば、得られた標本平均が発生しにくいほど大きいければ対立仮説が支持されるので、[[棄却域]]は分布の右端になる。
          • 有意水準が大きければ、[[棄却域]]も大きい
          • [[標準化]]後なら、「z>NORM.S.INV(1-有意水準)」 が[[棄却域]]となる
      • 検定の結論
        • 計算した検定統計量が[[棄却域]]に入っていれば「発生しにくい量」であると示されたことになる
        • 発生しにくいことが起こったならば
          • [[帰無仮説]]は棄却、[[対立仮説]]を採択
          • 「有意水準?%で対立仮説が起こった」と結論できる
        • [[棄却域]]に入っていなければ、[[帰無仮説]]を採択することになる([[対立仮説]]を棄却する、とは言わない)
    • 平均に関する検定における標準正規分布と[[t分布]]
      • 母集団の標準偏差が分からない場合は、標本の標準偏差で代用しなければならないが、[[標準正規分布]]を用いることができないので、代わりに[[t分布]]を使う
        • 統計量が正規分布に従うと仮定しないといけない
      • [[棄却域]]は「T.INV(有意水準,n-1)」で求められる
    • [[P値]]による検定
      • 計算した検定統計量よりも大きく(小さく)なる確率を[[P値]]という
      • [[P値]]が[[有意水準]]より小さければ[[対立仮説]]を採択、大きければ[[帰無仮説]]を採択し、結論できる
      • 具体的には 右片側検定なら「1-NORM.S.DIST(標準化した検定統計量)」 左片側検定なら「1-T.DIST(標準化した検定統計量)」が有意水準より小さいかどうかで判断すればいい
    • 割合に関する検定
      • 仮説の設定を H0:p=0.5, H1:p>0.5 のように行って同様に計算する
      • 検定統計量は[[区間推定]]で計算したように z=(pt-p)/√(p(1-p)/n) で計算する。
      • 同様に「1-NORM.S.DIST(標準化した検定統計量)」「1-T.DIST(標準化した検定統計量)」が有意水準より小さいかどうかで判断
      • 例)n=300人に対してx=171人がA候補者に投票した場合
        • 得票率pt=57% より z=2.42487, NORM.S.DIST(z,true)=0.99234より p(z > 2.42487) = 0.00766 よって[[有意水準]]1%でA候補は当選確実である
    • [[第I種の過誤]]、[[第II種の過誤]]
      • 仮説検定による結論は誤りである場合がある
      • [[第I種の過誤]]は、帰無仮説H0が正しいのに棄却してしまう誤り。
      • [[第II種の過誤]]は、対立仮説H1が正しいのに、帰無仮説H0を採択してしまう誤り。
      • いずれも、結論と事実が棄却域の反対側にある場合に起きる誤りのこと。
      • 過誤をなくすためには、有意水準を小さくしてやればいい
  • 第10回 相関分析

    • 変化が起こったとき、なぜその変化が起こったのかを明らかにする
    • [[散布図]]
      • 2つの変数の関係を視覚的にとらえられる
      • [[Excel]]では「挿入」「グラフ」「散布図」で作成可能
    • [[共分散]]
      • 関係の方向と関係の強さを数値で表現したもの
      • 右上がりならプラス、右下がりならマイナス、関係が強ければ絶対値大、関係が弱ければ絶対値小
      • 平均を軸として考える
        • 第1象限・第3象限に各点が散らばっていれば正の相関
        • 第2象限・第4象限に散らばっていれば負の相関
        • 傾向がみられなければ各象限に散らばる
        • ↑共分散でなぜ$$(x-\overline{x})(y-\overline{y})$$の平均を求めるのか、の理由
      • [[Excel]]ではCOVARIANCE.Sを使って求める
      • 値は単位の二乗になり、プラスマイナスくらいしか判断できないので、[[相関係数]]を使うことが多い
    • [[相関係数]]
      • z_{x_i} = \frac{x_i-\overline{x}}{s_x}のように変換して[[標準化]]する。
        • 標準化した変数は単位なしになる。
      • z_xz_yの[[共分散]]cov_{z_xz_y}を使って、相関係数ρ_{xy}は次のように表せる。
      • ρ_{xy} = \frac{cov_{z_xz_y}}{s_xs_y}

      • 必ず-1~1の間になるので扱いやすい
      • [[Excel]]ではCORRELで求められる
      • みせかけの相関
        • アイスクリームとビールの消費量のように、共通するほかの変数(気温z)が影響している場合でも[[相関係数]]は大きくなる
        • 鵜呑みにしてはだめ
      • [[相関係数]]と線形
        • 相関係数は線形関係の強さを数値化したもので、非線形の関係の分析はできない
        • y=x^2の相関係数は0
    • [[順位相関係数]]
      • 極端に離れた値があると相関係数が大きく変わる(分布の歪み)
      • 歪んだ分布についての尺度として、[[順位相関係数]]がある
      • xとyのそれぞれを順位付けし、順位について相関係数を求める
      • [[Excel]]ではRANK.AVGを使って求める
    • 株と相関係数
      • [[相関係数]]がマイナスとなる株を組み合わせると、[[標準偏差]]が非常に小さくなり、リスク回避ができる
  • 第11回 [[回帰分析]]・[[最小二乗法]]

    • [[相関係数]]からは、2つの変数に関係があることはわかるが、原因と結果の関係性が分からない
    • [[回帰分析]]によって、2つの変数の関係を示す式を推定する
    • y = \alpha + \beta x
      • y : 被説明変数
      • x :説明変数
      • \alpha : 回帰係数:定数項・切片
      • \beta :回帰係数:傾き・勾配
      • 変数が1つの場合は単純回帰(単回帰)という。複数の場合は重回帰という。
    • [[誤差]]
      • [[誤差]]は縦方向に測る。誤差を u_i とすると y_i = α + βx_i + u_i
      • 推定式を \hat{y_i} = \hat{α} + \hat{β}x_i とすると、誤差をe_iとして y_i = \hat{α} + \hat{β}x_i + e_i と表せる
    • [[最小二乗法]]
      • y_i = \hat{α} + \hat{β}x_i + e_i の誤差 e_i の2乗の和を最小にするように \hat{α}\hat{β} を求める
      • 誤差 e_i = y_i - (\hat{α} + \hat{β}x_i) の2乗の和をとって偏微分 = 0を解くと
        • \hat{\beta} = \frac{\sum(x_i - \bar{x})(y_i - \bar{y})}{\sum(x_i - \bar{x})^2}
        • \hat{\alpha} = \bar{y} - \beta \hat{x}
      • [[Excel]]では SLOPEINTERCEPT で求められる。[[散布図]]→近似曲線の追加 でもできる。
    • [[標準誤差]]
      • [[誤差]]が小さければ信頼度が高く、誤差が大きければ信頼度が低い
      • 標準誤差 s = \sqrt{\frac{1}{n-2}\sum_{i=1}^{n} e_i^2}
        • n-2で割るのは、実質的なデータの数がn-2だから。n=1では直線が引けず、n=2だと誤差が0になる。
        • √をとるのは単位をそろえるため。
        • [[Excel]]では STEYX を使って求める。
      • 標準誤差は見ただけでは何を表しているのかよくわからないので、[[決定係数]]が広く利用されている
    • [[決定係数]]
      • \sum e_i^2 = \sum (y_i - \bar{y})^2 - \sum (\hat{y}_i -\bar{y})^2
        • $$y_i$$ : 実績値、 $$\hat{y}_i$$ : 回帰分析による理論値
      • 移項して $$\sum (y_i – \bar{y})^2 = \sum (\hat{y}_i -\bar{y})^2 + \sum e_i^2$$
      • 全平方和 = 回帰による平方和 + 残差平方和
      • 信頼度が高いとき、回帰の平方和:大、残差平方和:小
      • 信頼度が低いとき、回帰の平方和:小、残差平方和:大
      • [[決定係数]]は全平方和に対する回帰による平方和の比率で表す。
        • $$r^2 = \frac{\sum_{i=1}^{n}(\hat{y}i – \bar{y})^2}{\sum{i=1}^{n}(y_i – \bar{y})^2}$$
        • 必ず0~1の間になる。0なら説明していない、1なら完全に説明している。
        • 相関係数の2乗と等しい
        • [[Excel]]では RSQ で求める
    • 回帰分析という名前はゴルトン(1822-1911)によるもの。因果分析という名称の方が適切。
  • 第12回 [[回帰分析]]・[[信頼区間の推定]]と[[仮説検定]]

    • 回帰分析で得られた直線の信頼度は[[決定係数]] $$r^2$$ の大きさだけではわかりにくい
    • [[最小二乗法]]で推定した式 $$y = \hat{\alpha} + \hat{\beta}x $$ の $$\hat{\alpha}$$ と $$\hat{\beta}$$ の分布を考える
    • $$\hat{\alpha}$$ と $$\hat{\beta}$$ の散らばりが大きければ信頼できないし、散らばりが小さければ信頼できる
    • 標本n個を抽出するごとに$$\hat{\alpha}$$ と $$\hat{\beta}$$が1つ決まる。そこで、[[中心極限定理]] で $$\hat{\beta}$$ の分布を考える
    • $$\hat{\beta}$$ の分布
      • いくつかの仮定が成立するとき、 $$y = \alpha + \beta x + u $$ の母集団から大きさ n の標本を抽出したときの回帰係数 $$\hat{\beta}$$ は 平均 $$\beta$$、標準偏差 $$s{\hat{\beta}} = \frac{s}{\sum{i=1}^{n} (xi – \bar{x})^2}$$ の分布に従い、$$t = \frac{\hat{\beta} – \beta}{s{\hat{\beta}}}$$ は 自由度 n-2 の [[t分布]]に従う。
        • 5つの仮定:誤差に偏りがない、誤差同士に関係がない、誤差の平均の大きさは一定、説明変数と誤さに関係がない、誤差が正規分布に従う(要するに、誤差がランダムの時にだけ成立する)
        • 古典的[[最小二乗法]]という
    • $$\hat{\beta}$$ の[[信頼区間の推定]]
      • [[t分布]]について$$-t{\alpha /2}~t{\alpha /2}$$ に $$(1-\alpha) * 100(%)$$の領域を考える
        • $$P(\hat{\beta} – t{\alpha /2} s{\hat{\beta}} < \beta < \hat{\beta} + t{\alpha /2} s{\hat{\beta}} ) = 1 – \alpha$$ という形になる。
      • Excelでは、T.INV(1-α/2, n-2) で $$t{\alpha/2}$$を求め、sは STEYX 、$$\sum{i=1}^{n} (xi – \bar{x})^2$$は DEVSQ で求めて割り、 $$s{\hat{\beta}}$$ を求める。
      • LINEST 関数で回帰分析に必要な様々な値を求められる。計算結果を置く範囲指定後にCtrl+Shift+Returnを押す
    • $$β$$ の[[仮説検定]]
      • tが[[自由度]] n-2 の[[t分布]]に従うことを利用して仮説検定を行える
      • $$y = \alpha + \beta x$$ の $$\beta$$ の検定については、次の仮説に関する検定([[有意性検定]])が広く行われている
        • $$H_0 : \beta = 0$$ (xが消え、yの大きさの決定にxが有意でなくなる)
        • $$H_1 : \beta \neq 0$$ (yの大きさの決定にxが有意である)
      • 帰無仮説$$H_0$$が正しいときに標本データから求めた$$\hat{\beta}$$が発生しにくいと判断する領域は、プラスとマイナス側の両方になる。tでも同様。
      • [[有意水準]]5%、n=4なら、T.INV(0.975,2) = 4.303より、棄却域はt > 4.303とt < -4.303 となる
      • 検定統計量 $$t = \frac{\hat{\beta} – \beta}{s_{\hat{\beta}}} (\beta = 0)$$ が[[棄却域]]に入った→帰無仮説が発生しにくい→帰無仮説を棄却、対立仮説を支持(棄却域に入れば影響ありと判断する)
    • [[P値]]による[[仮説検定]]
      • 検定統計量 $$t = \frac{\hat{\beta} – \beta}{s_{\hat{\beta}}}$$ を計算し、*T.DIST(t, n-2, true) 2** が有意水準より小さければ[[帰無仮説]]棄却
        • T.DISTに2をかけるのは両端に棄却域があるから