近況

なんとか修士課程を修了して、各方面にご迷惑おかけしながら博士課程には進まないことになり（@各方面 ごめんなさい）、データ分析企業で深層学習を用いたプロダクトを作ることになって、しばらくしてから転職しました。今の職場では、独自開発の深層学習用プロセッサ向けにコンパイラやランタイムといった諸々の開発をやっています。わりと良いタイミングで応募することができたので、すんなり転職が決まったのかなと思います。人並みに忙しいことは忙しいのですが、物質的・心理的にすこし余裕ができたのは嬉しいです。

ここ数ヶ月は、COVID-19 の流行により引きこもり生活を送っています。世の中どうなるのか本当わからないですが、できることをやるしかないですね。

人生

人生むずかしいですね。今はバリバリ開発やってる（と思ってる）のですが、そんなにスタミナ溢れる人間でないので、いつまで続けられるのやら。ほとんど本読んだり映画観たりできてなくて、純粋に技術的な面以外では過去の蓄えをすりつぶしていそうで少し怖かったりもします。これは職場がどうこうでなく、自分のコンテキストスイッチがポンコツだったり、疲れっぽかったりするだけなのですが……。うまい具合にやっていきたいです。

最近はなにか真に意味のある知識を人類に残さねばならないみたいな観念が薄れてきていて、なんらかの形で少し貢献できるくらいでいいかという気持ちになっています。これは進歩なのか老化なのかわかりません。あるいは、小学生のときはふと死ぬのが怖いと思うこともよくありましたが、高校くらいになるとそういうことも減ってました。そういう類の、適応的な老化とでも呼ぶべきものなのでしょうか。受け容れるしかないでしょうね。

ずっと感覚がわからないのが、計画的な人生みたいな概念です。人生なんて風に吹かれる落ち葉みたいなもので、ただし落ち葉には自我があって小さなモーターを備えていて、あるいはそう思い込んでいて、少し自分の運命を操作することができますが、その結果を予測することなんてできようか。別に大きな社会の変動に振り回されることを気にしてるわけではなくて、むしろ自分の周りの小さな変動です。これまでの経験からして、出会う人や組織そして出会いのタイミングなどによって、人生を予測不能なものにするには十分な程度に自分の考え方までも大きく変わるように感じています。世間という大きな正則化項があんまり効いていないのか、元気があるかないかで100倍くらい火力が変動する人間だからか、まあそういう性質が表れているのでしょう。

独り身をやっていると意味不明な方向に突っ走って自爆しそうで、将来的にパートナーが居ればなあと思うようなことが増えています。ただ、恋人・パートナーは単なる自分の精神安定剤ではなくお互い win-win であることが最低限の前提であり、他の誰かではなく自分のような破綻した人間といてもいいことなんてあるだろうかと思ってしまいます。その割にマッチングアプリ的なのも本当に嫌で、出会いの偶然性を大切にしろ！ 恋のトキメキはないのか！ という心情を拭えません。というか相手に求める条件みたいな概念がまるでピンと来なくて、好きな人のためなら物理法則の範囲内でいくらでも頑張れるし生産性100倍になるとか思っちゃう……。いわゆる就活を全くやらずに済んで、◯活と呼ばれるものをしたくないという無意味なプライドを得てしまっただけかもですね。

博士進学したいとぼんやり思うこともありつつ、精神的に不調になって各方面に迷惑かけるだけになるのが怖くて当面は考えられない……。本当に滅茶苦茶だった修士課程のときと比べればもう少しはマシにやれる自信はあるものの、まだちょっとねえ。

インターネットと肉体

どうしてインターネットはつらい場所になってしまったのでしょう、とくに twitter ですよ。特定の属性に向けたほとんどの批判めいた言葉は、まるで批判として成立しておらず

• 別にそんなことを言っている人はいない
• 一部の過激な人にしか当てはまらない
• 単なる揚げ足取り

という程度になってると感じます。「批判めいた」とすら呼べない明白な罵詈雑言はさらに多数です。Twitter で議論ができるなんて過剰な期待をし過ぎというのはまた適切な指摘に思いますけど、うーん。

それと、「党派性」に対する否定的な反応を多く見る気がすることも気にかかります。一人では政治的に無力だから党派を組むわけでして、党派性が力に繋がるのならそれは必ずしも思考停止と呼ぶべきものではないと考えています。

とはいえ、とくに感染症の拡がるこの世において、インターネットという技術はトータルとしてプラスの役割を果たしているとも信じています。インターネットを諦めない。

今の情勢ニューノーマルだのがもてはやされますが、ちょっと懐疑的なところもあります。リモートでのコミュニケーションも悪いものではないですが、人と人の対面のコミュニケーションで行われていた（それこそ飛沫といった）物質の交換がないことを無視していいのかわかりません。体表の化学物質は多くの生物において社会的行動をもたらす決定的なメカニズムであり、高次の情報処理が発達したヒトにおいても一定の役割を果たしているのでないかと思ってしまいます。本質的に人間は肉塊であるとも感じていて、プログラマに有りがちな「身体捨てて意識だけの存在になりたい」という発想もピンと来なかったりします。まあ、だからどうこうと主張があるわけではないです。

計算機

速い・安全・抽象的！ がモットー です。いやはや。

深層学習バブルは COVID-19 がトドメとなって終わるとしても、深層学習の有用性は確かでしょう。これまでも深層学習は東京の土地くらいには価値があると話していました。90年代のバブル崩壊以上に東京の土地の価値が怪しくなってる現状からすると、どうも不吉なことを言ってしまっていたかもしれないですが……。それはそれとして、エンジニアリングの観点からみて深層学習がチャレンジングで面白い対象であることは確かです。これまでのワークロードと色々な部分で性質が違っていてうまく既存のパラダイムに載らず、様々な部分を新たに作る必要性が生じています。さらにそれでお金を稼ぐことができるので、世界中でハードウェアやソフトウェアの開発競争が起きているのは当然に思います。ちょっと過当競争すぎて効率を損なってる気はしないでもないですが。

さて、深層学習手法は学習結果の再現性がないとか言われますが、そんなのはエンジニアリングのやる気が足りないだけだろうと常々感じています。ハードウェアが変わる場合は最適な数値計算の順序が変わってしまって確かに難しいのですが、同じハードウェアなら完璧に計算結果を再現すべきで、ハードウェアや並列度が変わった場合でもデータセットや正則化手法で用いるランダムサンプリングは再現しろと常々思っています。 multfly および melty2 の counter-based pseudo random number generator を作ってみたのもそういう動機からで……、ちょっと放置してしまってますが。再現性が取れていることはもちろんアカデミックに有意義ですし、実務的にも学習が発散した場合などに原因を特定するのが簡単になるという大きなメリットがあります。

学習の再現性というのは、モデルの固定化を意味するものではありません。機械学習モデルを用いた人間の評価が社会的偏見を固定化させ得ることはいまや問題視されていますが、このメタレベルでのモデルの固定化とでも言うべき現象は、評価関数を始めとしたモデルの設計の問題です。ある一つのモデルがなんらかの隠れたバイアスを有しているために同じ「AI」の特徴量の気まぐれによって誰かが不利益を被り続けるという、より字義通りのモデルの固定化については、別のシードを使って再学習するなどの非決定性を持たせれば基本的には解消可能と思われます。そう、それぞれの人間もまた、いかに賢い人であろうとも理不尽なバイアスを持っているのです。ある人間に低く評価されたなら他の人間を当たってみることができるように、他の「AI」を当たることができればよいのでしょう。そうすることが可能な形で機械学習モデルが運用されることを願っています。

今の仕事では低レイヤ寄りの最適化などもやっているのですが、ハードウェアの都合が面倒くさいといった感覚はそんなにないです（非本質的な部分は面倒に感じることもありますが。）とりあえず、電子を無駄に動かすような回路を作ると無駄にエネルギーや製造コストがかかるという制約からは逃れられないと思っていて、ハードウェアはそういう物理法則にしたがって設計されているわけですので。計算機科学は物理法則と論理の橋渡しをする学問である、という自己流の定義がしっくりくるこの頃です。