2024-04-01 / 遠方より元同僚来たる

前職の同僚さんがベイエリアに出張に来るということで声をかけてくれたので、自分の職場近くでランチに行ってきた。こういう機会に声をかけてくれるのはありがたいことです。

彼はスタートアップに転身してそこでCTOをやっているのだけれど、今回の出張の目的であるパートナーシップのことなど色々と話を聞いていると、ダイナミックで楽しそうだなぁと思った。自分もそろそろ、新しい一歩を踏み出すべくアンテナを高くしてかないとなぁ。

そういえば先日、Nvidiaの本社脇を車で通りかかった際にふと「あ、GTCがあったっけ」と思い出したのでキーノートを観ていた。

GPUの製造とソフトウェアツール群の開発以外にも色々とやっていることは知っていたけれど正直ちゃんと調べたことはなかったが、実際色々とやっていて面白い企業だなと思った。だいぶ推している Omniverse だけど、所謂Sim2Realでの課題（シミュレータで訓練した機械学習モデルを実世界に適用したら期待通りのパフォーマンスが出ない）は問題にならないのだろうか。DigitalTwin上でのシミュレーションをまず行い、そのあとに物理がくるという話。ある程度までの複雑さに収まるドメインなら十分に役に立つのだろうなとは思うが、キーノートの後半ではロボティクスでの適用についても多々触れられていて、やっぱりSim2Realの課題という点が気になった。実世界での適用時にはそこでファインチューニングを少しやってあげるのかな、それとも自分の認識を大きく超える精度に既に世界は到達しているのか。

2024-03-23 / シリコンバレーの起業家たち

スタートアップをやってる友人に "you should come" と誘われたので、彼のホームパーティーに行ってきた。現在二社目の起業に奮闘していて資金調達に成功している彼からは、食事で会うたびに色々と自分の住む世界とは違う起業家の世界の話を面白く聞かせてもらっていて、どういう感じなのか興味は持っていたので（最近ワケあって出不精なので、ソーシャルの良いキッカケかなと思ったのもあり。。）

中には自分と同じく企業で普通に働いている人たちもいたけれども、多くが自分で起業している人たちで、ビジネスの内容を聞くのは面白かった。とあるBig Techの某ムーンショット組織で元責任者だった人なんかもいて、先日食事をした際にもつくづく思ったが友人のコネクションの広がりには驚くばかり。足繁くサンフランシスコにミートアップに通っているだけある。一番重要な点としては彼の人柄のなせる技だと思うが。一人、とある機械学習関連のソリューションを開発しているスタートアップのファウンダーと色々話したのだが、会話の中で自分が博士課程時代にやっていたことや今現在の仕事のことなど話した際に非常に鋭い質問や答えに窮する質問ばかりが飛んできて、只者じゃないなという感じで話していてとても刺激になった。彼の会社は創業からはまだ9ヶ月ほどとのことだったけど、既に見込み顧客を獲得し、ソリューションを実際に適用して成果を得られつつあるとのこと。

ふと、自分が2007年前後に梅田望夫さんの著作で読んでいた「シリコンバレーの起業家たち」がまさにここに居るんだよなと思うと、少し不思議な感じがした。思えば遠くまで来たもんだ。まぁ、自分はただのいちサラリーマンだけれども。。自分もたまに「このままずっといちサラリーマンで自分は良いのだろうか？」と思うことがしばしばある（二十代の頃ほどそういうことは考えなくなったが。）けど一方で、21時頃にパーティーの喧騒を少し早めに抜け家に向けて車を走らせながら、たった数時間外の世界に浸っただけなのに既に、静かで落ち着いた自分の世界に戻れる安堵感を感じている自分もいた。少なくとも、「ネットワーキング、ネットワーキング、ネットワーキング！」みたいな側面は自分にはあまり向いてはいなそうだ。色々と会社や仕事の愚痴をこぼしたくなることもあれど、自分の興味のあることをじっくり淡々とやっていられる専門職会社員というのも言うほど悪くはない、むしろ良いもんだという気も改めてした。そんな風に思うことは寂しいのやらどうなのやら。なんともモヤモヤ。

何が書きたいのかよくわからなくなってきたけれど、とりあえず寝る前に頭の中をダンプしておく。

2023-12-17 / 感性の受信機

「音楽の聴き方　聴く型と趣味を語る言葉」という本を読んでいる。まだ はじめに と第一章の途中までしか読んでいないのだけれど、これまでのところ、自分がこれまで音楽体験を通じて感じてきたことが色々とうまく言語化されていてとても興味深く読んでいる。そんな中で、「芸術（音楽）体験において、人はあらかじめ自分の中にあるものを再認識しているだけなのだ」という引用からの一節を読んでいてふと思ったことがある。ちょうど自分は最近、メッセージ・主張のある音楽というのは良いよなと再認識しているところだった。キッカケは Killing in the name から Rage Against The Machine にはまっていること。彼らの音楽はあんまり聴いたことが無かったし、おそらく二十代の頃の自分では音楽性的にハマらなかっただろうし、さらに言うと自分がずっと日本で暮らしていたらここまでピンとくることも無かったのかもしれないと思っている。南カリフォルニアに移住し、アメリカの社会問題がより身近に（幸い自分が何かあからさまに嫌な目に遭ったことは無いけれど、アメリカの地でアジア人の外国人として暮らす事で色々と思うことが無かったわけではない）なったことによって、彼らの曲から脳裏に映るビジョンが、自分で日本で暮らしてそれを想像しようとした場合のそれとは全く違うリアルなものになっていると思う。その上で、この歌詞に気づいたとき、何度もこの曲をリピートしてしまった。自分の人生経験が積み重なり出来上がった土壌に、偶然波長の合う音楽が降り注いだときに、そこに「自分の感じていることが言語化されている」という体験と喜びが発生する。全てのケースがこうであるかはわからないけれど、本書で書かれているこのパターンというのは音楽「体験」のユニークなところなのかもしれない。

2023-12-3 / The Burnout Society

The Burnout Society という本を読んでいる。

最近、Small is Beautiful や 森の生活 を読んだりしつつ考えていることとも相まって、現代資本主義社会と消費主義について色々と考えが巡る。このポジティブ思考や自己実現といった文句や、それらが気持ち悪いくらいに社会を覆っている状態（これについては、もしかしたら自分の周りは一般的な感覚とは少し異なる母集団かもしれないが。）というのも結局、私たちが資本家の都合の良いように社会からmanipulateされているだけなのではないか？と。この現代資本主義社会をさらに発展させていくには、もっともっと我々を消費に駆り立てなくてはいけない。そのために巨大資本側はあの手この手を使って我々の欲望を掻き立て、大きな家やラグジュアリーな車、ゴージャスなバカンス、毎期移り変わるトレンドとして消費されていくファッションやガジェットのライフサイクルなどに追従することを我々の潜在意識に植え付けていく。これが消費者としての我々。

その一方で、そうして作り出された需要に応えるために、やっぱり巨大資本は労働を必要としていて、そこでこの病的とも言えるポジティブ思考、キャリア、achievement-obsessedな考え方などを持ち出して流行らせ、生産者としての我々も一方でプロパガンダしている。そういう我々自身は、「自己実現」とやらに向けてキラキラとひた走る自分像を美化しながら、将来の自分の姿をニンジンとして自分で自分の目の前に作り出してぶら下げ、誰から頼まれるでもなく自分の意思で（少なくとも本人たちはそう思っている）自分に鞭打って燃え尽きていく。資本側の思うツボである。そんな構図がひたすらに脳裏によぎる。

そんなことを考えながら、「あぁ、もう遅かれ早かれ自分はこのまま今まで通りに働き続けるというのは無理だろうなと思うところまで、この在り方に対する疑問や疲労が溜まっているな。なんとかスムーズにこの資本主義消費社会から降りていく計画を立てないと、自分が摺りつぶれてしまう感じがするなぁ」とぼんやり思うなどしている今日この頃。

2023-11-26 / スマホと楽器とドーパミン

少し前に話題になった スマホ脳 という本を読んでいて、デジタルデバイスが子供に与える影響について書いている章で以下のような一節に出会った。

報酬を先延ばしにできなければ、上達に時間がかかるようなことを学べなくなる。クラシック系の楽器を習う生徒の数が著しく減ったのもひとつの兆候だ。ある音楽教師にその理由を尋ねたところ、こんな答えが返ってきた。「今の子供は即座に手に入るごほうびに慣れているから、すぐに上達できないとやめてしまうんです」

※本では、生徒数の著しい現象や子供達がすぐに楽器をやめてしまうということに関して、特に研究が引用されていたりデータが示されているわけではないけど、まぁそうなのだなと一旦読んでおく

これ、文脈としては子供のことを言っているけれども、大人だろうが同じことが言えるのだろうなと思うなど。個人的な経験から、どうもここ数年間、ギターの練習に身が入らないような感覚を持っており少し悩んでいた。高校生の頃にギターを弾き始めて、十代後半から二十代前半まではできる限りの時間を費やしてギターを練習していたものだし、その後も三十くらいまでは、日に数時間熱心に練習し続けるということもまだあった。けど、そういうのがもう中々シンドくなっている。それについて、「年齢のせいかなぁ、ある程度は仕方がないことなのかな？それとも、自分はもう音楽に対して以前ほどの情熱は感じられなくなってしまったのかな？」と悲しい気持ちにもなったりした（まぁ他にも、アメリカに移住したことで日本にいるバンドメンバーと離れてしまい、スタジオでの練習、みんなとのコミュニケーション、そしてライブなどの刺激が無く、今は音楽が一人で部屋にこもって取り組む活動になってしまっているからというのの影響が大きいとも思うが。）

とはいえ、ただどうもやっぱりそれだけではなくて、SNSへの投稿につく「いいね」のような刺激にどっぷり浸かりきったせいで、即時報酬に慣れきってしまった自分もどこかで影響しているのではないだろうかと思ったりもする。そういう意味でも、これまで以上に注意してSNSとの付き合い方を考え、インターネットをダラダラと眺めて無限に入ってくる刺激にうっすらとドーパミンを垂れ流しさせられるような状況を回避していかないといけないなと思った。

2023-11-10 / ランダムウォーク

最近、テクニカル分析に改めて興味が湧いている。そこでどうしても立ちはだかるのは「ランダムウォーク理論」なわけだけれど、なんだか今回は自分の中でそこに一つの考えが明確に見えているのでメモしておく。

市場はあらゆる情報をすぐに織り込むということだけれども、この「織り込む」という言い方が曲者で、「ベクトル」の観点では正しいとは思うけど、その大きさや、どの程度「すぐに」なのかは実際に人々が入り込んできて売買を行わないと未知数なんじゃないかな、と。そして、大口の機関だって、すぐに動けるところや動かないところ、一気に買うところや分散して買うところなど、動き方に違いがある（のではないかと推測。業界人ではないのでわからない）。機関と比べたら影響は小さなものかもしれないけれど、大衆の心理的な要素だってそこには関わってくる。「これらは『非合理』であって、もし完全に合理的な市場が存在するとしたら市場は全てを一瞬で織り込む」という反論をするならば、それは限りなく正しいのかもしれないのだけど、そういった仮定を人間社会に持ち込み、学説ではなくそこでの生の取引を語る事にどれだけの意味があるのだろうか。実際問題その「完璧に合理的な市場」という仮定を置くには人間社会というものは無理があるのではないかと。故にそこには、「（所要期間に分散はあれど）最終的には正しい状態に正しく落ち着く」的な部分があり、"非合理" である期間が生じる。その意味で、ベクトルを、そしてその大きさを据えるためのテクニカル分析を行なって、それらを元に取引をするというのは、そう考えると納得感が自分の中ではある。

アクティブ運用に少し興味を持って、情報を集めてみたり真似事のようなことをしてみてはすぐに元の運用（VT/VTIなどとVYMなどの高配当ETFをひたすら買って持ち続ける）に戻るということを過去何度かやっているので、今回も三日坊主に終わるのかもしれない。そしてもしかしたら長い目で見たらそれが自分のためなのかもしれないけれども。。

2023-09-17

久しぶりに強化学習の論文をスキム。

Deep reinforcement learning from human preferences

ChatGPTで使われているRLHFのキャッチアップをしないとなと思い、最初の一本として2017年のこの論文を読んでみた次第。この論文では報酬関数を人間のアノテーションから学習して、それから強化学習で累積報酬を最大化するようにポリシーを学習している。強化学習のところはいたって普通で、報酬関数の学習周りがとにかくキモ。アブストを眺めた時点では「本当にこれ動くんかいな」という印象だったが、開始状態はランダムである前提とか、アノテーションに送るクリップを選ぶためにアンサンブルを使って分散が大きいデータをアノテーションするらしい点とかその辺の説明を読んでいたら、まぁそうやって多様なtrajectoryが集められればそれなりに動くのかもねという印象には落ち着いた。Simulated Roboticsタスクではたったの700、Atariでは5,500のアノテーションでちゃんと学習できるようで、意外なほど少ないんだなという感想。

続いてInstructGPTの論文に進みたいと思う。

しかし、博士課程のテーマなので強化学習の論文は自分にとって読む際の苦労が少ない。就職してからはComputer VisionやVision-Language Pretrainingばかりやっていて、それらにキャッチアップするのは楽しいけれどもやっぱり前提知識の少なさで苦労することも多いので。。

2023-09-16

BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation を読んだ。個人的には、モデルアーキテクチャそれ自体よりもCapFiltが自分たちのデータにもうまく適用できるかなぁ？という点が気になる。

ところで、デモを見てふと、これ最近同僚が使っているツールだなぁと気づいた: https://github.com/gradio-app/gradio Gradio良さそうだな。機械学習をやっていく上でビジュアライゼーションって本当に大事だなと常々思っており（データでも結果でも、まず同僚・マネージャーに言われるのは "Do you have visualizations?"なので。百聞は一見に如かず）、こういうツールも定期的に少し時間を投資して試してローカルにセットアップしておかないといけないな。

2023-09-14 / オピニオンではなくアナリシスを

仕事で、いまいちコンテキストをしっかりと把握しないまま共有されたドキュメントに色々と探り探りコメントを入れたのだけれども、ふと振り返ってみると自分の「お気持ち」を書いてしまっていると思えて、果たしてあのドキュメントにそれが適切だったのか、思い出して家で悶々としていた。（コメントの内容云々の前に、そもそもコメントする前にコンテキスト把握のための労力を惜しむべきではなかったというツッコミはもうその通りだと思う。。）そんなところへ、偶然にも先日から読んでいる途中の やるべきことが見えてくる研究者の仕事術―プロフェッショナル根性論 という本をめくると「フィードバックの与え方」という項目があり、「オ���ニオンではなくアナリシスを」という、まさに自分のコメントに対するツッコミとも思える内容が目に飛び込んできてさらに悶々としている。

これはいつも自分の課題として頭にあるのだけれど、実は、まがりなりにも博士課程でのトレーニングを終えてきているわりに自分はフィードバック力が弱いと常々感じている。雑談の場ならともかく、仕事で自分が提供すべきは問題それ自体とそれに対する取り組みに関する正当性についての客観的な分析であって、より良くするために考えられる方向性であったり探るべき関連情報の提供であったりするはずなのだけれども、どうもふわっとした意見を述べてしまうことが多い。これだと相手の役に立たない上に、壁打ち相手としての自分の資質すら疑われることになるので本当に良くない。どうも自分が述べていることがただの意見なのではないかと自分でも居心地の悪さを感じることが少なくはないのだけれど、これについては日々意識して仕事の上での機会を自分の力を磨く場として活用していくしかないのだろうか。

最後に、先述の本から以下を自分に向けて引用しておこう。。

「同僚」であるあなたのオピニオンなんて聞きたいとは思わない。あなたは私の「顧客」ではないのだから。私の聞きたいのはあなたのアナリシスだ。 - Small Is the New Big (Seth Godin)

2023-09-13

ここ数年間、自分で会社を興して奮闘しているアメリカ人の友人から、たまに状況についてメッセージを貰う。昨日の朝もらったテキストには、会社の買収（？）に関心を示している人が現れたことや、先日食事をした際に聞いた、彼が興した二社目のfund raisingのことなどが書かれていた。自分が大学院留学をしていたときから、卒業後お互いベイエリアに引っ越してきて今に至るまで、たまに食事に行ったりしつつ近況を交換し会っている仲なので、応援しているし、いちサラリーマンとしては彼の話を聞いているのは刺激的で面白い。

そんな折、偶然同じタイミングで、とあるスタートアップのリクルーターを名乗る人物からメールを受け取った。曰く、スタンフォード AI Labのスピンオフでつい最近ベンチャーキャピタルからの資金調達に成功した会社だとのこと。「シニアMLエンジニアのポジションに興味があったらレジュメを送ってくれ、CEOに共有するから。CEOも興味を示したらコールを調整する」とのこと。いきなりCEOが出てくるこの感じ、自分には新鮮で良いな。自分の勤務先でCEOの顔を拝むことなんてまず無いから。

残念ながら自分は今すぐに今の勤務先を離れることは考えられない状況にあるのでその旨伝えつつお断りしたのだけど、いくつかのことが落ち着いたら、大企業ばかりの自分のキャリアを少し冒険的な方向に振ってみたいなという気持ちが膨らんでいるのを感じる。そして、SFベイエリアから企業や人が流出しているだなんだ言っても、まだまだここが中心地だなという印象はあり、幸い自分はそのど真ん中に陣取れているので、自分の動き方次第でいろんな展開ができそうだと思っている。アメリカで無事に博士号を取って、大企業で良い待遇のサイエンティスト職にありつけていわゆるワークライフバランスもしっかり意識しちゃって。そういう現状に満たされた気持ちでいるばかりでなく、またちょっと大きな動きが欲しくなっているのかもしれない。仕事を辞めて博士課程留学を決めた時のような大きな動きが。

水曜日は働かない

水曜日は働かない を読んだ。

たまたま見かけたタイトルに安直に惹かれた（水曜日を休みにして毎日を休日に隣接させたい！笑）のをキッカケに、ネットで少し著者について調べてみたら面白そうな人だったのでポチってみたという。内容は良い意味で想像を裏切られ、真面目な（けど読み易い）社会・サブカル評エッセイ集だった。気張らずに好きなように走ること、アルコールを通じたムラ社会的コミュニケーションへの嫌悪、タイムラインの潮目を読みベストな反応をキメてウケをとる大喜利ゲームと化したインターネットと、遅いインターネット。普段自分が感じている事への言及が多く、共感。

今日もワイドショーとTwitterでは、問題を解決することや、問題自体を問い直すことではなくどう回答したら他のプレイヤーの歓心を買えるかという基準でしかものを考えられなくなった人々が、何も生み出さないゲームに興じている。

ここ数年、2000年代はじめにweb 2.0的なものに感じていたインターネットへの興奮は完全に冷め、自分の中ではインターネットに対する嫌悪感のようなものが芽生えつつあり、意識的に距離を取るようになっている。その原因の最たるものの一つがこれで、例えば不祥事を起こした芸能人に対してよってたかって非難の言葉を投げかけ謎の仲間意識を確認し合うようなテレビのワイドショーをそのまま全ての人が発言できる形式で提供する場となったかのような感があるインターネットとSNSプラットフォーム。自分はそこから離れる選択を取りつつあるのだけれど、著者のようにそれに対し声を上げる人たちというのも重要だと思う。

Web2.0的なものの背景にあった、人間は単に受信するだけではなく、発信することによってより情報に対して深く、多角的に考えるようになる、という前提は根本から疑ってかかったほうが良いだろう。「読む」力のない人間が「書く」ことの快楽を覚えれば覚えるほど、脊髄反射的な発信やタイムラインの「潮目」を読んである方向に一石を投じるだけの、事実上何も考えていない発信が増えてしまう。

著者の「遅いインターネット」に期待すると同時に、自分もしっかり意識して、タイムラインの空気を読んでマジョリティ側から考えなしに言葉を投げて悦に浸ることがないようこれからも気をつけていきたい。

ところで、自分は読書の感想を読書メーターに投稿しているのだけれど、以下の箇所を読んだときに一瞬ドキッとしたのは内緒 笑

たとえば本を読むことが手段ではなく目的になりすぎている人――「読書メーター」やAmazonレビューに投稿することや、ブックカフェでこれ見よがしに趣味が良いとされている本を広げることに夢中になってしまう人――は、本を読んでいる自分を好きでいることのほうが大事になって、あまり内容を理解していない／しようともしないことが多いのも半ば常識だと思う（もちろん、そうじゃない人もたくさんいる）。

2023-02-12

なんだかんだでまた久しぶりの投稿になってしまった。。

今日は母校の知り合いがベイエリアに用事で来ているとのことで連絡をもらい、食事をしてきた。

知り合いのPhDディフェンスの予定や今後の進路についても色々と聞いて、各々が少しずつ着実に歩みを進めている事を確認できて良かった。自分のようにインダストリーに職を求める者、ポスドクとしてアメリカに留まる者、ずヨーロッパへ飛ぶ者。大変だろうけど、みんなそれぞれの地で活躍して、またどこかで再会できるのを楽しみにしている。

2022-10-22

PEP 526 – Syntax for Variable Annotations

Python の type hints は知ってたけど、変数宣言の際にアノテーションも付けられるのか、知らなかった。

Deep Medicine

ここのところしばらくこの本を読んでいる。今日は chapter nine: AI AND HEALTH SYSTEMS を読んでいるのだけれど、以下の研究が気になった。

Improving palliative care with deep learning

"We train a Deep Neural Network model on the EHR data of patients from previous years, to predict mortality of patients within the next 3-12 month period"

2022-09-16

もの凄く素人臭いミスなのかもだけど以下で解説されてる bool の挙動にハマった。。普段は action='store_true' を使ってオプションを有効化させるような使い方をするのだけど、何故か今書いているコードでは type=bool の引き数を add_argument していて、実験二つやり直しになった。。

Pythonのargparseでブール値を扱うときは注意が必要 | note.nkmk.me https://note.nkmk.me/python-argparse-bool/

2022-09-10

先日「施策デザインのための機械学習入門〜データ分析技術のビジネス活用における正しい考え方」という本を買い、少し読み進めた。営利企業で関連分野に携わるいちサイエンティスト・エンジニアとしてこうして効果的な施策を機械学習を用いて実現していく事に面白さを感じる一方で、フィルターバブルの仕組み: レコメンドエンジンが生む情報の泡 という記事をふと思い出した。

本自体はまだ少し読み進めただけなのだけどとても面白く、全部読むのが楽しみだ。

2022-05-19

アメリカでの大学院留学が決まった際に、「よし、じゃあ貴重なこれからの経験を余すことなく記録して、日々自分がどんなことを考えていたのか後で見返せるようにするぞ！」と意気込んでしばらく書いていたこのブログだけれど、結局サボりまくっているし PLACE HOLDER という投稿で埋め尽くされているので、諦めて気が向いたときに書いていく事にする 笑

ところで、そうこうしているうちにもう後五日後には PhD Thesis Defense を迎え、無事に通過すれば晴れて Ph.D. という事になる。

2022-02-09

PLACE HOLDER