IBISML 2013 チュートリアルで考える

検索すると田無駅から行った方が速いと出たので、自転車で田無駅まで行く。田無駅の駐輪場を使うのは20年ぶりかもしれない。高校生のとき実家が町内で引っ越してからは、駅までは歩いて行くようになったので、ついぞ自転車を使ったことがないのであった。

今日は IBISML 2013 チュートリアル(IBISMLは「情報論的学習理論と機械学習研究会」)に来ていて、午前中は村田先生のお話。機械学習の入門的なことを話されていた。IBISMLの裾野を広げるという意味で有意義なチュートリアルではなかったかな?情報幾何の話がないまま機械学習の可視化があったが、あれくらい割り切って可視化するといいのかもしれない。自分はといえば「学部生に機械学習の授業をするとしたら、こういうふうに話せばいいのかな」という目線でずっと見ていたので、見方がだいぶ変わってきたが……。

お昼はmizuki-iちゃん(何年ぶり?NAIST卒業以来かも)と職場、取引先の方々と担々麺を食べる。数学科(東工大修士)を出ても仕事がないので、仕方なく機械学習関係の仕事をしているが、機械学習は数学的には大したことをしていないので、専門性を発揮できない、などというお話を伺う。バイオインフォも同様らしい。修士まで行ってもそれを仕事にできるかというとそうではない、というのは世知辛い話であるが、いろんな分野の人が集まる場になっているのは、ちょうど勃興しつつある分野のよい兆候であるようにも思う。(職がない分野は、ちょっと需要と供給がマッチしていないのだろうが)

午後は松本先生による自然言語処理における教師あり学習NAISTでM1向けに話している自然言語処理のイントロダクションの話が前半で、後半は逆に(恐らく自然言語処理が専門の人でないと分からないと思われる)構文解析の最先端の話だったが、これは(自然言語処理専門の人は少ないこのチュートリアルの)聴衆的にはどうだったんだろうか……。あとで分野外の人に聞いたら「途中からついていけなくなった」とのことだったが、それは仕方ない気もする。

夕方は持橋さんによる自然言語処理における教師なし学習。こちらは非常におもしろい。基本的なところはしっかり押さえた上で、発展的なトピックもばっちり。資料の後半部分が配布資料に入っていなかったので、カメラで全てのスライドを撮影する人が何人もいたのだけど、最終版の資料を公開してくれないのかな?

内容としては、これまでの自然言語処理正則化をがんばる方向でモデルを小さくしたり頑健性を高めてきたりしてきたが、自然言語処理でも制約付き解析が重要になってきているので、今後は product model のようなモデルが大事だろう、という話が記憶に残った。(product model については持橋さんの 松本研のSVM勉強会2008での発表資料を参考)

product model では、制約を一つでも満たさなければ確率が0になるので全体の確率がとても低くなる、といったことをモデル化できるそうだが、確かに「こういう翻訳は絶対してはいけない」といった事例をモデルに組み込んだりできるようになる、というのは重要なように思う。まあ、たぶん正則化を使うのと比べると、制御が大変なんだろうけど……。(semantic composition における additive model と multiplicative model というのに対応するのかなという理解だが、違うかも。)

これからの自分の研究の独自性をどのように出そうか、ということを考える。5年くらい成果が出なくてもいいので、基礎からみっちり勉強して(授業や勉強会も活用させてもらって)、10年後には新しいパラダイムが開けているような研究テーマを立てたい。ただし、自分の研究自体が今年で9年目で、まだ10年経っていないので、このタイムスパンで動くのは未知の領域である。