気楽な1週間かと思ったらなんだかんだと半分以上事務手続きで終わってしまった。
昼からNTT コミュニケーション科学基礎研究所のオープンハウスに行く。もらったパンフレットの「20周年記念」の「20」の数字が NAIST の20周年記念の20とそっくり。裏を返すと、20年前このあたりはなにもなかったということか……。
聞きたかったのは長谷川眞理子先生による招待講演「鳥のさえずりと人のツウィート:ヒトのコミュニケーションの進化とICT社会」。駒場時代、「ハセマリの授業は毎回満員だよ」と聞いたことがあるのだが、結局一度も出たことがなかったので、今回せっかくこちらにいらっしゃるなら聞いてみたいと思ったのである。(ご主人の長谷川寿一先生の授業は受けたことがある)
タイトルは情報系に合わせてあるが、内容はクジャクのオスがメスに選択される要因はなんであるかという話と、あとチンパンジーの研究を通して「心の理論」について分かってきた知見についての話。一緒についてきてくれた@__yuyay__くんたちの関心にマッチしたかどうかは分からないが、自分はこういう生物学的な話も好きなので、とてもおもしろかった。(学部1年生のとき、生物について一通り勉強しようと思って毎週代ゼミの東大生物の授業に出ていたくらいである)
先日アスペルガー症候群と自閉症についての講演を聞いたときも思ったが、ある機能が存在しない状態と存在する状態を比較すると、より存在する状態についての理解が深まるというのと同じで、ヒトにはあるかチンパンジーにはない、他者への共感 (平たく言えばおせっかい) というのはおもしろい現象だと思った。
子どもが大人に「わんわん！」と言って指差して、大人が「ああ、わんわんだね。かわいいね」などと同じ物を見る、という行動は、実は人間にしかない行動だそうで、チンパンジーにいくら言葉を教え込んでも、話すのは (特に食べ物に関した) 命令文ばかりで、「わんわん！」というような叙述文は出てこないそうだ。ヒトの場合は生後8ヶ月くらいですでにこういう叙述文が見られるそうで、他人に自分と共感してほしい、というのは人間 (の言語) では根源的な欲求なのだと。
チンパンジーは「言われたことはやるが、言われない限り手を貸さない。目の前の誰かが困っていても知らんぷり。他者の心に関する理論が恐らく発達していないため、困っている相手の心の中を想像することがなく、言ってこないなら困っていないので、手伝わない」ということが実験から分かっているそうだが、自分も大学に入るまでは目の前の誰かが手伝ってほしそうでも割合なにもしなかったり、あるいは手伝ってほしそうではなくても手伝ったら楽に進みそうでも傍観していたり、あまり「おせっかい」ではなかったなぁ、と思い起こす。20歳くらいからはその反動で、相当「おせっかい」な性格になったような気もするのだが……。
あと、チンパンジーは「教える」ということを全くしない、というのも興味深い。ヒトだと子どもがなにかやろうとして失敗したら「こうやるんだよ」と教えたりするのは普通だと思うが、チンパンジーは子どもがなにをしていても親は絶対手伝ったり教えたりしないのだそうだ。子どもは、親がやる姿を見て真似るだけで、親としては子どもがいくらでも挑戦・失敗できる環境を提供するのだが、子どもができなくても知らん顔だとか。大学院まで来ると、手取り足取り教える(教わる)のではなく、他の人がやるのを見て自分も試行錯誤して挑戦する、というのが大事だと思うが、ある意味根源的な学びの姿なのかもしれない。
- 作者: ジャレドダイアモンド,長谷川真理子
- 出版社/メーカー: 新曜社
- 発売日: 1993/10/01
- メディア: 単行本
- 購入: 1人 クリック: 40回
- この商品を含むブログ (33件) を見る
研究デモのほうに行き、1時間ほどぶらぶらと。@t_hermanni さんの新しい機械翻訳尺度 RIBES の話を聞いたりする。いま統計的機械翻訳でよく使われている BLEU という尺度は単語の N-gram (N個の連続する単語) がシステムの出力文と正解文とでどれくらいオーバーラップしているのかで評価するのだが、それぞれの N-gram の出現位置は考慮しないので、出力文と正解文とで語順が大きく異なるような場合には適切ではない。そこで、文を先頭から末尾までの単語の順位つきリストだと思って2つの文の順位相関係数を用いることで、語順を考慮した評価ができると。なるほどな〜。論文的には
- Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, Hajime Tsukada: Automatic Evaluation of Translation Quality for Distant Language Pairs, Proceedings of EMNLP-2010, pp.944-952.
のようである。
その場で思った疑問は2つあって、1つはこういう語順で評価するのは英語のように統語構造が語順で示されるような言語が翻訳先の言語だとうまく行きそうだが、日本語のように語順が比較的自由な(スクランブリングといって「太郎が花子にプレゼントをあげた」は「花子に太郎がプレゼントをあげた」とも言える)言語ではうまく行かないのでは、と思ったが、日英だけではなく英日でも試していて、人手評価では高い相関を示しているとのこと。そうなのか〜。いまは1文しか評価に使っていないが、BLEUでもmultiple referenceといって複数の文を評価に使うこともできるので、それはどうかと思ったが、それも想定内とのこと。ふむ〜
もう1つは順位相関係数を出すときにシステムの出力と正解とで共通している単語だけを使ってランクを見ているのだが、これは下で動かすシステムに依存しないかという疑問。ほとんど単語が違う翻訳にペナルティをかけるため、単語の unigram (つまり場所に依存しない)翻訳確率をペナルティとしてかけているのだが、どれくらいペナルティをかけるかのパラメータの調整が難しいのではないかと……。こちらはいまのところチューニングしていないし、けっこうこれをいじると結果が変わるそうで。
以前機械翻訳勉強会で jessic-r さんが
- Maja Popovic and Hermann Ney. Syntax-oriented Evaluation Measures for Machine translation Output. WMT-09.
を紹介していたときも、品詞のN-gramを用いたBLEUのほうが単語のN-gramを用いたBLEUよりよかった、という話だったが、これもそもそも下の翻訳システムが意味的には正しい翻訳を返してくれるので、品詞だけ見てもよい結果になっているんではないか、と思ったが、全然結果が違うシステムの比較には使えないのではないかなぁ。(RIBES を最適化するようにチューニングして比較するしかないか。最適化する方法を考えないと使えないのだけど、単語の入れ替えでガタガタと順位が入れ替わってしまうので、BLEU 以上に最適化しにくそう)
NTCIR-9 の特許翻訳タスクでも採用されたらしいので、shuhei-k くんが提出した NAIST 日英翻訳システムの結果もこの尺度で評価されて返ってくるらしい。楽しみである。
あと@sleepy_yoshiさんにお会いしたので M1 の人たちを紹介したり。いまの M1 の人のどれくらいが機械学習に興味あるのか分かっていないのでなんとも言えないが、ランキング学習についていろいろとお伺いしたり。@jhirwinくんも共参照解析にランキング学習を使った話 (これ自体は先行研究の再実装) をやっているし、自然言語処理でランキング学習のほうが自然なところはいろいろとあるので試してみたいテーマはあるのだが、なかなか……。
夕方帰ってきてから IJCNLP ワークショップの論文のコメント、そして20:15から自然言語処理の基礎勉強会。なんでも、6月から金曜6限の時間に授業が入ったので、今週から20:15らしい。時間の変更はホワイトボードに書くなりWikiに書くなりSNSに流すなり、TAの人にも知らせてほしいが、TAがいなくてもどんどん進んで行けるくらい勉強会は活気があるので、勝手に進めていいような気もした (笑)
以前聞いた話では、最近は勉強会が英語の解釈教室みたいになっていて微妙とのことだったが、今年これまで2回出たところ、そういう感じではないし (そもそもみんなよく読めているせいかも?)、M1 同士でお互い内容について教え合っている (すばらしい) し、分からないところは先輩に聞いて勉強会前に解決してから来たりしている (どんどんやってほしい) ので、TA の人は単なるペースメーカーをすればいいのではないかな。
shuhei-k くんに TA がなにをすればいいのか聞かれたが、「書いてある内容から分かること」は M1 同士で教え合うことができるし、むしろ教え合ったほうがよいので、TA の人は「ここには書いていないけど、先の章でもこの概念が出てくるので重要」とか、「この説明では分かりにくいけど、別の説明をするとこういうこと」とか、しばらく自然言語処理をやらないと分からない、そういう補足をすることは大事だと思う。
「教える側は教わる側より多く学ぶ」という言葉があるが、説明しようと思うと聞いて理解する10倍の知識がないと説明できないし、こういう基礎勉強会の目的は、基礎的知識をつけることもさることながら、他人に教えることの練習でもあるので、M1 の中で他の人より理解している人は、積極的に他の人たちに教えていってほしい。
