自然言語処理のメジャー国際会議の COLING のワークショップ2日目。今日は Workshop on Asian Translation (WAT) というワークショップへの参加。3回目だが我々は皆勤賞である（毎回結果は全く振るわず NAIST と京大の遥か後塵を拝しているのだが、参加することに意味があると思って）。
8件の投稿があって5件が口頭、2件がポスターで採択されたということは1件しか落とされていないということだが、これまで他のワークショップでも落とされるのは余程問題のあるもの程度だった（多少の問題程度なら採択されていた）ことがあるので、それと同様ということだろう。
今回発表した話はあまり紹介していない気がするので解説しよう。
- Takayuki Sato, Jun Harashima (Cookpad) and Mamoru Komachi. Japanese-English Machine Translation of Recipe Texts. In Proceedings of The 3rd Workshop on Asian Translation (WAT): Research papers, pp.58-67. Osaka, Japan, December 2016. (oral)
これはクックパッドのH島さんとの共同研究の成果で、うちの研究室のニューラル機械翻訳グループの中心メンバーである sugar くんが取り組んでいる研究テーマの報告である。クックパッドはご存知の方も多いと思うが料理のレシピの SNS で、日本発なので日本語で書かれたレシピがたくさん投稿されているが、これを英語に翻訳したいというニーズがあるので、このドメインでの機械翻訳について試して分析した、という研究。特に技術的に新規なことを提案しているわけではないが、レシピ特有の表現、ブログ特有の表現、そしてそれぞれとフレーズベースの機械翻訳・ニューラル機械翻訳の得意・不得意が絡んでいたりして、分析だけでも結構意味のある研究だと思っている。できれば修論までにここから何か新しい手法の提案までできるといいのだが……（内容的には8月時点の実験内容なので、修論は2月まであると思うとその余裕は十分にある）
余談として、彼は今年度の前半週3日程度クックパッドに行っていたのだが、結局研究室の環境の方が捗るということで実験はほとんどこちらでやっていたそうで（土日に来たりとか）、大学の環境と企業の環境の両方を体験して利点と欠点を把握するのは有意義なことだと思う（研究室の環境で明らかに足りないのはソフトウェア開発能力だと思うが、研究力や計算機の能力的には多くの企業と比べるとそんなに悪くないと思っている。もちろん、一部の企業にはあらゆる観点で負けてしまうが）。
- Shin Kanouchi, Katsuhito Sudoh (NTT) and Mamoru Komachi. Neural Reordering Model Considering Phrase Translation and Word Alignment for Phrase-based Translation. In Proceedings of The 3rd Workshop on Asian Translation (WAT): Research papers, pp.94-103. Osaka, Japan, December 2016. (poster)
こちらは NTT の S 藤さんとの共同研究の成果で、うちの研究室の（ニューラル）機械翻訳黎明期を支えてくれた [twitter:@shin_kan0] くんが取り組んでいた研究内容である。フレーズベースの統計的機械翻訳において、文法が大きく異なる言語間では長距離の依存関係を考慮することができないので、片方の言語の語順をもう片方の言語の語順に近づけることで翻訳しやすくする並べ替えという手法があるのだが、この手法は単語やフレーズをそのまま使うのでデータスパースネス（頻度が低い単語やフレーズがカバーされない）の問題や、そもそもフレーズベース機械翻訳で使われるフレーズテーブルというデータベースにゴミが多いというような問題があり、それをニューラルネットワークを用いて解決する、という話。色々やってみて分かったのは、確かにニューラルな手法にするとフレーズテーブルの中のフレーズの並べ替え自体の精度は明らかに良くなるのだが、実際に出現するフレーズの並べ替えではそこまで良くならず、結果的に翻訳精度に対する貢献が微妙、という感じのようである。
彼は M1 の夏に1ヶ月 NTT 研究所にインターンシップに行き、そこから機械翻訳の研究に取り組んでいたのだが、これは他の国際会議にも何回か落とされているので、ようやく拾ってもらえてよかった。ここ1年半ほどで機械翻訳業界が統計的機械翻訳からニューラル機械翻訳に一気にシフトしてしまったので、投稿する時期が1年ずれていたなぁという印象（最初の投稿のときに、賞味期限的にこれは早く出さないと意味がない、ともっと必死になるべきだった）。これ、もう来年は投稿できる先がなかっただろう（ネットワーク構造は違うもののほぼ同じ趣旨の内容で、しかも結果もこれより微妙なものが NAACL 2016 の short paper に通っていたりしたのだが）
- Hayahide Yamagishi, Shin Kanouchi, Takayuki Sato and Mamoru Komachi. Controlling the Voice of a Sentence in Japanese-to-English Neural Machine Translation. In Proceedings of The 3rd Workshop on Asian Translation (WAT): System description papers, pp.203-210. Osaka, Japan, December 2016. (poster)
最後のこれは B4 の学生たちによるもので、今年度からは（S 藤さんとのフリーディスカッションで出たアイデアだが）B4 で機械翻訳をやりたい人は全員 WAT に参加してもらうことにしていて、B4 で機械翻訳をやりたいと言っていた2人のうちの1人による研究である。これは日英翻訳における態の変換あるいは能動態・受動態のどちらかを出すよう制約をかけるという手法についての研究で、単純な手法でも割合と制御できるという印象。出力する英語側の態の予測にはあまり日本語側の情報は役に立たないということが分かっている（納得）のだが、最終的には文章の情報構造を考慮に入れて、出力側で最適な（情報構造的に自然な）態を選択する、というところまで持っていけるといいな。
去年と一昨年は参加したいという学生の手法についてあまりとやかく言わなかった（そのため、精度的にはひどかったし、毎年昨年の経験がほとんど生かされず一からやっていた）のだが、今回は「ニューラル機械翻訳にすること」「来年度以降うちの研究室のベースラインとして使えるように、ソースコードや前処理・後処理も整備すること」というお題を課したので、来年度はもう少しましになるかと思っている。とりあえず2014年（2年前）の NAIST システム（京大のシステム）くらいには追い付きたいのだが、周回遅れ感が半端ない。残念なことに我々は全然食い込めていないのであるが、研究的には精度競争には乗らない（精度で1番を目指すのではなく、言語的に興味深い現象の工学的な分析に取り組む）にしても、ベースラインとして妥当な水準のシステムを作らないと研究的にもそもそもお話にならないと思っている。（ベースが低いところからでも何年かかけてじっくり追いついていく、というのが自分のスタイルであるが、他の人たちも黙って待っていてくれるわけではないので、知識が研究室内で蓄積されるようにして、少しでも差が縮まるようにしていきたい）
今回の WAT はこれまでの主に国内の人がターゲットだった場合と違い、いろんな人が参加していて割と盛り上がる。招待講演の [twitter:@hidetokazawa] さんの Google Neural Machine Translation の話もおもしろく（ご存知の方も多いかと思うが、先月から今月にかけてニューラル機械翻訳になって、流暢性が格段に向上した）、質疑も活発で、こういう感じにできるなら、日本で単独開催にせず毎回何かのアジア圏の国際会議のサテライトワークショップにした方がいいのではなかろうか。
夕方はレセプションに出てみたが、やはり人が多いところで長時間いると他の人にうつしてしまう可能性があるし、自分もぶり返す可能性があるので、30分ほどで退散。何のために来たのか感があるが、とにかく年末まで大過なく過ごすことが重要なので仕方ない。
