Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

ACL2018の歩き方

5.872 Aufrufe

Veröffentlicht am

ACL2018の内容と採択論文の傾向について

Veröffentlicht in: Daten & Analysen
  • Sex in your area is here: ❶❶❶ http://bit.ly/2F7hN3u ❶❶❶
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • Dating for everyone is here: ♥♥♥ http://bit.ly/2F7hN3u ♥♥♥
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

ACL2018の歩き方

  1. 1. Copyright © TIS Inc. All rights reserved. ACL 2018 の歩き方 戦略技術センター 久保隆宏 How to walk around ACL 2018
  2. 2. Copyright © TIS Inc. All rights reserved. 2 ◼ About ACL2018 ◼ ACLとは ◼ ACL2018 開催概要 ◼ 注目チュートリアル/関連イベント ◼ ACL2018 Statistics ◼ 採択論文の傾向 ◼ ACL2018 Prediction ◼ 注目されると予想されるトピック 目次
  3. 3. Copyright © TIS Inc. All rights reserved. 3 久保隆宏 TIS株式会社 戦略技術センター ◼ 化学系メーカーの業務コンサルタント出身 ◼ 既存の技術では業務改善を行える範囲に限界があるとの実感から、戦 略技術センターへと異動 ◼ 現在は現場で使える要約の実現を目指し、まとめる観点を指定した要 約の作成に関する研究を行う。 自己紹介 kintoneアプリ内にたまった データを簡単に学習・活用 (@Cybozu Days 2016) チュートリアル講演:深層学習 の判断根拠を理解するための研 究とその意義(@PRMU 2017) 機械学習をシステムに組み込む 際の依存性管理について (@MANABIYA 2018)
  4. 4. Copyright © TIS Inc. All rights reserved. 4 arXivTimes オープンソースの価値観でサーベイを行う 一社/一研究室/個人だけで十分なサーベイを行うのは、物理的に困難に なってきている。 そこで、サーベイした内容のシェアを始めたのがきっかけ。 最初は個人的にTogetterにまとめ ていた。PyCon2016でのAlbert さんとの出会いをきっかけに、共 同で輪講を開始。それに伴い、 GitHubへの運用に移行。 ちなみに記念すべき最初の論文は、 Deep MindのSim-to-Real Robot Learning from Pixels with Progressive Nets
  5. 5. Copyright © TIS Inc. All rights reserved. 5 ◼ Top10 arXivTimes Contributors icoxfog417 Hironsan 0shimax hurutoriya ymym3412 t-oura ryamauchi SnowMasaya inoue0426 mogami290 :arXivTimesメンバー・元メンバー 医療系 ◼ And many contributors neka-nat wakamezake crcrpar jiny2001 kamujun alb-ktaka Hiroyuki1993, umu1729, y-yammt, hirokatsukataoka16, Rowing0914, msakai, ikeyasu, knok, hassaku, BrambleXu, shimaokasonse, darylfung96, misogil0116, lanius, lilacs2039, KazukiYoshii 音声系がかなり手薄なので、音声の 研究をしている方、ぜひご参加をお 待ちしております!
  6. 6. Copyright © TIS Inc. All rights reserved. 6 arXivTimes Challenge (1/2) 量の拡大 ◼ 投稿者の拡大 ◼ ※誰でも投稿していいんです※ ◼ 投稿頂いたことへの還元 arXivTimes Indicatorというポータルサ イトを作成。一度でも投稿を行うと、個 人の投稿結果ページが表示されるように なる。 量の拡大と質の向上 質の向上 ◼ 投稿内容のレビュー ◼ 初心者でも安心! arXivTimesで投稿を行う時、 @arxivtimesbotにメンションをつけ るとレビューを依頼することができま す。
  7. 7. Copyright © TIS Inc. All rights reserved. 7 arXivTimes Challenge (2/2) 量の拡大 ◼ 参加特典 ◼ オフラインでの交流を通じての コミュニティ拡大 質の向上 ◼ 詳細な内容をまとめている他コ ミュニティとの連携 ◼ CVPR 2018 完全読破チャレンジ ◼ Deep Learning JP ◼ GitHubでまとめを行っている 方は、遠慮なくarXivTimesの Issueにもリンクを貼ってくだ さい! 次のチャレンジ
  8. 8. About ACL2018
  9. 9. Copyright © TIS Inc. All rights reserved. 9 ACLとは Annual Meeting of the Association for Computational Linguistics ◼ 自然言語処理の分野における、トップカンファレンスの一つ ◼ 北米のNAACL、ヨーロッパのEACLという支部会がある。NAACLはACL本体と並ぶ 格のある学会(EACLは若干劣るらしい)。 ◼ 1962年発足で、最初はAssociation for Machine Translation and Computational Linguisticsという名称だった(1968年に現在の名称になる)。 ◼ 開催地は、欧州⇒北米⇒アジア/オセアニアで巡回している ◼ Berlin(2016)⇒Vancouver(2017)⇒Melbourne(2018)
  10. 10. Copyright © TIS Inc. All rights reserved. 10 ACL2018 開催概要 ◼ 開催場所: オーストラリア メルボルン ◼ 開催期間: 7/15~20 ◼ 7/15: Tutorial ◼ 7/16~18: Main Conference ◼ 7/19~20: Workshop ◼ 規模: ◼ 発表論文: Long 258/1018本、Short 126/526本 ◼ 2017はLong 302/829、Short 107/590。 ◼ 採択率は24.9%
  11. 11. Copyright © TIS Inc. All rights reserved. 11 ACL2018 開催概要: スケジュール 7/15 7/15 Tutorial 9:00-12:30 T1: 100 Things You Always Wanted to Know about Semantics & Pragmatics But Were Afraid to Ask T2: Neural Approaches to Conversational AI T3: Variational Inference and Deep Generative Models T4: Connecting Language and Vision to Actions 13:30-17:00 T5: Beyond Multiword Expressions: Processing Idioms and Metaphors T6: Neural Semantic Parsing T7: Deep Reinforcement Learning for NLP T8: Multi-lingual Entity Discovery and Linking MS MARCOなど に携わる Jianfeng Gao先 生が担当 Embodied Question Answeringを発表し たAbhishek Das先生 が担当 AllenNLPの研究 者たちが担当
  12. 12. Copyright © TIS Inc. All rights reserved. 12 ACL2018 開催概要: スケジュール 7/16 7/16 Day1 9:00-10:00 Welcome Session & Presidential Address 10:00-10:30 Coffee Break 10:30-12:10 Session 1A: Word Semantics 1 Session 1B: Machine Translation 1 Session 1C: Information Extraction 1 Session 1D: Summarization Session 1E: Resource, Annotation Session 1F: Argument Mining 12:10-12:30 Short Break 12:30-14:00 Poster Session 14:00-15:40 Session 2A: Semantic Parsing 1 Session 2B: Multilinguality Session 2C: Question Answering 1 Session 2D: Generation 1 Session 2E: Vision Session 2F: Sentiment 15:40:16:10 Cofee Break 16:10-17:50 Session 3A: Inference, Reasoning Session 3B: Machine Learning 1 Session 3C: Text Mining and Applications Session 3D: Dialog System 1 Session 3E: Linguistics, Psycholinguistic s and Cognitive Modeling Session 3F: Parsing 1 Probabilistic FastText for Multi- Sense Word Embeddings Graham Neubig 先生が座長 William Wang先 生が座長(強化学 習のチュートリ アルも担当) LexRank発明者 Dragomir Radev 先生が座長 Richard Socher先 生が座長 Adversarial Contrastive Estimation Sentence-State LSTM for Text Representation Yue Zhang先生が 座長(Sentence State作者) Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting MojiTalk: Generating Emotional Responses at Scale 読み会論文の多くは Day1に集中
  13. 13. Copyright © TIS Inc. All rights reserved. 13 ACL2018 開催概要: スケジュール 7/17 7/17 Day2 9:00-10:00 Invited Talk 1: Carolyn Penstein Rosé 10:00-10:30 Coffee Break 10:30-12:10 Session 4A: Word Semantics 2 Session 4B: Machine Translation 2 Session 4C: Information Extraction 2 Session 4D: Dialog System 2 Session 4E: Evaluation Session 4F: Parsing 2 12:10-12:30 Short Break 12:30-14:00 Poster Session 14:00-15:00 Session 5A: Semantics 1 Session 5B: Machine Translation, Multilinguality 1 Session 5C: Information Extraction 1 Session 5D: Dialog System, Discourse Session 5E: Vision, Linguistics, Resource and Evaluation Session 5F: Parsing, Morphology 15:00:15:30 Cofee Break 15:30-17:10 Session 6A: Semantic Parsing 2 Session 6B: Machine Learning 2 Session 6C: Question Answering 2 Session 6D: Generation 2 Session 6E: Social Media Session 6F: Information Retrieval 河原先生が座長 ELMoの Luke Zettlemoyer 先生が座長 Richard Socher先 生が座長(2回目)
  14. 14. Copyright © TIS Inc. All rights reserved. 14 ACL2018 開催概要: スケジュール 7/18 7/18 Day3 9:00-10:00 Invited Talk 2: Anton van den Hengel 10:00-10:30 Coffee Break 10:30-12:10 Session 7A: Semantic Parsing 3 Session 7B: Language/Docu ment Model Session 7C: Information Extraction 3 Session 7D: Dialog System 3 Session 7E: Multimodal Session 7F: Discourse 12:10-12:30 Short Break 12:30-14:00 Poster Session 14:00-15:00 Session 8A: Semantics 2 Session 8B: Machine Translation, Multilinguality 2 Session 8C: Information Extraction 2 Session 8D: Generation, Summarization Session 8E: Machine Learning, Question Answering Session 8F: Sentiment 15:00:15:30 Cofee Break 15:30-17:10 Session 9A: Best Paper Session 宮尾先生が座長 Chris Dyer先生が 座長 Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semantics in Neural Information Retrieval Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information 高村先生が座長
  15. 15. Copyright © TIS Inc. All rights reserved. 15 ACL2018 開催概要: スケジュール 7/19 ◼ BioNLP 2018 ◼ 医療X自然言語のワークショップ。医療関係のドキュメントから医学用語 を抽出したり、QAシステムを作成するなど ◼ DeepLo: Deep Learning Approaches for Low Resource Natural Language Processing ◼ 少ない資源(データ)でどう学習するかについてのワークショップ ◼ MSR: Multilingual Surface Realization: Shared Task and Beyond ◼ 言語学的なアプローチと、Deepベースのアプローチの融合を試みるワー クショップ。今回が初開催となる。 ◼ Cognitive Aspects of Computational Language Learning and Processing (CogCL) ◼ The 5th Workshop on Natural Language Processing Techniques for Educational Applications (NLPTEA) ◼ Third Workshop on Computational Approaches to Linguistic Code-Switching (CALCS) ◼ Workshop on Machine Reading for Question Answering (MRQA) ◼ Workshop on Relevance of Linguistic Structure in Neural Architectures for NLP (RELNLP)
  16. 16. Copyright © TIS Inc. All rights reserved. 16 ACL2018 開催概要: スケジュール 7/20 ◼ ECONLP: 1st Workshop on Economics and Natural Language Processing ◼ 自然言語処理による市場・製品・顧客の分析など、ビジネスでの活用に関 するワークショップ ◼ MML_Challenge: First Workshop on Computational Modeling of Human Multimodal Language ◼ マルチモーダル情報を利用した自然言語理解に関するワークショップ。 Challengeとして動画による感情分類のデータセットが提供されている(文 単体以外に、画像/音声などを入力として扱うことができる) ◼ NLPOSS: Workshop for NLP Open Source Software ◼ 自然言語処理のOSS開発に関するワークショップ。開発やAPI設計、コ ミュニティの盛り立て方といったことがテーマに上げられている。ゲスト にはspaCy/CoreNLPの開発者らを迎えている(両者は結構やりあっている)。 ◼ 3rd Workshop on Representation Learning for NLP (RepL4NLP) ◼ The 2nd Workshop on Neural Machine Translation and Generation (NMT) ◼ The Seventh Named Entities Workshop (NEWS) ◼ Sixth International Workshop on Natural Language Processing for Social Media (SocialNLP)
  17. 17. ACL2018 Statistics
  18. 18. Copyright © TIS Inc. All rights reserved. 18 ACL採択論文の傾向(1/4) ACL採択論文(Long&Short)の タイトルで使用されている単語 の移り変わり。 使用したデータと分析に使用したNotebookは Kaggle上で公開済み。 2016年で多く使用されている が、その後使用されなくなって いる単語については以下の理由 が考えられる ◼ 手法が普及してあえてタイ トルで強調する必要がなく なった ◼ 手法・テーマがあまり採用 されなくなった
  19. 19. Copyright © TIS Inc. All rights reserved. 19 2016年から見て・・・ ◼ 普及したと思われるもの ◼ neural network, language models ◼ 採用されなくなったと思わ れるもの ◼ statistical, transition based (parsing), topic (model), features 2016年は対話(conversation) が多いが、年を経るにつれ QA(question, selection)に 移ってきている印象。 ACL採択論文の傾向(2/4)
  20. 20. Copyright © TIS Inc. All rights reserved. 20 各年のトレンド ◼ 2016年は表現系(word representations/word embedding)、また対話 (conversation)が多い。 ◼ 2017年は生成系(seq2seq, encoder-decoder, generative model)が多い。 テーマとしてはparseや language modelが多い。 ACL採択論文の傾向(3/4)
  21. 21. Copyright © TIS Inc. All rights reserved. 21 2018年のホットトピック ◼ 2017年からの傾向で強化学 習の導入、またadversarial な学習の導入がトピックと して見られる。 ◼ テーマとしては上記を利用 した質問応答、それとなぜ かsentimentの研究が多い。 ◼ simple/end to end/rubust など、既存のモデルをより シンプルに/単一に/安定させ る研究も増えている印象 ACL採択論文の傾向(4/4)
  22. 22. ACL2018 Prediction
  23. 23. Copyright © TIS Inc. All rights reserved. 23 直近のNAACLでの話題 ◼ BLEUに代表される自動評価指標の見直し ◼ スコアを上げる研究はほぼ限界まで来ている一方、スコアと人の評 価との不一致の問題はまだあまり手が付けられていない。 ◼ データセットの信頼性 ◼ データセットの信頼性は、モデルの信頼性に直結する ◼ ラベルの偏り、誤りのあるデータ(特にクラウドソーシングで作成 する場合)をどう防ぐか ◼ StanfordのRare Word SimilarityやNatural Language Inference (SNLI) Corpusには、すでに信頼性への指摘がある(参考)。 <References> ◼ Highlights of NAACL-HLT 2018: Generalization, Test-of-time, and Dialogue Systems ◼ Some Highlights from NAACL 2018 ACL2018で話題になりそうなテーマ (1/2)
  24. 24. Copyright © TIS Inc. All rights reserved. 24 モデルのスコアが向上する一方、実世界での応用は画像分野に比べ進んで いない。そのギャップを克服するには、根本的な所からの見直しが必要な のでは?という問題意識を感じる(Best Paperの一つは、RNNと脳波との 関連を見出したという野心的なもの)。 ACLでもこの辺りはテーマとなる、と思われる。 ACL2018で話題になりそうなテーマ (2/2) 一週間後からの開催を楽しみにまとう!
  25. 25. THANK YOU

×