gracetory’s blog

東池袋にある合同会社グレストリのエンジニアブログです

グレストリ流 情報収集術

f:id:grnishi:20170727102855j:plain

はじめに

合同会社グレストリで人事担当をしているgrnishiです。人事以外にも色々仕事を抱えています。

社内で「エンジニアブログを始めます」と鶴の一声がありましたので、文章を書くのは苦手ですが書いてみます。

何かネタは無いかな?と考えまして、数年前に作った便利なサービスについてまとめます。発作的に1日で作って、その後一切手を入れていないので、開発を再開してみてはどうか?と自分に問いかける意味も込めます。

背景

エンジニアにとって情報収集というのはとても重要です。こちらをご覧のエンジニアの方も自分なりの情報収集術を構築されているかと思います。

ニュースサイトやエンジニアブログなど情報源はたくさんあり、数ある情報源から効率良く欲しい情報を取得するためのキュレーションサイトなども数多くあります。

また、時間に追われている現代人は取得した情報を最初から最後まで読む暇がありません。ニュースサイトによっては3行に要約してくれたりもします。

ニュースに限らず文書を効率的に要約してくれる研究は古くから行われており、実際にサービスとして高い精度で提供されています。

vingow.com slicenews.net recruit-tech.co.jp

このような要約サービスを構成する技術要素として日本語の意味を理解して、重要な部分のみを抽出する必要があります。各サービスがどのようなアプローチで要約を実現しているのかわかりませんが、日本語解析の部分が肝である事は間違い無いでしょう。

コンセプト

既に紹介したサービスと真っ向から勝負しても面白く無いので、

「文章を575調に要約する」

をコンセプトとします。(実際には57577ですが)

自分自身でも無茶なコンセプトだとは思いますが、とりあえずやってみました。

アルゴリズム

以下簡単に処理の流れを。

  • 文章を形態素に分割し、読みや品詞など取得
    • Yahoo!日本語形態素解析APIを利用
  • 文章から特徴的なフレーズを抽出
    • Yahoo!キーフレーズ抽出APIを利用
  • 全ての形態素、抽出したキーフレーズを独自の評価関数でスコアリング(重要度、文字列長や品詞など) ― ここが肝なのに中身を書かない
  • 575調に文章を調整

となっています。

自前では評価関数を作ったぐらいで、Yahooに頼り切っています。

実際の結果

いくつか要約した結果を貼り付けます。

原文

カナダ出身の人気歌手ジャスティン・ビーバーさん(23)は24日、自身のフェイスブックに声明を出し、昨年3月に開始した世界ツアーの残りの公演を中止することを明らかにした。
日本でも9月23、24両日に東京公演が予定され、チケット販売も始まっていた。理由は公表されていない。
ロイター通信によると、ツアーは既に世界各地で150以上の公演を終え、北米やアジアでの14公演を残すのみだった。販売済みのチケット代は返金されるという。
声明ではツアー中止の理由について「不測の事態によるもの」と述べられているが、詳細は不明。ビーバーさんをめぐっては、中国の北京市当局が18日、「過去の不良行為」を理由に国内公演を認めないとの公式見解を示していた。 

要約

ビーバーが フェイスブック ロイターの 不測の事態 北京声明

原文

参院予算委員会の閉会中審査で25日、安倍内閣の3閣僚が昨年8月から9月にかけて、学校法人「加計学園」の加計孝太郎理事長の訪問を相次いで受けていたことを明らかにした。3閣僚は、共産党の小池晃氏の質問に答えた。
山本有二農水相は昨年8月23日、加計氏の訪問を受けたと答弁。5~10分間会い、官僚は同席しなかったという。山本氏は加計氏から「獣医学部の話はお聞きした」と語った。
山本幸三地方創生相は昨年9月7日に加計氏の訪問を受け、「今治市に獣医学部の提案をして、やっていきたい」と言われたことを紹介。山本氏は「公正、中立にやる。最終的に公募で決める」と伝えたという。
松野博一文科相は昨年9月6日に加計氏の訪問を受けたが、学部新設の話は出なかったという。
質問した小池氏は加計氏の面会について、「なぜ次々と大臣に会えるのか」と疑問を呈した。

要約

孝太郎 小池晃で 今治市 学校法人 松野山本

原文

日本国民は、正当に選挙された国会における代表者を通じて行動し、われらとわれらの子孫のために、諸国民との協和による成果と、わが国全土にわたつて自由のもたらす恵沢を確保し、政府の行為によつて再び戦争の惨禍が起ることのないやうにすることを決意し、ここに主権が国民に存することを宣言し、この憲法を確定する。そもそも国政は、国民の厳粛な信託によるものであつて、その権威は国民に由来し、その権力は国民の代表者がこれを行使し、その福利は国民がこれを享受する。これは人類普遍の原理であり、この憲法は、かかる原理に基くものである。われらは、これに反する一切の憲法、法令及び詔勅を排除する。
 日本国民は、恒久の平和を念願し、人間相互の関係を支配する崇高な理想を深く自覚するのであつて、平和を愛する諸国民の公正と信義に信頼して、われらの安全と生存を保持しようと決意した。われらは、平和を維持し、専制と隷従、圧迫と偏狭を地上から永遠に除去しようと努めてゐる国際社会において、名誉ある地位を占めたいと思ふ。われらは、全世界の国民が、ひとしく恐怖と欠乏から免かれ、平和のうちに生存する権利を有することを確認する。
 われらは、いづれの国家も、自国のことのみに専念して他国を無視してはならないのであつて、政治道徳の法則は、普遍的なものであり、この法則に従ふことは、自国の主権を維持し、他国と対等関係に立たうとする各国の責務であると信ずる。
 日本国民は、国家の名誉にかけ、全力をあげてこの崇高な理想と目的を達成することを誓ふ。

要約

憲法が われら国民 恵沢の 諸国民わが国 日本法則

はい。長い文章を31文字前後に要約しています。なんとなくニュースを読んだ気に・・・なれない。なれるわけがない。

動作デモ

ニュースを575調で要約!

今後の課題

  • 評価関数の設計にディープラーニングの力を借りる
  • 英文への対応
  • ソースコードを整理してgithubにでもアップしておく
  • コンセプトが間違えている事を再認識する

さいごに

こういう役に立たない事に情熱を注げるエンジニアって大好きです。