Java components that implement parse robots.txt and sitemaps. 第二十回 #渋谷java

1. Crawler-Commons
2017-09-30
第二十回 #渋谷java

2. Me
島本 多可子（@chibochibo03）
株式会社ビズリーチ CTO室
普段はScalaを書いてます
Apache PredictionIOのコミッタになりました

3. クローラーって？
● インターネットに蓄積されている様々な情報を収集し
● データとして活用できるようにするためのもの
● 情報提供してくださるWebサイトがあってこそ成り立つ
● 迷惑をかけてしまうようなことは避けなくてはならない

4. ルールを守る
● クロールしてもよいページ、ダメなページ
○ robots.txt など
● 負荷をかけるアクセスをしない
○ 必要なページのみクロールする
○ サイトマップ など
● Webクローラーに共通する処理がある

5. Crawler-Commons
https://github.com/crawler-commons/crawler-commons
● Webクローラに共通する機能を実装したJavaライブラリ
○ robots.txtのパース
○ サイトマップやAtomのパース
○ トップレベルドメインを返すURLアナライザ

6. 関連ライブラリ
● crawler4j Java用Webクローラー
○ robots.txtのパース、キャッシュ
■ 禁止されているページはクロールしない
● jsoup Java用HTMLパーサ
○ ページをクロールして解析する
■ 該当ページが許可されているかどうかは自分で判定する

7. Crawler-Commonsの特徴
● パーサのみを提供
● ページをクロールする機能はない

8. robots.txtをパース
● 準備
byte[] content = ... robots.txtを読み込む ...
SimpleRobotRulesParser parser =
new SimpleRobotRulesParser();

9. robots.txtをパース
● パース
BaseRobotRules rules = parser.parseContent(
"http://www.example.com",
content,
"text/plain",
"Sample Crawler");

10. robots.txtをパース
● パース
BaseRobotRules rules = parser.parseContent(
"http://www.example.com",
content,
"text/plain",
"Sample Crawler");
URL(ログの出力に使われる )
robots.txtの内容
robots.txtのContent-Type
クローラーの名前

11. robots.txtをパース
● 結果を取得
boolean isAllowed =
rules.isAllowed("http://example.com/help/faq.html");
List<String> sitemaps = rules.getSitemaps();
許可されている場合は true
サイトマップ

12. サイトマップをパース
● 準備
URL sitemapUrl = new URL(
"http://www.example.com/sitemap.xml");
SiteMapParser parser = new SiteMapParserSAX();

13. サイトマップをパース
● パース
AbstractSiteMap sitemap = parser
.parseSiteMap(sitemapUrl);
if (sitemap.isIndex()) { }
else { ... }
サイトマップインデックスの場合

14. サイトマップをパース
● サイトマップインデックス
SiteMapIndex smIndex = (SiteMapIndex) sitemap;
for (AbstractSiteMap sm : smIndex.getSitemaps()) {
URL url = sm.getUrl();
...
}
(例) http://www.example.com/sitemap1.xml.gz

15. サイトマップをパース
● それ以外
SiteMap sm = (SiteMap) sitemap;
for (SiteMapURL u : sm.getSiteMapUrls()) {
URL url = u.getUrl();
...
}
(例) http://www.example.com/catalog?item=1

16. Atomをパース
● パース
URL atomUrl = new URL(
"http://www.example.com/atom.xml");
SiteMapParser parser = new SiteMapParserSAX();
SiteMap atom = (SiteMap) parser
.parseSiteMap(atomUrl);

17. TLD
● Webサイトの地域ターゲティング
● URLからTLDの取得はややこしい

18. TLDを取得
● 取得
EffectiveTLD etld = EffectiveTldFinder
.getEffectiveTLD("blogs.yahoo.co.jp");
String tld = etld.getDomain(); co.jp

19. まとめ
● Webクローラーにありがちな共通機能を提供
● robots.txt、サイトマップの解析
● こういったライブラリを活用するのも1つの手