那些年一起跌的爬蟲坑

1. Android
爬蟲與 Web 的三兩兩事
Takuma@Android Study Group
Takuma不上班
Takuma不⼯工作
Takuma宅在家
Takuma沒錢了了
Takuma開始找⼯工作
1

2. Takuma Lee@Android Study Group
vmgsahm1@gmail.com
Individual App Developer@⾃自宅警備員
Today’s source code
http://bit.ly/webview-javascript-sample
APK展⽰示：https://play.google.com/store/apps/details?id=idv.kuma.app.komica
Or
Google Play 上搜尋 「Komica」
Licensed under the Charlie Tsai
2

3. Android Developer 開發讀書會
• 瘋狂熱愛（？） Android 的⼀一群⼈人聚集的社群
• 社群中常發⽣生寫⼀一寫 Android 就跳去寫 iOS 最後變成 iOS ⼯工程師的事件
• 設立：2013 / 09
• 社群⼈人數：7050（DevFest 時 6745）
• Google Community Group
• 每週三舉辦線下聚會
• 每⽉月舉辦⽉月會（主題不限）
3

5. 如何找到讀書會
• FB 社群：http://bit.ly/TADSG_FB
• Github：https://github.com/TADSG
• Meetup：https://www.meetup.com/Taiwan-
Android-Developer-Study-Group/
• Telegram：http://bit.ly/TADSG_Telegram

6. Agenda
• Tools
• 坑
6

7. Agenda
• Tools
• Tools - JavaScript
• 坑
7

8. Agenda
• Tools
• Tools - JavaScript
• Tools - WebDriver
• 坑
8

9. Tools（1）
• Jsoup
• Facebook Stetho
• PostMan
• AndroidNetworking library
• https://github.com/amitshekhariitbhu/Fast-Android-Networking
9

10. Jsoup
compile group: 'org.jsoup', name: 'jsoup', version: '1.8.3'
10

11. • Document
• Elements
• Element
11

12. 12

13. Facebook Stetho
• http://facebook.github.io/stetho/
13

14. 14

15. 15

16. 16

17. 17

18. Facebook Stetho
Demo
18

19. Tools（2）- JavaScript
• Duktape for Android
• https://github.com/square/duktape-android
• Js Evaluator for Android
• https://github.com/evgenyneu/js-evaluator-for-android
• WebView
• Custom Tab
• https://github.com/GoogleChrome/custom-tabs-client
• Chromium
19

20. Tools（3）- WebDriver
• https://github.com/dhamaniasad/
HeadlessBrowsers
• HtmlUnit-Driver
• Selendroid
• Selenium
20

21. 坑
• 非靜態網⾴頁（non static website）
21

22. 坑
• 非靜態網⾴頁（non static website）
• iframe
22

23. 坑
• 非靜態網⾴頁（non static website）
• iframe
• callback value（google reCAPTCHA[iframe]）
23

24. 24

25. reCaptcha
• iframe
25

26. reCaptcha
• iframe
26

27. reCaptcha
• iframe
• callback value
27

28. • https://blog.kaspersky.com.cn/googles-recaptcha-defeated-by-
security-researchers/4144/
• 此篇⽂文章中說道破解 Google reCaptcha 需要 19 秒的時間
• 繞過驗證碼成功率超過 70%
28

29. Tools（2）- JavaScript
• Duktape for Android
• https://github.com/square/duktape-android
• Js Evaluator for Android
• https://github.com/evgenyneu/js-evaluator-for-android
• WebView
• Custom Tab
• https://github.com/GoogleChrome/custom-tabs-client
• Chromium
29

30. Tools（2）- JavaScript
• Duktape for Android（⽬目前未成功讀取整個網⾴頁資料）
• https://github.com/square/duktape-android
• Js Evaluator for Android
• https://github.com/evgenyneu/js-evaluator-for-android
• WebView
• Custom Tab
• https://github.com/GoogleChrome/custom-tabs-client
• Chromium
30

31. Tools（2）- JavaScript
• Duktape for Android
• https://github.com/square/duktape-android
• Js Evaluator for Android（Android YoutubeExtractor）
• https://github.com/HaarigerHarald/android-youtubeExtractor
• https://github.com/evgenyneu/js-evaluator-for-android
• WebView
• Custom Tab
• https://github.com/GoogleChrome/custom-tabs-client
• Chromium
31

32. Tools（2）- JavaScript
• Duktape for Android
• https://github.com/square/duktape-android
• Js Evaluator for Android
• https://github.com/evgenyneu/js-evaluator-for-android
• WebView（⽬目前使⽤用中）
• https://github.com/TakumaMochizuki/Komica/blob/develop/app/src/main/java/idv/kuma/app/komica/fragments/
SectionDetailsFragment.java
• http://bit.ly/webview-javascript-sample
• Custom Tab
• https://github.com/GoogleChrome/custom-tabs-client
• Chromium
32

33. Tools（2）- JavaScript
• Duktape for Android
• https://github.com/square/duktape-android
• Js Evaluator for Android
• https://github.com/evgenyneu/js-evaluator-for-android
• WebView
• Custom Tab（待研究， Google 曾表⽰示速度比 WebView 快上許多）
• https://github.com/GoogleChrome/custom-tabs-client
• Chromium（最後研究 == 不研究）
33

34. 34