More Related Content
Similar to 実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更) (20)
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
- 2. 2
Copyright©2018 NTT corp. All Rights Reserved.
はじめに
Amazon Mechanical Turk (MTurk) とは
Amazon提供のクラウドソーシングサービス
低コストで大量の参加者を調達可能
学術研究におけるユーザスタディへの参加者募集のデファクト
スタンダードツール
本資料ではMTurkを用いてユーザスタディを実施する際に必要な
基礎知識・使い方・Tipsをまとめる
- 3. 3
Copyright©2018 NTT corp. All Rights Reserved.
目次
1. MTurkを用いたユーザスタディ
1.1 MTurk概要 (p5~)
1.2 セキュリティ研究での利用例(p7~)
1.3 HCI研究での利用例(p10~)
1.4 メリット(p12~)
2. 実践 MTurk
2.1 利用全般(p18~)
2.2 参加資格の設定(p19~)
2.3 利用料金(p26~)
2.4 STEP1:リクエスター登録(p30~)
2.5 STEP2:HITs作成(p34~)
2.6 STEP3:結果の閲覧(p48~)
2.7 Tips(p52~)
- 5. 5
Copyright©2018 NTT corp. All Rights Reserved.
1.1 MTurk概要(1/2)
Amazon Mechanical Turk (MTurk) とは
Amazon社が提供する大規模クラウドソーシングサービス
Amazon Web Service(AWS)の一つ
2005年11月公開
対応言語は英語のみ
ワーカーは匿名でタスクを実施(ワーカーIDのみ表示)
主な作業内容
画像・音声・動画データの内容の文字起こし
機械学習に用いる教師データ(画像など)へのラベル付け
翻訳
アンケート
製品評価(ユーザインタフェースの評価)
- 6. 6
Copyright©2018 NTT corp. All Rights Reserved.
1.1 MTurk概要(2/2)
用語
HITs (Human Intelligence Tasks):タスク
ワーカー:HITsを実施して報酬を受け取る人
リクエスター:HITsを依頼して報酬を支払う人
利用時の流れ
1. リクエスターがHITsを公開
2. ワーカーは受けたいHITsを選択して実施し、リクエスターへ提出
3. リクエスターはワーカーの回答を確認し、回答を承認または否認
4. 回答が承認されたワーカーに報酬が支払われる
- 7. 7
Copyright©2018 NTT corp. All Rights Reserved.
1.2 セキュリティ研究での利用例(1/3)
例1:ユーザが生成するパスワードの分析
Blase Ur et al., Design and Evaluation of a Data-Driven Password Meter
(CHI2017 Best Paper Award )
ユーザへのフィードバックを提示するパスワードメーターを提案
提示するフィードバックの粒度を変え、MTurkで募集した合計4509人の参
加者にパスワードメーターを利用してパスワードを生成してもらう
生成されたパスワードを分析した結果、より詳細なフィードバックを提示
するほどより強いパスワードが生成されていた
(図)提案されたパスワードメーター
「Mypassword123」というパスワード
が入力されると、フィードバックを提示
した上で、より強いパスワード
「My123passWoRzd」を推薦
- 8. 8
Copyright©2018 NTT corp. All Rights Reserved.
1.2 セキュリティ研究での利用例(2/3)
例2:IoTデータ収集に関するプライバシー意識の調査
Pardis Emami-Naeini et al., Privacy Expectations and Preferences in an IoT World
( SOUPS2017 )
データ収集の8要素(取得場所・データタイプ・デバイスタイプ・受益者・
目的・保持期間・共有範囲・推測可能性)を変えたIoTデータ収集シナリオ
を多数用意
MTurkで募集した1007人の参加者にシナリオを提示
参加者は各々のシナリオについてデータ収集の好ましさを5段階で評価
(図)
参加者のプライバシー意識
の傾向(抜粋)
- 9. 9
Copyright©2018 NTT corp. All Rights Reserved.
1.2 セキュリティ研究での利用例(3/3)
難関国際会議採択論文におけるMTurkの利用状況
USENIX SOUPS 2017:プライバシーとセキュリティのユーザビリ
ティに特化した難関国際会議
ACM CHI 2017:HCI分野の最難関国際会議
ユーザスタディを実施 MTurkを利用
23/26 (88%) 9
セッション名 ユーザスタディを実施 MTurkを利用
Passwords and Authentication 4/4 (100%) 2
Social Media Privacy 5/5 (100%) 5
Authentication and Access Control 2/4 (50%) 2
ユーザスタディ実施にあたってMTurkの利用がデファクトスタンダード
- 10. 10
Copyright©2018 NTT corp. All Rights Reserved.
1.3 HCI研究での利用例(1/2)
例1:チャットシステムのユーザインタフェースの評価
Matthew K. Miller et al., Conversational Chat Circles: Being All Here Without
Having to Hear It All
大人数が参加するライブストリーミングで
も機能するチャットシステムを提案
ユーザのグルーピング機能と投票機能によ
り、自身のグループのコメントと全体で投
票数の多いコメントを表示
MTurkで募集した各180人の参加者に、表示
されるコメントの量が異なるチャットシス
テムを利用してもらう
参加者は読みやすさや使いやすさなどの
ユーザインタフェースを評価
(図)グルーピング機能と投票機能
が備わるチャットシステム
(CHI2017 )
- 11. 11
Copyright©2018 NTT corp. All Rights Reserved.
1.3 HCI研究での利用例(2/2)
参考:ACM CHIのクラウドソーシング関連セッション
最難関国際会議であるACM CHI 2017ではクラウドソーシング関連
セッションが3つ
Crowdwork
Collaborative Crowdwork
Crowdfunding and Crowdsourcing
これらではクラウドソーシングサービスそのものが研究対象
研究例)複数のクラウドワーカー間で回答が一致するかどうかを予測
研究例)作業内容をウェブ上で再現するタスク生成支援ツールの提案
クラウドソーシングサービスとしてMTurkを前提とする研究が多い
ユーザインタフェースの評価やクラウドソーシングの研究において
MTurkの利用がデファクトスタンダード
- 12. 12
Copyright©2018 NTT corp. All Rights Reserved.
1.4 メリット(1/5)
① 低コスト
$0.1/min 程度の報酬で十分な数の回答が集まる(Adam J.
Berinsky et al., 2012)
時給にして$5 が妥当な報酬(Panos G. Ipeirotis, 2010)
MTurkのメリット(リクエスター)
①低コスト ②ワーカー数 ③インフラ ④匿名性
⑤参加者の選抜 ⑥長期観測可能 ⑦文化的多様性
③~⑦は Gabriele Paolacci et al., Running experiments on Amazon Mechanical Turk(2010)より
- 13. 13
Copyright©2018 NTT corp. All Rights Reserved.
1.4 メリット(2/5)
② ワーカー数
50万人以上のワーカーが登録(2015年時点での公式発表)
1日で400人分の回答が集まる(Adam J. Berinsky et al., 2012)
1000人分の回答を集めるのにも3週間程度(Gabriele Paolacci et
al., 2010)
③ インフラ
HITs作成の雛形となるフォーマット有り
外部の調査用サイトへのリンクも可能
参加者にMTurk上で識別用番号を配布すると分析や承認の際に便利
報酬の支払いがワンクリック
- 14. 14
Copyright©2018 NTT corp. All Rights Reserved.
1.4 メリット(3/5)
④ 匿名性
ワーカーから匿名で回答を集めることができ、IRB(研究倫理審査
委員会)の承認を得やすい
⑤ 参加者の選抜
リクエスターは各HITsへの参加資格を設定可能
(例)US在住のワーカーを対象
(例)過去のHITs承認率が95%以上のワーカーを対象
(例)Facebookアカウントを保有するワーカーを対象
ワーカーは資格を随時申請可能
- 15. 15
Copyright©2018 NTT corp. All Rights Reserved.
1.4 メリット(4/5)
⑥ 長期観測可能
ワーカーに再度HITs参加の依頼ができ、長期観測が可能
(例)1回目のアンケートに回答したワーカーに連絡をとりアンケート
への回答を依頼
(例)1回目のアンケートに回答したワーカーのワーカーIDを、2回目
のアンケートの参加資格として設定
⑦ 文化的多様性
参加資格設定を活用して文化的な違いを検証可能
(例) HITsへの参加資格をA国とB国の住民に分割して公開し、結果
を比較
- 16. 16
Copyright©2018 NTT corp. All Rights Reserved.
(参考)参加者募集方法の比較
引用:Gabriele Paolacci et al., Running experiments on Amazon Mechanical Turk
Laboratory
Traditional web
study
Web study with
purpose built
website
MTurk
Susceptibility to
coverage error
High Moderate Moderate Low
Heterogeneity of
samples across labs
Moderate High High Low
Non-response error Low High High Moderate
Subject Motivation Moderate / High Low Low Low
Risk of multiple
responses by one person
None Moderate Moderate Low
Risk of contaminated
subject pool
Moderate High Moderate Low
Risk of dishonest
responses
Moderate Low Low Low
Risk of experimenter
effects
Low None None None
1.4 メリット(5/5)
- 18. 18
Copyright©2018 NTT corp. All Rights Reserved.
2.1 利用全般
リクエスター登録可能国
2017年6月に日本を含め計43ヶ国からのリクエスター登録が可能に
詳細: https://blog.mturk.com/mturk-is-now-available-to-requesters-
from-43-countries-77d16e6a164e
以前はUSの住所や銀行口座が必要などの厳しい条件
登録可能国増加により、学術研究におけるMTurkのデファクトスタ
ンダード化が一層進む可能性有
主な禁止事項(リクエスター)
ワーカーのプライバシー情報(メールアドレスや電話番号等)の収集
MTurkを悪用した広告活動
MTurkのサービスに危害を与える行動
アダルト資格を付けずにアダルトコンテンツを含むHITsを公開
- 19. 19
Copyright©2018 NTT corp. All Rights Reserved.
HITsには参加資格を設定するのが一般的
①System Qualifications(無料)・②Premium Qualifications(有料)・
③Masters(有料)の3種の資格
①と②は合わせて5つまで設定可能
学術研究における参加資格設定の例はp63~64に記載
参加資格の設定画面
2.2 参加資格の設定(1/7)
- 20. 20
Copyright©2018 NTT corp. All Rights Reserved.
① System Qualifications(設定無料)
ワーカーごとに自動的に算出される以下の3資格
1. HIT Approval Rate (%) for all Requesters’ HITs
ワーカーが過去に回答したHITsの承認率
新規登録ワーカーの初期値は100%
2. Location
ワーカーの居住国
国単位で設定。USのみ州単位での設定も可能
ワーカー登録時にワーカーが申請した居住地が初期値
3. Number of HITs approved
ワーカーが過去に回答したHITsの承認数
新規登録ワーカーの初期値は0
2.2 参加資格の設定(2/7)
- 21. 21
Copyright©2018 NTT corp. All Rights Reserved.
② Premium Qualifications(設定有料)
ワーカーが資格テストを受けることにより保持できる資格
特定のワーカーを対象にしたHITsの際に設定
10人以上を募集するHITsに設定可能
約130種(以下)
2.2 参加資格の設定(3/7)
Blogger: $0.25
Born 1918 to 1960 (Age 55 or older): $0.50
Born 1961 to 1971 (Age 45-55): $0.50
Born 1972 to 1981 (Age 35-45): $0.50
Born 1982 to 1986 (Age 30-35): $0.50
Born 1987 to 1991 (Age 25-30): $0.50
Born 1992 to 1999 (Age 18-25): $0.50
Borrower - Auto Loans: $0.40
Borrower - Business Loan: $0.40
Borrower - Credit Cards: $0.40
Borrower - Home Mortgage: $0.40
Borrower - Personal Loan: $0.40
Borrower - Student Loan: $0.40
Car Owner: $0.25
Current Residence - Owned: $0.40
Current Residence - Rented: $0.40
Daily Internet Usage - 1 to 4 hours: $0.30
Daily Internet Usage - 5 to 7 hours: $0.30
Daily Internet Usage - 7+ hours: $0.30
Employment Industry - Banking & Financial
Services: $0.40
Employment Industry - Education: $0.40
Employment Industry - Food & Beverage: $0.40
Employment Industry - Government & Non-Profit:
$0.40
Employment Industry - Healthcare: $0.40
Premium Qualificationsの種類と1ワーカーあたりの追加手数料
21
- 22. 22
Copyright©2018 NTT corp. All Rights Reserved.
Financial Asset Owned - Exchange-Traded Fund
(ETF): $0.40
Financial Asset Owned - Money Market Account:
$0.40
Financial Asset Owned - Mutual Funds: $0.40
Financial Asset Owned - Real Estate Investment
Trusts (REITs): $0.40
Financial Asset Owned - Savings Account: $0.40
Financial Asset Owned - Stock Options: $0.40
Financial Asset Owned - U.S. Treasury
Bills/Government Debt: $0.40
Gender - Female: $0.50
Gender - Male: $0.50
Google Account Holder: $0.05
Handedness - Left: $0.15
Handedness - Right: $0.15
Household Income - $100,000 or more: $0.50
Household Income - $25,000 - $49,999: $0.50
Household Income - $50,000 - $74,999: $0.50
Household Income - $75,000 - $99,999: $0.50
Household Income - Less than $25,000: $0.50
Insurance Policyholder - Auto Insurance: $0.40
Insurance Policyholder - Healthcare Insurance:
$0.40
Insurance Policyholder - Life Insurance: $0.40
Employment Industry - Manufacturing: $0.40
Employment Industry - Media &
Entertainment: $0.40
Employment Industry - Retail, Wholesale &
Distribution: $0.40
Employment Industry - Software & IT
Services: $0.40
Employment Sector - Non-Profit: $0.30
Employment Status - Full time (35+ hours per
week): $0.35
Employment Status - Part time (1-34 hours
per week): $0.35
Employment Status - Unemployed: $0.35
Exercise - Every Day: $0.30
Exercise - Four Plus Times a Week: $0.30
Exercise - Not at All: $0.30
Exercise - Once a Week: $0.30
Exercise - Two to Three Times a Week: $0.30
Facebook Account Holder: $0.05
Financial Asset Owned - Certificate of Deposit
(CD): $0.40
Financial Asset Owned - Checking Account:
$0.40
Financial Asset Owned - Common Share
Stocks: $0.40
2.2 参加資格の設定(4/7)
Premium Qualificationsの種類と1ワーカーあたりの追加手数料
22
- 23. 23
Copyright©2018 NTT corp. All Rights Reserved.
Online Purchase - Automotive Products: $0.40
Online Purchase - Baby & Kids: $0.40
Online Purchase - Books: $0.40
Online Purchase - Clothing & Shoes: $0.40
Online Purchase - Electronics & Computers: $0.40
Online Purchase - Groceries & Food: $0.40
Online Purchase - Handmade Products: $0.40
Online Purchase - Health & Beauty: $0.40
Online Purchase - Home & Garden: $0.40
Online Purchase - Jewelry: $0.40
Online Purchase - Movies: $0.40
Online Purchase - Music: $0.40
Online Purchase - Sports & Outdoor Equipment:
$0.40
Online Purchase - Toys: $0.40
Online Purchase - Videogames: $0.40
Parenthood Status: $0.50
Pinterest Account Holder: $0.05
Primary Internet Device - Desktop: $0.40
Primary Internet Device - Laptop: $0.40
Primary Internet Device - Smartphone or Tablet: $0.40
Primary Mobile Device - Android: $0.50
Primary Mobile Device - iPhone: $0.50
Primary News Source - Online News (News Websites,
News Apps): $0.30
Insurance Policyholder - Renters Insurance:
$0.40
Job Function - Accounting & Finance: $0.40
Job Function - Administrative: $0.40
Job Function - Arts & Design: $0.40
Job Function - Education & Training: $0.40
Job Function - Engineering: $0.40
Job Function - Information Technology: $0.40
Job Function - Management: $0.40
Job Function - Marketing, Sales & Business
Development: $0.40
Job Function - Operations: $0.40
Language Fluency (Basic) - Brazilian
Portuguese: $1.00
Language Fluency (Basic) - Chinese Mandarin:
$1.00
Language Fluency (Basic) - French: $1.00
Language Fluency (Basic) - German: $1.00
Language Fluency (Basic) - Spanish: $1.00
LinkedIn Account Holder: $0.05
Marital Status - Divorced: $0.50
Marital Status - Married: $0.50
Marital Status - Single: $0.50
Military experience: $0.30
Myspace Account Holder: $0.05
2.2 参加資格の設定(5/7)
Premium Qualificationsの種類と1ワーカーあたりの追加手数料
23
- 24. 24
Copyright©2018 NTT corp. All Rights Reserved.
Tumblr Account Holder: $0.05
Twitter Account Holder: $0.05
US Bachelor's Degree: $0.50
US Graduate Degree: $0.65
US High School Graduate: $0.05
US Political Affiliation - Conservative: $0.40
US Political Affiliation - Liberal: $0.40
Vacation Frequency - Every Few Years: $0.30
Vacation Frequency - Every Month: $0.30
Vacation Frequency - Every Quarter: $0.30
Vacation Frequency - Every Year: $0.30
Vacation Frequency - Never: $0.30
Voted in 2012 US Presidential Election: $0.10
Voted in 2016 US Presidential Election: $0.10
YouTube Account Holder: $0.05
Primary News Source - Podcasts: $0.30
Primary News Source - Print (Newspapers &
Periodicals): $0.30
Primary News Source - Radio (AM/FM, Internet,
Satellite): $0.30
Primary News Source - Social Media: $0.30
Primary News Source - TV (Late Night Comedy,
Other): $0.30
Primary News Source - TV (Local/Cable News
Broadcast): $0.30
Primary News Source - Word of Mouth: $0.30
Reddit Account Holder: $0.05
Single Family Home Resident: $0.30
Smoker: $0.30
Tablet Owner: $0.20
2.2 参加資格の設定(6/7)
Premium Qualificationsの種類と1ワーカーあたりの追加手数料
- 25. 25
Copyright©2018 NTT corp. All Rights Reserved.
③ Masters(設定有料)
Masterとは特に質の高い回答を行うと認定されたワーカー
Mastersに限定して募集をかけることができる(追加手数料として
報酬の5%)
2.2 参加資格の設定(7/7)
Amazon Mechanical Turk (MTurk) has built technology which analyzes
Worker performance, identifies high performing Workers, and
monitors their performance over time. Workers who have
demonstrated excellence across a wide range of HITs are awarded the
Masters Qualification. Masters must continue to pass our statistical
monitoring to maintain the MTurk Masters Qualification.
- 26. 26
Copyright©2018 NTT corp. All Rights Reserved.
HITs公開にかかるコスト =
募集人数
料ワーカーあたりの手数+額ワーカーあたりの報酬
11
2.3 利用料金(1/4)
① ②
① $0.01以上でリクエスターが設定
② 基本手数料と参加資格設定手数料の合計
1ワーカーあたりの基本手数料
募集人数9人以下の場合 ⇒ ワーカーへの報酬額の20%
募集人数10人以上の場合 ⇒ ワーカーへの報酬額の40%
上記の額が$0.01以下の場合 ⇒ $0.01
1ワーカーあたりの参加資格設定手数料
Premium Qualifications ⇒ p21~24に記載の個別料金
Masters ⇒ 報酬額の5%
節約のために、同一のHITsを募集
人数9人以下に分割して複数回公
開するリクエスターも多い
- 27. 27
Copyright©2018 NTT corp. All Rights Reserved.
(1) 1ワーカーあたり$0.1の報酬で3人募集
1ワーカーあたりの手数料=$0.10×0.2=$0.02 > $0.01
利用料金=($0.1+$0.02)×3=$0.36
(2) 1ワーカーあたり$0.1の報酬で30人募集
1ワーカーあたりのMTurk手数料=$0.10×0.4=$0.04 > $0.01
利用料金=($0.1+$0.04)×30=$4.20
(3) 1ワーカーあたり$0.01の報酬で3人募集
1ワーカーあたりのMTurk手数料=$0.01×0.2=$0.002 < $0.01
利用料金=($0.01+$0.01)×3=$0.06
<例>
2.3 利用料金(2/4)
- 28. 28
Copyright©2018 NTT corp. All Rights Reserved.
(4) 1ワーカーあたり$0.08の報酬で30人募集
1ワーカーあたりのMTurk手数料=$0.08×0.4=$0.032 > $0.01
利用料金=($0.08+$0.03)×30=$3.30
(5) 1ワーカーあたり$0.01の報酬でPremium資格者(Facebook Account Holder)
を10人募集
1ワーカーあたりのMTurk基本手数料=$0.01×0.4=$0.004 < $0.01
1ワーカーあたりの資格設定手数料=$0.05
利用料金=($0.01+$0.01+$0.05)×10=$0.70
Facebook Account Holder: $0.05
2.3 利用料金(3/4)
- 29. 29
Copyright©2018 NTT corp. All Rights Reserved.
(参考)プリペイドしたお金の返金
システム上での自動返金の仕組みはなく、カスタマーサポート(mturk-
requester-support@amazon.com)への連絡が必要
カスタマーサポートに連絡してから5営業日ほどで、プリペイドに用い
たクレジットカード/デビットカードに返金
リクエスターとしての利用はプリペイド式
クレジットカード/デビットカード払い
一気にチャージしても良いし、HITs公開の都度プリペイドしても
良い
HITs公開時には、募集人数分全て回答が集まると仮定した利用料
金の最高額をプリペイドする必要有
2.3 利用料金(4/4)
- 30. 30
Copyright©2018 NTT corp. All Rights Reserved.
2.4 STEP1:リクエスター登録(1/4)
1. リクエスターホーム (https://requester.mturk.com/) >「create an account」から名
前・メールアドレス・住所・電話番号・勤務先を入力
2. メールアドレスに送られてくるコードを入力し登録完了
- 31. 31
Copyright©2018 NTT corp. All Rights Reserved.
3. プリペイドしておく(HITsの公開直前でも可)
残高
↑ここから支払い
マイアカウントページ(https://requester.mturk.com/account)
>「Purchase Prepaid HITs」>「Proceed to purchase」
2.4 STEP1:リクエスター登録(2/4)
- 34. 34
Copyright©2018 NTT corp. All Rights Reserved.
1. HITsの新規作成画面
リクエスターホーム (https://requester.mturk.com/) >「Create」>「New Project」
↑過去に作成したHITsを複製したいときはこっち
2.5 STEP2:HITs作成(1/14)
- 35. 35
Copyright©2018 NTT corp. All Rights Reserved.
16種類の雛形
• Survey Link
• Survey
• Tagging of an Image
• Moderation of an Image
• Choose image A or B
• Writing
• Collect data
• Collect data from a Website
• Transcription from A/V
• Transcription from a Receipt
• Transcription from an Image
• Sentiment Wizard
• Sentiment Project
• Sentiment of a Tweet
• Categorization Wizard
• Categorization Project
• Other
2. 作成するHITsのジャンル(フォーマットの雛形)を選択
HITsの雛形
を選択
2.5 STEP2:HITs作成(2/14)
- 36. 36
Copyright©2018 NTT corp. All Rights Reserved.
(参考)16種類の雛形
Survey Link - 外部の調査用サイトへ誘導 Survey Link – アンケート調査
Tagging of an Image – 画像へのタグ付け Moderation of an Image
– 不適切画像の選択
2.5 STEP2:HITs作成(3/14)
- 37. 37
Copyright©2018 NTT corp. All Rights Reserved.
Choose image A or B – 画像選択 Writing– 描写・要約
Collect data – データ収集 Collect data from a Website
– ウェブサイトの情報抽出
(参考)16種類の雛形
2.5 STEP2:HITs作成(4/14)
- 38. 38
Copyright©2018 NTT corp. All Rights Reserved.
Transcription from A/V
– 音声/動画の文字起こし
Transcription from a Receipt
– レシート画像の文字起こし
Transcription from an Image
– 画像の文字起こし
Sentiment Wizard
– リッカート尺度を用いた心理アンケート
(参考)16種類の雛形
2.5 STEP2:HITs作成(5/14)
- 39. 39
Copyright©2018 NTT corp. All Rights Reserved.
Sentiment Project – 感情分類 Sentiment of a Tweet
– ツイート内容の感情分類
Categorization Wizard – 画像分類 Categorization Project – 画像分類
(参考)16種類の雛形
2.5 STEP2:HITs作成(6/14)
- 40. 40
Copyright©2018 NTT corp. All Rights Reserved.
2’. HITsの雛形として今回は「Survey」を選択し「Create Project」に進む
選択肢から1つ選択
(ラジオボタン)
自由記述
選択肢から1つ選択(プルダウン)
選択肢から複数選択可
今回は
これを
選択
2.5 STEP2:HITs作成(7/14)
- 42. 42
Copyright©2018 NTT corp. All Rights Reserved.
2.5 STEP2:HITs作成(9/14)
入力項目
・HITsのタイトル
・HITsの説明文
・キーワード
・報酬額
・募集数
・想定所要時間
・募集期限
・自動承認開始期間 ※1
・マスター資格の必要有無
・参加資格(5つまで)
・アダルトコンテンツの有無
・公開範囲 ※2
※1:ワーカーが回答してから回答が自動承認されるまでの日数
※2:
Public … 参加資格の有無に関わらず全ワーカーに基本情報からプレビューまで全て公開
Private … 参加資格が無いワーカーには基本情報のみ、参加資格が有るワーカーにはプレ
ビューまで公開
Hidden … 参加資格が有るワーカーのみにプレビューまで公開
- 43. 43
Copyright©2018 NTT corp. All Rights Reserved.
4. 「Edit Project」>「②Design Layout」で雛形をもとにHITsをデザイン
これらを駆使して雛形をベタ打ちで編集するか、
2.5 STEP2:HITs作成(10/14)
- 44. 44
Copyright©2018 NTT corp. All Rights Reserved.
4. 「Edit Project」>「②Design Layout」で雛形をもとにHITsをデザイン
2.5 STEP2:HITs作成(11/14)
「ソース」を押して
HTMLを編集
←この1行を挿入
すると
- 45. 45
Copyright©2018 NTT corp. All Rights Reserved.
4. 「Edit Project」>「②Design Layout」で雛形をもとにHITsをデザイン
2.5 STEP2:HITs作成(12/14)
挿入前 挿入後
- 46. 46
Copyright©2018 NTT corp. All Rights Reserved.
4. 「Edit Project」>「③Preview and Finish」でデザインしたHITsの確認・保存
問題なければ「Finish」を押して保存
修正が必要なら「①Enter Properties」や「②Design Layout」に戻って編集
プレビュー
2.5 STEP2:ITs作成(13/14)
- 47. 47
Copyright©2018 NTT corp. All Rights Reserved.
5. リクエスターホーム > 「Create」> 「New Batch with an Existing Project」
保存されたHITsを選択して「Publish Batch」
最終確認が表示されるので問題なければ「Publish」を押す ⇒ HITs公開開始
※プリペイドのチャージ金額が足りていない場合、支払い画面が表示される
保存されたHITsを選択
2.5 STEP2:HITs作成(14/14)
- 48. 48
Copyright©2018 NTT corp. All Rights Reserved.
1. リクエスターホーム (https://requester.mturk.com/) >「Manage」>「Results」で
公開したHITsのステータス一覧を確認
回答募集中のHITs
回答が全て集まったHITs 回答結果
(次頁)
タイトル
タイトル
回答状況
2.6 STEP3:結果の閲覧(1/4)
- 49. 49
Copyright©2018 NTT corp. All Rights Reserved.
2. 各HITsの「Results」を選択し、回答結果の詳細を確認
タイトル
回答したワーカー
のID
回答結果
(質問1,2,3…)
回答結果を
CSV形式で
ダウンロード
2.6 STEP3:結果の閲覧(2/4)
- 51. 51
Copyright©2018 NTT corp. All Rights Reserved.
4. 平均回答時間の確認とデータ除去(「Filter Results」)
タイトル
(例)平均回答時間は46秒
(例)回答時間が18秒以下ワーカー
のデータを除去できる
2.6 STEP3:結果の閲覧(4/4)
- 52. 52
Copyright©2018 NTT corp. All Rights Reserved.
2.7 Tips(1/10)
Tips
① ページ上位に自身のHITsを表示させる
② タイトルに所要時間を記載
③ 無効回答データを削除
④ 参加資格に居住国を設定
⑤ Premium Qualificationsの設定は慎重に
⑥ 回答者と母集団のデモグラフィーを比較
⑦ パイロットスタディは必須
- 53. 53
Copyright©2018 NTT corp. All Rights Reserved.
2.7 Tips(2/10)
① ページ上位に自身のHITsを表示させる
MTurkでは公開されるHITsの数が非常に多いため、自身のHITsを
より多くのワーカーの目に留まらせるための一工夫が必要
ワーカーから見たHITs表示画面(デフォルト)
全部で1000件近くのHITsがあるため
自身のHITsが埋もれてしまいがち
- 54. 54
Copyright©2018 NTT corp. All Rights Reserved.
2.7 Tips(3/10)
デフォルトは
募集人数順
報酬
額順 新着順
デフォルトは募集人数が多い順 ⇒ 募集人数を増やすのが手っ取り
早い(費用がかさむ)
多くの(または目的の)ワーカーがMTurkを閲覧する時刻に新着順
で上に表示されるよう、ベストなタイミングで公開
(例)多くのワーカーがMTurkを閲覧する休日日中(アメリカ時間)に
公開
(例)主婦が対象のHITsの場合、平日日中(アメリカ時間)に公開
- 55. 55
Copyright©2018 NTT corp. All Rights Reserved.
2.7 Tips(4/10)
② タイトルに所要時間を記載
HITs一覧表示の画面には所要時間の記載がない
タイトルに所要時間や、簡単な作業であることを表す単語
(short,easy等)を記載すると、閲覧数が増える傾向有
所要時間の欄がない
- 57. 57
Copyright©2018 NTT corp. All Rights Reserved.
2.7 Tips(6/10)
③ 無効回答データを削除
説明文をしっかりと読まずに適当に回答するワーカーが存在する可
能性を捨てきれない
これらの無効回答を削除して質の高い回答データを作る
削除方法1:IMCの導入(次頁)
削除方法2:回答時間が短いワーカーを削除(p51)
削除方法3:いつも一番上の選択肢を選択しているワーカーを削除
適当に回答するワーカーを減らすためにも、全ての質問を選択式に
せず自由記述も盛り込む
質の低い回答をすると判断したワーカーをブロックし、次回以降の
HITsへの参加を阻止(ブロック機能)
- 58. 58
Copyright©2018 NTT corp. All Rights Reserved.
2.7 Tips(7/10)
Instructional manipulation check(IMC) (Oppenheimer et al., 2009)
IMCの例
長い説明文の中には「これはあなたが説明文をきちんと読んでいるか確認するための設問です。
選択肢から何も選択せずに次の設問に進んでください。」と書かれている。
⇒ 選択していた回答者の回答を削除
- 59. 59
Copyright©2018 NTT corp. All Rights Reserved.
2.7 Tips(8/10)
④ 参加資格に居住国を設定
190ヶ国以上のワーカーが登録(MTurkの公式発表)
しかし割合としてはUS在住のワーカーが全体の約75%、インド在住
のワーカーが約20%を占めるとの調査結果
HITsの参加資格に居住国を設定せずにUTC22時(NY17時・インド4
時)に公開⇒回答者ほぼ全員がUS在住のワーカー
UTC9時(NY4時・インド15時)に公開⇒US在住のワーカーの割合は5
割まで低下
「参加者はUS在住のワーカーに限定した」とする学術研究が非常に
多い
http://www.behind-the-enemy-lines.com/2015/04/demographics-of-mechanical-turk-
now.html
- 60. 60
Copyright©2018 NTT corp. All Rights Reserved.
2.7 Tips(9/10)
⑤ Premium Qualificationsの設定は慎重に
Premium Qualificationsを設定すべきか否かについては議論が多い
ワーカーが受ける資格テストの質を疑問視する声も
Premium Qualificationsは設定せずに自身で参加資格調査を実施
(HITsの中に参加資格の有無を問う質問を入れる)するのが良いとの意
見もある
(参考) Premium qualifications - Is it worth it?
https://www.reddit.com/r/mturk/comments/7b9qpl/premium_qualifications_is
_it_worth_it/
- 61. 61
Copyright©2018 NTT corp. All Rights Reserved.
2.7 Tips(10/10)
⑥ 回答者と母集団のデモグラフィーを比較
回答者のデモグラフィーと、研究対象の母集団のデモグラフィーが
概ね一致していることを確認する必要有
回答者の属性(性別・年代・職業etc…)を問う設問を必ず加える
母集団のデモグラフィーは例えば以下のサイトなどを参照
USにおけるインターネットユーザのデモグラフィー
http://www.pewinternet.org/fact-sheet/internet-broadband/
⑦ パイロットスタディは必須
実際に募集してみると、設問意図とは異なる回答が返ってくること
も多い
まずは少人数で募集してパイロットスタディを行い、説明文や各設
問内容が適切であるか確認
パイロットスタディの結果に問題がなければ本調査を実施
- 62. 62
Copyright©2018 NTT corp. All Rights Reserved.
◆Panos Ipeirotis先生(NewYork大学)のブログ http://www.behind-the-enemy-lines.com/
- MTurkに関する記事が多数
- MTurkに関する論文を多数執筆 ⇒ http://www.ipeirotis.com/publications/
◆金岡先生(東邦大学)の発表資料 https://www.slideshare.net/akirakanaoka/usable-security-privacy
- 『Usable Security & Privacy研究での クラウドソーシング利用の現状』(第23回セキュリティ心理学と
トラスト合同研究発表会 企画セッション)
- 事例紹介・利用状況など(セキュリティ分野)
◆RedditのMTurkスレッド https://www.reddit.com/r/mturk/
- MTurkに関するQ&Aが盛んに投稿されている
◆伊藤言さん(東京大学)のブログ記事 http://genito.net/?p=652
-『オンラインでの実験参加者調達/実験や調査を可能にするために – Amazon Mechanical Turkやその他
ソフトウェアについて』
◆MTurkコミュニティのサイト http://www.mturkgrind.com/ や https://www.mturkcrowd.com/ 等
◆TurkPrime https://www.turkprime.com/
- MTurkのツールキットや統計情報を提供
(参考)関連サイト
- 63. 63
Copyright©2018 NTT corp. All Rights Reserved.
(参考)SOUPS2017採択論文におけるMTurk利用の詳細(1/2)
タイトル Diversify to Survive: Making Passwords Stronger with Adaptive Policies
調査内容 12種のパスワードポリシの下で参加者にパスワードを設定してもらい、生成され
たパスワードの強度を調査
参加人数 2619人
参加資格 18歳以上、US在住
報酬 ー
タイトル “better to use a lock screen than to worry about saving a few seconds of
time”…
調査内容 参加者にスマホのスクリーンロックをかけないリスクを説明するビデオを見せ、
視聴前後での行動や意識の変化を調査
参加人数 228人
参加資格 18歳以上、US在住、1000以上のHITsの経験有り、HITsの承認率95%以上、
Androidスマホを持っている、スマホにスクリーンロックをかけたことがない
報酬 $2.5~$3.5
- 64. 64
Copyright©2018 NTT corp. All Rights Reserved.
(参考)SOUPS2017採択論文におけるMTurk利用の詳細(2/2)
タイトル Impact of User Characteristics on Attitudes Towards Automatic Mobile
Application Updates
調査内容 スマホアプリの自動アップデートに関するアンケート(15分程度)
参加人数 477人
参加資格 18歳以上、US在住、HITsの承認率95%以上、メインスマホがAndroid、Play
Storeを1ヶ月以上使ったことがある
報酬 $2.5
タイトル Can We Fight Social Engineering Attacks By Social Means? Assessing
Social Salience as a Means to Improve Phish Detection
調査内容 18通の受信メール(うち6通がフィッシングメール)を見せ、フィッシングメール
か正規のメールか判定してもらう
参加人数 279人
参加資格 18歳以上、HITsの承認数50以上、モバイルデバイスからの参加でない、英語に
問題がない(英語のメールを問題なく読める)
報酬 $0.45