Suche senden
Hochladen
Amazon s3へのデータ転送における課題とその対処法を一挙紹介
•
5 gefällt mir
•
7,555 views
T
Tetsunori Nishizawa
Folgen
Amazon s3へのデータ転送における課題とその対処法を一挙紹介
Weniger lesen
Mehr lesen
Technologie
Diashow-Anzeige
Melden
Teilen
Diashow-Anzeige
Melden
Teilen
1 von 27
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
Amazon Web Services Japan
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
Amazon Web Services Japan
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
Amazon Web Services Japan
20190806 AWS Black Belt Online Seminar AWS Glue
20190806 AWS Black Belt Online Seminar AWS Glue
Amazon Web Services Japan
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
Amazon Web Services Japan
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
Amazon Web Services Japan
Empfohlen
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
Amazon Web Services Japan
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
Amazon Web Services Japan
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
Amazon Web Services Japan
20190806 AWS Black Belt Online Seminar AWS Glue
20190806 AWS Black Belt Online Seminar AWS Glue
Amazon Web Services Japan
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
Amazon Web Services Japan
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
Amazon Web Services Japan
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
Amazon Web Services Japan
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
Amazon Web Services Japan
はじめての datadog
はじめての datadog
Naoya Nakazawa
AWS Black Belt Online Seminar Amazon Aurora
AWS Black Belt Online Seminar Amazon Aurora
Amazon Web Services Japan
20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes
Amazon Web Services Japan
20191001 AWS Black Belt Online Seminar AWS Lake Formation
20191001 AWS Black Belt Online Seminar AWS Lake Formation
Amazon Web Services Japan
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
Amazon Web Services Japan
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Web Services Japan
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
Amazon Web Services Japan
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
Amazon Web Services Japan
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
NTT Communications Technology Development
IAM Roles Anywhereのない世界とある世界(2022年のAWSアップデートを振り返ろう ~Season 4~ 発表資料)
IAM Roles Anywhereのない世界とある世界(2022年のAWSアップデートを振り返ろう ~Season 4~ 発表資料)
NTT DATA Technology & Innovation
The Twelve-Factor Appで考えるAWSのサービス開発
The Twelve-Factor Appで考えるAWSのサービス開発
Amazon Web Services Japan
OpenAPI 3.0でmicroserviceのAPI定義を試みてハマった話
OpenAPI 3.0でmicroserviceのAPI定義を試みてハマった話
Daichi Koike
20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway
Amazon Web Services Japan
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
Amazon Web Services Japan
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
Amazon Web Services Japan
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
AWS Black Belt Online Seminar Amazon Redshift
AWS Black Belt Online Seminar Amazon Redshift
Amazon Web Services Japan
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
Tetsunori Nishizawa
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
Tetsunori Nishizawa
Weitere ähnliche Inhalte
Was ist angesagt?
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
Amazon Web Services Japan
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
Amazon Web Services Japan
はじめての datadog
はじめての datadog
Naoya Nakazawa
AWS Black Belt Online Seminar Amazon Aurora
AWS Black Belt Online Seminar Amazon Aurora
Amazon Web Services Japan
20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes
Amazon Web Services Japan
20191001 AWS Black Belt Online Seminar AWS Lake Formation
20191001 AWS Black Belt Online Seminar AWS Lake Formation
Amazon Web Services Japan
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
Amazon Web Services Japan
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Web Services Japan
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
Amazon Web Services Japan
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
Amazon Web Services Japan
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
NTT Communications Technology Development
IAM Roles Anywhereのない世界とある世界(2022年のAWSアップデートを振り返ろう ~Season 4~ 発表資料)
IAM Roles Anywhereのない世界とある世界(2022年のAWSアップデートを振り返ろう ~Season 4~ 発表資料)
NTT DATA Technology & Innovation
The Twelve-Factor Appで考えるAWSのサービス開発
The Twelve-Factor Appで考えるAWSのサービス開発
Amazon Web Services Japan
OpenAPI 3.0でmicroserviceのAPI定義を試みてハマった話
OpenAPI 3.0でmicroserviceのAPI定義を試みてハマった話
Daichi Koike
20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway
Amazon Web Services Japan
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
Amazon Web Services Japan
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
Amazon Web Services Japan
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
AWS Black Belt Online Seminar Amazon Redshift
AWS Black Belt Online Seminar Amazon Redshift
Amazon Web Services Japan
Was ist angesagt?
(20)
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
はじめての datadog
はじめての datadog
AWS Black Belt Online Seminar Amazon Aurora
AWS Black Belt Online Seminar Amazon Aurora
20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes
20191001 AWS Black Belt Online Seminar AWS Lake Formation
20191001 AWS Black Belt Online Seminar AWS Lake Formation
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
IAM Roles Anywhereのない世界とある世界(2022年のAWSアップデートを振り返ろう ~Season 4~ 発表資料)
IAM Roles Anywhereのない世界とある世界(2022年のAWSアップデートを振り返ろう ~Season 4~ 発表資料)
The Twelve-Factor Appで考えるAWSのサービス開発
The Twelve-Factor Appで考えるAWSのサービス開発
OpenAPI 3.0でmicroserviceのAPI定義を試みてハマった話
OpenAPI 3.0でmicroserviceのAPI定義を試みてハマった話
20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
AWS Black Belt Online Seminar Amazon Redshift
AWS Black Belt Online Seminar Amazon Redshift
Ähnlich wie Amazon s3へのデータ転送における課題とその対処法を一挙紹介
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
Tetsunori Nishizawa
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
Tetsunori Nishizawa
Amazon WorkSpaces導入からはじめるスケーラブルなオフィス運営と、業務システムのクラウド移行
Amazon WorkSpaces導入からはじめるスケーラブルなオフィス運営と、業務システムのクラウド移行
Tetsunori Nishizawa
AWS Black Belt Online Seminar Antipattern
AWS Black Belt Online Seminar Antipattern
Amazon Web Services Japan
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Yasuhiro Araki, Ph.D
AWS Black Belt Online Seminar 2016 AWS CloudFormation
AWS Black Belt Online Seminar 2016 AWS CloudFormation
Amazon Web Services Japan
20140418 aws-casual-network
20140418 aws-casual-network
Yasuhiro Araki, Ph.D
広島Ruby勉強会#35プレゼン
広島Ruby勉強会#35プレゼン
Kakigi Katuyuki
AWS活用のいままでとこれから -東急ハンズの事例-
AWS活用のいままでとこれから -東急ハンズの事例-
Taiji INOUE
Awsでrailsアプリケーションサーバーを構築
Awsでrailsアプリケーションサーバーを構築
Kakigi Katuyuki
G tech2016 クラウド時代に必要とされる組織と人材育成について
G tech2016 クラウド時代に必要とされる組織と人材育成について
Trainocate Japan, Ltd.
20120323 cloudpacknight
20120323 cloudpacknight
Yasuhiro Horiuchi
AWS X-Ray @Akiba.aws LT大会 #14 番外編 AWS Update LT大会
AWS X-Ray @Akiba.aws LT大会 #14 番外編 AWS Update LT大会
Taewoo Kim
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
Yasuhiro Horiuchi
成長していくサービスとAWS
成長していくサービスとAWS
Mitsuharu Hamba
インフラ系自主トレするならAWS
インフラ系自主トレするならAWS
Yasuhiro Araki, Ph.D
Redisへと至る、gumiデータストアの歴史
Redisへと至る、gumiデータストアの歴史
知教 本間
AWS Black Belt Online Seminar 2017 Amazon EC2 Systems Manager
AWS Black Belt Online Seminar 2017 Amazon EC2 Systems Manager
Amazon Web Services Japan
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
Serverworks Co.,Ltd.
[AWS Summit 2012] Intel presents ランチセッション 今更聞けないAWSクラウド入門
[AWS Summit 2012] Intel presents ランチセッション 今更聞けないAWSクラウド入門
Amazon Web Services Japan
Ähnlich wie Amazon s3へのデータ転送における課題とその対処法を一挙紹介
(20)
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
Amazon WorkSpaces導入からはじめるスケーラブルなオフィス運営と、業務システムのクラウド移行
Amazon WorkSpaces導入からはじめるスケーラブルなオフィス運営と、業務システムのクラウド移行
AWS Black Belt Online Seminar Antipattern
AWS Black Belt Online Seminar Antipattern
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
AWS Black Belt Online Seminar 2016 AWS CloudFormation
AWS Black Belt Online Seminar 2016 AWS CloudFormation
20140418 aws-casual-network
20140418 aws-casual-network
広島Ruby勉強会#35プレゼン
広島Ruby勉強会#35プレゼン
AWS活用のいままでとこれから -東急ハンズの事例-
AWS活用のいままでとこれから -東急ハンズの事例-
Awsでrailsアプリケーションサーバーを構築
Awsでrailsアプリケーションサーバーを構築
G tech2016 クラウド時代に必要とされる組織と人材育成について
G tech2016 クラウド時代に必要とされる組織と人材育成について
20120323 cloudpacknight
20120323 cloudpacknight
AWS X-Ray @Akiba.aws LT大会 #14 番外編 AWS Update LT大会
AWS X-Ray @Akiba.aws LT大会 #14 番外編 AWS Update LT大会
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
成長していくサービスとAWS
成長していくサービスとAWS
インフラ系自主トレするならAWS
インフラ系自主トレするならAWS
Redisへと至る、gumiデータストアの歴史
Redisへと至る、gumiデータストアの歴史
AWS Black Belt Online Seminar 2017 Amazon EC2 Systems Manager
AWS Black Belt Online Seminar 2017 Amazon EC2 Systems Manager
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
[AWS Summit 2012] Intel presents ランチセッション 今更聞けないAWSクラウド入門
[AWS Summit 2012] Intel presents ランチセッション 今更聞けないAWSクラウド入門
Kürzlich hochgeladen
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Kürzlich hochgeladen
(11)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Amazon s3へのデータ転送における課題とその対処法を一挙紹介
1.
Amazon S3へのデータ転送における 課題とその対処法を⼀挙紹介 2017.08.25 クラスメソッド株式会社 AWS事業部 にしざわ
2.
⾃⼰紹介 2 ⻄澤 徹訓 •
クラスメソッド株式会社 • AWS事業部 • アーキテクトグループ所属 • 2015年8⽉⼊社 • インフラ、エンプラ寄り • 最近は若者育成に⼒を⼊れて います
3.
好きなAWSサービス 3 特集カテゴリー ブログ登場回数 AWS-CLI
23 EC2 22 RDS 17 S3 15 Directory Service 11 Windows 11 Database Migration Service 9 IAM 8
4.
クラスメソッドとは︖ 4 AWSとビッグデータと スマホアプリとブログの 会社です。
5.
クラスメソッドとは(今⽇の趣旨と合ってます︖) 5 •Web系? •B to
C ではなく B to B •Webサービスは提供していない •社⾵はWeb系企業寄りかも
6.
クラスメソッドとは(今⽇の趣旨と合ってます︖︖) 6 •ベンチャー︖ •ベンチャーってわけでもない •新しい技術は好き •Alexaなんかもやってます
7.
クラスメソッドとは(今⽇の趣旨と合ってます︖︖︖) 7 •AWS利⽤事例? •AWS利⽤事例ならいくらでも︕
8.
本題 8 S3へのデータ転送で 困ったことはないですか︖
9.
Central StorageとしてのS3 9
10.
分析するにしても 10 まずはS3にデータを 持っていかないといけない
11.
今⽇のテーマ 11 S3への転送パターンを 可能な限り紹介します
12.
S3へのデータ転送︓ケース1 12 【ケース1】 たくさんのファイルを まとめてS3に転送したい
13.
• とにかくAWS CLIが便利︕︕︕ •
直感的なコマンド(ls/cp/mv/rm) • syncで同期 • 分割アップロードや並列数も設定可能 S3へのデータ転送︓ケース1への対処 13 http://docs.aws.amazon.com/cli/latest/reference/s3/index.html
14.
AWS CLIのS3オプション 14 •
s3オプション • max_concurrent_requests • max_queue_size • multipart_threshold • multipart_chunksize http://docs.aws.amazon.com/cli/latest/topic/s3-config.html
15.
S3へのデータ転送︓ケース2 15 【ケース2】 海外リージョンにあるS3バケットに ファイルを転送したい
16.
• S3 Transfer
Acceleration • 地理的に近いエッジロケーションを経由して からアップロードが可能 S3へのデータ転送︓ケース2への対処① 16 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/transfer-acceleration.html
17.
• クロスリージョンレプリケーション • 近くのS3バケットに配置してレプリケーショ ンするという⽅法もあり S3へのデータ転送︓ケース2への対処②
17 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/crr.html
18.
S3へのデータ転送︓ケース3 18 【ケース3】 転送スループットを上げたい
19.
• udp転送ツールを検討 • オーバヘッドが無いudpで •
Tsunami UDP • CloudDat(旧ExpeDat) S3へのデータ転送︓ケース3への対処 19 http://aws.typepad.com/sajp/2015/03/expedat.html
20.
S3へのデータ転送︓ケース4 20 【ケース4】 閉域網からファイル転送したい
21.
• S3エンドポイントを利⽤ • VPC内のEC2を経由する S3へのデータ転送︓ケース4への対処
21
22.
S3へのデータ転送︓ケース5 22 【ケース5】 クライアント側で使える プロトコルが限定されている
23.
• EC2で受けて何とかする • FTP/SFTPなど要件に合わせてEC2を⽤意 •
lsyncdやFileGatewayで同期 S3へのデータ転送︓ケース5への対処 23
24.
S3へのデータ転送︓ケース6 24 【ケース6】 EBSは使いたくない
25.
• FUSE • s3fs-use、goofysがハマるケースも •
使い⽅には要注意 S3へのデータ転送︓ケース6への対処 25
26.
ついに来ました︕ 26
27.
最後に 27 •情報発信/情報交換することで、AWS 好きが増え、元気になるエンジニアが 少しでも増えていったら嬉しいです。 •ありがとうございました︕︕︕
Jetzt herunterladen