20161221 FindSpark（市ヶ谷GeekNightでのLT）

•

0 gefällt mir•1,313 views

Ryuji Tamagawa

PythonからSparkを簡単に使えるライブラリFindSparkの紹介。中身薄いです(^^;

Technologie

ﬁndSpark
https://github.com/minrk/
ﬁndspark

pip install ﬁndspark
SPARK_HOME
import ﬁndspark
ﬁndspark.init()
from pyspark.sql import SparkSession
spark = SparkSession
.builder.
.appName('myApp').
.getOrCreate()

Empfohlen

Spark SecurityYifeng Jiang

Spark GraphX で始めるグラフ解析Yosuke Mizutani

Apache Sparkにおけるメモリ - アプリケーションを落とさないメモリ設計手法 -Yoshiyasu SAEKI

Spark MLlibでリコメンドエンジンを作った話Koki Shibata

一歩前に進めるWeb開発のスパイス（仙台Geek★Night #1）株式会社オプト　仙台ラボラトリ

Webアプリ開発のトレンドとUIライブラリ開発事情（仙台Geek★Night #1）masakazusegawa

複数拠点における開発効率の維持・向上infinite_loop

Fine-Grained Security for Spark and HiveDataWorks Summit/Hadoop Summit

Empfohlen

Spark SecurityYifeng Jiang

Spark GraphX で始めるグラフ解析Yosuke Mizutani

Apache Sparkにおけるメモリ - アプリケーションを落とさないメモリ設計手法 -Yoshiyasu SAEKI

Spark MLlibでリコメンドエンジンを作った話Koki Shibata

一歩前に進めるWeb開発のスパイス（仙台Geek★Night #1）株式会社オプト　仙台ラボラトリ

Webアプリ開発のトレンドとUIライブラリ開発事情（仙台Geek★Night #1）masakazusegawa

複数拠点における開発効率の維持・向上infinite_loop

Fine-Grained Security for Spark and HiveDataWorks Summit/Hadoop Summit

Type-safe front-end development with Scalatakezoe

1年くらいScalaプロジェクトに関わった結果 #ichigayageekMichihito Shigemura

Scala on gaeMasaki Toyoshima

中島裕介「最強のリベラルアーツとしての短歌Ⅱ」（於・大阪大学）2日目　2015年12月4日 yukashima

中島裕介「最強のリベラルアーツとしての短歌Ⅱ」（於・大阪大学）1日目　2015年11月27日 yukashima

丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみましたRyuji Tamagawa

lessons learned from talking at rakuten technology conferenceRyuji Tamagawa

ヘルシープログラマ・翻訳と実践Ryuji Tamagawa

20161215 python pandas-spark四方山話Ryuji Tamagawa

Google Big QueryRyuji Tamagawa

You might be paying too much for BigQueryRyuji Tamagawa

Mongo dbを知ろう devlove関西Ryuji Tamagawa

仕様をコードに落としこむ際気をつけたいことMasaki Toyoshima

Securing Spark ApplicationsDataWorks Summit/Hadoop Summit

Google BigQueryについて紹介と推測Ryuji Tamagawa

Amazon Work Spaces Application ManagerGenta Watanabe

東ラるう（カラー）2012Ayako Ruu

Sentryを利用したエラー集約プラットフォームweddingpark

TechBuzz第5回cocos2d-x勉強会 BrainWars発表資料Takuma Kudo

au女子会♪infobar a02体験会20130221Hiromi Itou

20171012 found IT #9 PySparkの勘所Ryuji Tamagawa

20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所Ryuji Tamagawa

Weitere ähnliche Inhalte

Andere mochten auch

Type-safe front-end development with Scalatakezoe

1年くらいScalaプロジェクトに関わった結果 #ichigayageekMichihito Shigemura

Scala on gaeMasaki Toyoshima

中島裕介「最強のリベラルアーツとしての短歌Ⅱ」（於・大阪大学）2日目　2015年12月4日 yukashima

中島裕介「最強のリベラルアーツとしての短歌Ⅱ」（於・大阪大学）1日目　2015年11月27日 yukashima

丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみましたRyuji Tamagawa

lessons learned from talking at rakuten technology conferenceRyuji Tamagawa

ヘルシープログラマ・翻訳と実践Ryuji Tamagawa

20161215 python pandas-spark四方山話Ryuji Tamagawa

Google Big QueryRyuji Tamagawa

You might be paying too much for BigQueryRyuji Tamagawa

Mongo dbを知ろう devlove関西Ryuji Tamagawa

仕様をコードに落としこむ際気をつけたいことMasaki Toyoshima

Securing Spark ApplicationsDataWorks Summit/Hadoop Summit

Google BigQueryについて紹介と推測Ryuji Tamagawa

Amazon Work Spaces Application ManagerGenta Watanabe

東ラるう（カラー）2012Ayako Ruu

Sentryを利用したエラー集約プラットフォームweddingpark

TechBuzz第5回cocos2d-x勉強会 BrainWars発表資料Takuma Kudo

au女子会♪infobar a02体験会20130221Hiromi Itou

Andere mochten auch (20)

Type-safe front-end development with Scala

1年くらいScalaプロジェクトに関わった結果 #ichigayageek

Scala on gae

中島裕介「最強のリベラルアーツとしての短歌Ⅱ」（於・大阪大学）2日目　2015年12月4日

中島裕介「最強のリベラルアーツとしての短歌Ⅱ」（於・大阪大学）1日目　2015年11月27日

丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました

lessons learned from talking at rakuten technology conference

ヘルシープログラマ・翻訳と実践

20161215 python pandas-spark四方山話

Google Big Query

You might be paying too much for BigQuery

Mongo dbを知ろう devlove関西

仕様をコードに落としこむ際気をつけたいこと

Securing Spark Applications

Google BigQueryについて紹介と推測

Amazon Work Spaces Application Manager

東ラるう（カラー）2012

Sentryを利用したエラー集約プラットフォーム

TechBuzz第5回cocos2d-x勉強会 BrainWars発表資料

au女子会♪infobar a02体験会20130221

Mehr von Ryuji Tamagawa

20171012 found IT #9 PySparkの勘所Ryuji Tamagawa

20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所Ryuji Tamagawa

hbstudy 74 Site Reliability EngineeringRyuji Tamagawa

PySparkの勘所（20170630 sapporo db analytics showcase） Ryuji Tamagawa

20170210 sapporotechbar7Ryuji Tamagawa

20161004 データ処理のプラットフォームとしてのpythonとpandas 東京Ryuji Tamagawa

20160708 データ処理のプラットフォームとしてのpython 札幌Ryuji Tamagawa

20160127三木会 RDB経験者のためのsparkRyuji Tamagawa

20151205 Japan.R SparkRとParquetRyuji Tamagawa

Performant data processing with PySpark, SparkR and DataFrame APIRyuji Tamagawa

Apache Sparkの紹介Ryuji Tamagawa

足を地に着け落ち着いて考えるRyuji Tamagawa

BigQueryの課金、節約しませんかRyuji Tamagawa

Seleniumをもっと知るための本の話Ryuji Tamagawa

データベース勉強会 In 広島 mongodbRyuji Tamagawa

Invitation to mongo db @ Rakuten TechTalkRyuji Tamagawa

MongoDB tuning on AWSRyuji Tamagawa

初めてのMongo dbRyuji Tamagawa

RDB経験者に送るMongoDBの勘所（db tech showcase tokyo 2013）Ryuji Tamagawa

初めてのAws elastic map reduceRyuji Tamagawa

Mehr von Ryuji Tamagawa (20)

20171012 found IT #9 PySparkの勘所

20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所

hbstudy 74 Site Reliability Engineering

PySparkの勘所（20170630 sapporo db analytics showcase）

20170210 sapporotechbar7

20161004 データ処理のプラットフォームとしてのpythonとpandas 東京

20160708 データ処理のプラットフォームとしてのpython 札幌

20160127三木会 RDB経験者のためのspark

20151205 Japan.R SparkRとParquet

Performant data processing with PySpark, SparkR and DataFrame API

Apache Sparkの紹介

足を地に着け落ち着いて考える

BigQueryの課金、節約しませんか

Seleniumをもっと知るための本の話

データベース勉強会 In 広島 mongodb

Invitation to mongo db @ Rakuten TechTalk

MongoDB tuning on AWS

初めてのMongo db

RDB経験者に送るMongoDBの勘所（db tech showcase tokyo 2013）

初めてのAws elastic map reduce

Kürzlich hochgeladen

Exploring Multimodal Embeddings with MilvusZilliz

Navigating the Deluge_ Dubai Floods and the Resilience of Dubai International...Orbitshub

Polkadot JAM Slides - Token2049 - By Dr. Gavin WoodJuan lago vázquez

DEV meet-up UiPath Document Understanding May 7 2024 AmsterdamUiPathCommunity

Apidays New York 2024 - The Good, the Bad and the Governed by David O'Neill, ...apidays

Manulife - Insurer Transformation Award 2024The Digital Insurer

ProductAnonymous-April2024-WinProductDiscovery-MelissaKlemkeProduct Anonymous

How to Troubleshoot Apps for the Modern Connected WorkerThousandEyes

Apidays New York 2024 - The value of a flexible API Management solution for O...apidays

Boost Fertility New Invention Ups Success Rates.pdfsudhanshuwaghmare1

Axa Assurance Maroc - Insurer Innovation Award 2024The Digital Insurer

Cyberprint. Dark Pink Apt Group [EN].pdfOverkill Security

Biography Of Angeliki Cooney | Senior Vice President Life Sciences | Albany, ...Angeliki Cooney

ICT role in 21st century education and its challengesrafiqahmad00786416

Emergent Methods: Multi-lingual narrative tracking in the news - real-time ex...Zilliz

Architecting Cloud Native ApplicationsWSO2

CNIC Information System with Pakdata Cf In Pakistandanishmna97

MINDCTI Revenue Release Quarter One 2024MIND CTI

EMPOWERMENT TECHNOLOGY GRADE 11 QUARTER 2 REVIEWERMadyBayot

TrustArc Webinar - Unlock the Power of AI-Driven Data DiscoveryTrustArc

Kürzlich hochgeladen (20)

Exploring Multimodal Embeddings with Milvus

Navigating the Deluge_ Dubai Floods and the Resilience of Dubai International...

Polkadot JAM Slides - Token2049 - By Dr. Gavin Wood

DEV meet-up UiPath Document Understanding May 7 2024 Amsterdam

Apidays New York 2024 - The Good, the Bad and the Governed by David O'Neill, ...

Manulife - Insurer Transformation Award 2024

ProductAnonymous-April2024-WinProductDiscovery-MelissaKlemke

How to Troubleshoot Apps for the Modern Connected Worker

Apidays New York 2024 - The value of a flexible API Management solution for O...

Boost Fertility New Invention Ups Success Rates.pdf

Axa Assurance Maroc - Insurer Innovation Award 2024

Cyberprint. Dark Pink Apt Group [EN].pdf

Biography Of Angeliki Cooney | Senior Vice President Life Sciences | Albany, ...

ICT role in 21st century education and its challenges

Emergent Methods: Multi-lingual narrative tracking in the news - real-time ex...

Architecting Cloud Native Applications

CNIC Information System with Pakdata Cf In Pakistan

MINDCTI Revenue Release Quarter One 2024

EMPOWERMENT TECHNOLOGY GRADE 11 QUARTER 2 REVIEWER

TrustArc Webinar - Unlock the Power of AI-Driven Data Discovery

20161221 FindSpark（市ヶ谷GeekNightでのLT）

1. FindSpark Python Spark

3. 2017

4. Python Spark IPython Jupyter …

5. ﬁndSpark https://github.com/minrk/ ﬁndspark

6. pip install findspark SPARK_HOME import findspark findspark.init() from pyspark.sql import SparkSession spark = SparkSession .builder. .appName('myApp'). .getOrCreate()