Suche senden
Hochladen
大規模グラフ解析のための乱択スケッチ技法
•
38 gefällt mir
•
38,475 views
Takuya Akiba
Folgen
Technologie
Melden
Teilen
Melden
Teilen
1 von 43
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
乱択データ構造の最新事情 -MinHash と HyperLogLog の最近の進歩-
乱択データ構造の最新事情 -MinHash と HyperLogLog の最近の進歩-
Takuya Akiba
大規模グラフアルゴリズムの最先端
大規模グラフアルゴリズムの最先端
Takuya Akiba
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
ブラックボックス最適化とその応用
ブラックボックス最適化とその応用
gree_tech
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
平面グラフと交通ネットワークのアルゴリズム
平面グラフと交通ネットワークのアルゴリズム
Takuya Akiba
グラフデータの機械学習における特徴表現の設計と学習
グラフデータの機械学習における特徴表現の設計と学習
Ichigaku Takigawa
Empfohlen
乱択データ構造の最新事情 -MinHash と HyperLogLog の最近の進歩-
乱択データ構造の最新事情 -MinHash と HyperLogLog の最近の進歩-
Takuya Akiba
大規模グラフアルゴリズムの最先端
大規模グラフアルゴリズムの最先端
Takuya Akiba
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
ブラックボックス最適化とその応用
ブラックボックス最適化とその応用
gree_tech
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
平面グラフと交通ネットワークのアルゴリズム
平面グラフと交通ネットワークのアルゴリズム
Takuya Akiba
グラフデータの機械学習における特徴表現の設計と学習
グラフデータの機械学習における特徴表現の設計と学習
Ichigaku Takigawa
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
Ryohei Ueda
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
Preferred Networks
lsh
lsh
Shunsuke Aihara
いまさら聞けない!CUDA高速化入門
いまさら聞けない!CUDA高速化入門
Fixstars Corporation
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Takuya Akiba
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Preferred Networks
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
CuPy解説
CuPy解説
Ryosuke Okuta
分散学習のあれこれ~データパラレルからモデルパラレルまで~
分散学習のあれこれ~データパラレルからモデルパラレルまで~
Hideki Tsunashima
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
Preferred Networks
20170422 数学カフェ Part2
20170422 数学カフェ Part2
Kenta Oono
明日使えないすごいビット演算
明日使えないすごいビット演算
京大 マイコンクラブ
4 データ間の距離と類似度
4 データ間の距離と類似度
Seiichi Uchida
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
ブースティング入門
ブースティング入門
Retrieva inc.
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
ACM-ICPC 世界大会 2015 問題 K "Tours" 解説
ACM-ICPC 世界大会 2015 問題 K "Tours" 解説
Takuya Akiba
bigdata2012ml okanohara
bigdata2012ml okanohara
Preferred Networks
Weitere ähnliche Inhalte
Was ist angesagt?
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
Ryohei Ueda
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
Preferred Networks
lsh
lsh
Shunsuke Aihara
いまさら聞けない!CUDA高速化入門
いまさら聞けない!CUDA高速化入門
Fixstars Corporation
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Takuya Akiba
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Preferred Networks
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
CuPy解説
CuPy解説
Ryosuke Okuta
分散学習のあれこれ~データパラレルからモデルパラレルまで~
分散学習のあれこれ~データパラレルからモデルパラレルまで~
Hideki Tsunashima
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
Preferred Networks
20170422 数学カフェ Part2
20170422 数学カフェ Part2
Kenta Oono
明日使えないすごいビット演算
明日使えないすごいビット演算
京大 マイコンクラブ
4 データ間の距離と類似度
4 データ間の距離と類似度
Seiichi Uchida
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
ブースティング入門
ブースティング入門
Retrieva inc.
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
Was ist angesagt?
(20)
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
lsh
lsh
いまさら聞けない!CUDA高速化入門
いまさら聞けない!CUDA高速化入門
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
CuPy解説
CuPy解説
分散学習のあれこれ~データパラレルからモデルパラレルまで~
分散学習のあれこれ~データパラレルからモデルパラレルまで~
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
20170422 数学カフェ Part2
20170422 数学カフェ Part2
明日使えないすごいビット演算
明日使えないすごいビット演算
4 データ間の距離と類似度
4 データ間の距離と類似度
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
協調フィルタリング入門
協調フィルタリング入門
ブースティング入門
ブースティング入門
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
Andere mochten auch
ACM-ICPC 世界大会 2015 問題 K "Tours" 解説
ACM-ICPC 世界大会 2015 問題 K "Tours" 解説
Takuya Akiba
bigdata2012ml okanohara
bigdata2012ml okanohara
Preferred Networks
bigdata2012nlp okanohara
bigdata2012nlp okanohara
Preferred Networks
Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習
Preferred Networks
プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造
Takuya Akiba
深さ優先探索による塗りつぶし
深さ優先探索による塗りつぶし
AtCoder Inc.
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
Takuya Akiba
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Shohei Hido
Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~
nlab_utokyo
Andere mochten auch
(9)
ACM-ICPC 世界大会 2015 問題 K "Tours" 解説
ACM-ICPC 世界大会 2015 問題 K "Tours" 解説
bigdata2012ml okanohara
bigdata2012ml okanohara
bigdata2012nlp okanohara
bigdata2012nlp okanohara
Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習
プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造
深さ優先探索による塗りつぶし
深さ優先探索による塗りつぶし
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~
Ähnlich wie 大規模グラフ解析のための乱択スケッチ技法
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
Shunsuke Ono
大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム
Takuya Akiba
Masシミュレーションに関する関心事@第65回 ca masゼミ
Masシミュレーションに関する関心事@第65回 ca masゼミ
Takuya Ueda
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
cvpaper. challenge
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
kanejaki
JOI春季ステップアップセミナー 2021 講義スライド
JOI春季ステップアップセミナー 2021 講義スライド
Kensuke Otsuki
[DL輪読会]Learning to Navigate in Cities Without a Map
[DL輪読会]Learning to Navigate in Cities Without a Map
Deep Learning JP
StreamGraph
StreamGraph
Altech Takeno
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Satoshi Kato
GISA2013学術研究発表Web大会 居住者の時空間分布に基づく地域間距離の都市モデルへの適用
GISA2013学術研究発表Web大会 居住者の時空間分布に基づく地域間距離の都市モデルへの適用
MurakamiAyaka
Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介
Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介
Kohta Ishikawa
T69 episteme
T69 episteme
えぴ 福田
[DL輪読会]VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Envir...
[DL輪読会]VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Envir...
Deep Learning JP
Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model (MuZero)
Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model (MuZero)
harmonylab
量子アニーリングのこれまでとこれから -- ハード・ソフト・アプリ三方向からの協調的展開 --
量子アニーリングのこれまでとこれから -- ハード・ソフト・アプリ三方向からの協調的展開 --
Shu Tanaka
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
Deep Learning JP
SoCC12報告
SoCC12報告
Hirotaka Ogawa
Objectnessとその周辺技術
Objectnessとその周辺技術
Takao Yamanaka
ハイブリッドロケットエンジンによる多段式打ち上げ機
ハイブリッドロケットエンジンによる多段式打ち上げ機
Masahiro Kanazaki
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Deep Learning JP
Ähnlich wie 大規模グラフ解析のための乱択スケッチ技法
(20)
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム
Masシミュレーションに関する関心事@第65回 ca masゼミ
Masシミュレーションに関する関心事@第65回 ca masゼミ
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
JOI春季ステップアップセミナー 2021 講義スライド
JOI春季ステップアップセミナー 2021 講義スライド
[DL輪読会]Learning to Navigate in Cities Without a Map
[DL輪読会]Learning to Navigate in Cities Without a Map
StreamGraph
StreamGraph
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
GISA2013学術研究発表Web大会 居住者の時空間分布に基づく地域間距離の都市モデルへの適用
GISA2013学術研究発表Web大会 居住者の時空間分布に基づく地域間距離の都市モデルへの適用
Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介
Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介
T69 episteme
T69 episteme
[DL輪読会]VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Envir...
[DL輪読会]VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Envir...
Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model (MuZero)
Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model (MuZero)
量子アニーリングのこれまでとこれから -- ハード・ソフト・アプリ三方向からの協調的展開 --
量子アニーリングのこれまでとこれから -- ハード・ソフト・アプリ三方向からの協調的展開 --
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
SoCC12報告
SoCC12報告
Objectnessとその周辺技術
Objectnessとその周辺技術
ハイブリッドロケットエンジンによる多段式打ち上げ機
ハイブリッドロケットエンジンによる多段式打ち上げ機
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Mehr von Takuya Akiba
TCO15 Algorithm Round 2C 解説
TCO15 Algorithm Round 2C 解説
Takuya Akiba
Cache-Oblivious データ構造入門 @DSIRNLP#5
Cache-Oblivious データ構造入門 @DSIRNLP#5
Takuya Akiba
勉強か?趣味か?人生か?―プログラミングコンテストとは
勉強か?趣味か?人生か?―プログラミングコンテストとは
Takuya Akiba
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
Takuya Akiba
プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~動的木編~
Takuya Akiba
プログラミングコンテストでのデータ構造 2 ~平衡二分探索木編~
プログラミングコンテストでのデータ構造 2 ~平衡二分探索木編~
Takuya Akiba
プログラミングコンテストでの動的計画法
プログラミングコンテストでの動的計画法
Takuya Akiba
Mehr von Takuya Akiba
(7)
TCO15 Algorithm Round 2C 解説
TCO15 Algorithm Round 2C 解説
Cache-Oblivious データ構造入門 @DSIRNLP#5
Cache-Oblivious データ構造入門 @DSIRNLP#5
勉強か?趣味か?人生か?―プログラミングコンテストとは
勉強か?趣味か?人生か?―プログラミングコンテストとは
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~平衡二分探索木編~
プログラミングコンテストでのデータ構造 2 ~平衡二分探索木編~
プログラミングコンテストでの動的計画法
プログラミングコンテストでの動的計画法
Kürzlich hochgeladen
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Kürzlich hochgeladen
(8)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
大規模グラフ解析のための乱択スケッチ技法
1.
大規模グラフ解析のための 乱択スケッチ技法 -Min-wise
Hashing とAll-DistancesSketches- 東京大学情報理工学研究科D2 秋葉拓哉 2014/11/17 @ IBIS 2014
2.
現代の大規模グラフの例 1 ウェブグラフ
オントロジー ソーシャルグラフ
3.
グラフから得たい情報 1.頂点の重要度 2.頂点間の距離・関連度
3.グラフの性質 4.…… 例: •検索サービス(Web 検索, SNS 内の検索) •ソーシャルメディア解析 テキストのみからは得にくい情報がある 2
4.
3 今日の話 1.
MinHashSketches入門 •基礎的かつ強力な乱択スケッチ(900+引用!) 2. All-Distances Sketches 入門 •グラフにおける様々な操作を可能にする乱択スケッチ 時間の都合上,中心性の計算を主に扱います. グラフ解析の基礎にも触れながら説明していきます. 集合のスケッチ技法 グラフのスケッチ技法
5.
1. Min-wise Hashing
入門 4
6.
背景 誰もが大量の集合・特徴ベクトルを処理したい! •文章→
単語の集合(bag of words) •商品→ 購買者 •画像データ→ 局所特徴量(SIFT, SURF, …) •…… 色々したいが,そのまま処理するのは困難 •データが大きすぎる •遅すぎる 5
7.
Sketching による効率化 解決策:
集合そのものの代わりになるSketchを使う 6 Sketch 푫(푺) 集合푺 hoge piyo fuga ??? •小さい! •効率的に処理ができる! •ただし結果は推定になる
8.
Jaccard 係数 集合の類似度としてJaccard
係数を考えます 集合푺ퟏと푺ퟐのJaccard 係数: 퐽푆1,푆2= 푆1∩푆2|푆1∪푆2| 具体的な場面 •文章の類似検索,重複検出 •商品の推薦 集合のJaccard 係数を推定したい気持ちになって下さい 7
9.
MinHashSketch 풌=ퟏ ハッシュ関数ℎを用意しておく
8 集合푆 hoge piyo fuga ℎ푎푎∈푆} 13 85 35 minℎ푎푎∈푆} 13 全要素にハッシュ関数を適用 最小値だけを取り出す
10.
Jaccard 係数推定の基礎 重要な性質
Prminℎ푎|푎∈푆1=minℎ푏|푏∈푆2=퐽푆1,푆2 2 つの集合のハッシュ値のmin が一致する確率は Jaccard 係数に等しい! ※ハッシュ関数は完全にランダムに振る舞うと仮定 9 푆1のSketch 푆2のSketch
11.
Jaccard 係数推定の基礎 なぜ?具体例で考えてみます.
•푆1=2,5,7,9,푆2=1,2,4,7,10 푆1∩푆2=2,7.例えば2で一致する場合とは? •argminℎ푎|푎∈푆1=2⇔{2,5,7,9}で2が最強 •argminℎ푏|푏∈푆2=2⇔{1,2,4,7,10}で2が最強 条件を合わせると, •2で一致⇔1,2,4,5,7,9,10=푆1∪푆2中で2が最強 一致するのは7 でも良く,このように,要は 푆1∪푆2中で最強のものが푆1∩푆2のいずれかであればよい. その確率は:S1∩푆2/S1∪푆2=퐽푆1,푆2. 10 最強=ハッシュ値が最低
12.
풌-min MinHashSketch あとはこれを푘個並べると……!
풌-min MinHashSketch •異なる푘個のハッシュ関数ℎ1,ℎ2,…,ℎ푘を用意 •それぞれについてさっきのmin を計算&保存 Jaccard 係数の推定 •「一致した数/ 푘」により퐽푆1,푆2を推定 推定値はunbiased(不偏) また分散は퐽1−퐽/푘になることが示せる 11
13.
MinHashFamily こんな感じでハッシュ関数の最小値に注目する Sketchingの手法が一般にMinHashと呼ばれる.
(Jaccard 係数推定以外のことも色々できる.) MinHashのバリエーション •푘個の並べ方 –푘-min Sketch (OddSketchはコレ) –푘-partition Sketch(HyperLogLogはコレ) –Bottom-푘Sketch(最近のAll-Distances Sketches はコレ) •ハッシュ値の使い方 –Full Ranks (さっきのやつはコレ) –푏-bit MinHash(Jaccard係数でよく使われているヤツ) –Base-푏Ranks(HyperLogLogはBase-2 Ranks) –…… 12
14.
集合に対する乱択スケッチ 乱択データ構造の最新事情 -MinHashとHyperLogLogの最近の進歩-
http://www.slideshare.net/iwiwi/minhash を御覧ください. 内容 1. Odd SketchesによるJaccard係数推定の進歩 [Mitzenmacher-Pagh-Pham, WWW’14] 2. HIP Estimator による集合異なり数推定の進歩 [Cohen, PODS’14] 13 WWW’14 Best Paper!
15.
2. All-DistancesSketches入門 14
16.
グラフのインデクシング・スケッチング よくある研究 •特定の問題のみを扱う索引
–最短経路のみ,近接中心性のみ •理論的なbound なし –計算量and/or 精度 All-Distances Sketches •様々な値を,精度保証有りで答えられる •ほぼ線形時間で計算・データは線型空間 15
17.
All-Distances Sketches の歴史
起源は実は20 年前 •E. Cohen. J. Comput. System Sci,1997 最近の注目 •P. Boldi, et al. WWW 2011・・・近傍関数・有向直径 •E. Cohen, et al. COSN 2013・・・関連性 •E. Cohen. PODS 2014・・・近傍関数・中心性 •E. Cohen, et al. CIKM 2014 ・・・影響最大化 •E. Cohen, et al. submitted・・・影響最大化(時間減衰) 16
18.
前提 グラフ퐺=푉,퐸を持っている (無向グラフと仮定)
•푛=푉 •푚=퐸 各頂点푣∈푉に対して, スケッチADS푣を前計算&保存する. これを使って色々する 17 C A B D
19.
ADSの使い方 前計算 持っているグラフデータから,全頂点の
ADSを計算する 使用 ADS を使って色々な値を高速に推定する •中心性 •関連性 18
20.
All-Distances Sketches の定義
定義1 ADS 푣 ≔ 푢 푟 푢 < k푟 th Φ<푢 푣 定義2 任意の距離푑 に対する近傍関数푁푑 푣 の Bottom-k MinHash の和集合 19 ??? 意味不明だと思うので ゆっくり説明していきます
21.
ランク(ハッシュ関数) •푟푣:各頂点のハッシュ値[0, 1]
「ランク」と呼びます イメージ: ランクの小さい頂点ほど偉い! •偉い=保存されやすい •Min-Hash でもハッシュ値最低のやつが保存されていた 20
22.
ADS(풗)の視覚的な説明 21 ADS푣=
自分より左下に点が 푘個未満の頂点 푘=3の例 (MinHash同様にパラメータがある) 풗からの距離 ランク 性質 •ランク小さい方から푘個は必ず含まれる •近い方から푘個も必ず含まれる •遠くなってゆくほど含まれにくくなっていく
23.
MinHashとADS の関連 풌-Min
MinHash 푘個の独立なハッシュ関数を用意しそれぞ れで最小値を記録 (先ほど紹介したもの) Bottom-풌MinHash 1 つのハッシュ関数で푘個の最小値を記録 (これでも色々できる) 22
24.
All-Distances Sketches の定義
定義1 ADS 푣 ≔ 푢 푟 푢 < k푟 th Φ<푢 푣 定義2 任意の距離푑 に対する近傍関数푁푑 푣 の Bottom-k MinHash の和集合 23 ??? 意味不明だと思うので ゆっくり説明していきます
25.
ADS(풗)の視覚的な説明 24 ADS푣=
自分より左下に点が 푘個未満の頂点 푘=3の例 (MinHash同様にパラメータがある) Bottom-풌MinHash 1 つのハッシュ関数で푘個の最小値を記録 풗からの距離 ランク
26.
ADS のサイズ ADS푣≅푘1+ln푛−ln푘=푂푘log푛
よって,合計の使用メモリは 푂푘푛log푛 푘を定数とすると, スペースは頂点数にほぼ線形 (→高いスケーラビリティ) 25 풌を大きくするほど スペースを使う しかし精度が良くなる(後述)
27.
ADS のサイズ 26
なぜ? 近い頂点から順に考える.ランクが ランダムであることを思い出す. 푖番目の頂点がADS に含まれる確率푝푖は 푝푖=min1,푘/푖 よって, Σ푝푖=푘+푘퐻푛−퐻푘 ADS푣≅푘1+ln푛−ln푘=푂푘log푛 풗からの距離 ランク 調和数
28.
ADSの計算 詳細は省略しますがかなり簡単 1.枝刈りDijkstraを全頂点から実行
2.動的計画法 푂푚+푛log푘푘log푛時間で構築可 Pregel等の分散グラフ計算基盤とも相性良い (はず) 27
29.
ADS で計算できる値の例: 近接中心性(Closeness
Centrality) 28
30.
中心性とは 中心性=重要度の推定値 色々な式がある
•次数中心性(Degree Centrality) –単純に次数を重要度とみなす •近接中心性(Closeness Centrality) •媒介中心性(BetweennessCentrality) •(PageRank, HITS, …) 29
31.
近接中心性 距離に基づいた中心性 •퐶푣=Σ푢∈푉
1 푑퐺푣,푢 •퐶푣=Σ푢∈푉2−푑퐺푣,푢 一般に 퐶훼푣= 푢∈푉 훼푑퐺푣,푢 훼は単調非減少,훼푑∈0,1 (他の定義もあるけどこれで大部分はカバーできてる) 푢から푣への距離 http://en.wikipedia.org/wiki/Centrality
32.
近接中心性のナイーブな計算 最短経路アルゴリズム •幅優先探索(重みなし)
–푂푚+푛時間 •Dijkstraのアルゴリズム(重み有り) –푂푚+푛log푛時間 1 頂点にこれだけの時間がかかると大変 大規模なグラフでは数分,数十分 31
33.
近傍関数 近接中心性 퐶훼푣=
푢∈푉 훼푑퐺푣,푢 近傍関数 푛푑푣=#푢∈푉|푑퐺푣,푢≤푑 (距離푑以下で何頂点に到達できるか?) 近傍関数は近接中心性の一種 近傍関数のほうが簡単なので,近傍関数か ら始める 32
34.
ADS による近傍関数の推定1 Basic
Estimator 푛푑푣= 푘−1 휏푘 到達可能な頂点のBottom-푘MinHashを取り出して, MinHashによる集合サイズ推定を適用している 33 풗からの距離 ランク 휏푘 範囲内で 푘番目に小さいランク 簡単!
35.
ADS による近傍関数の推定1 Basic
Estimator 푛푑푣= 푘−1 휏푘 精度 퐶푉≤1/푘−2 CV (coefficient of variation): 標準偏差/ 平均 34 풗からの距離 ランク 휏푘
36.
ADS による近接関数の推定2 HIP
Estimator [Cohen, PODS’14] 着想: •先ほどのBasic EstimatorはMinHashを取り 出してその情報だけを使った –ちなみにMinHash情報のみを使う場合は先ほ どの推定がほぼoptimal •全体の情報を使ってより良い推定はでき ないのか? 35
37.
ADS による近接関数の推定2 HIP
Estimator [Cohen, PODS’14] 푛푑푣= 푢∈ADS푣,푑퐺푣,푢≤푑 1 휏푢 36 풗からの距離 ランク 풖 푘=3 1 2 3 휏푢 各푢について, そいつより左で푘番目に 小さいランク
38.
ADS による近接関数の推定2 HIP
Estimatorを納得する •휏푢は,条件付き確率 –条件:それまでの頂点のランクを固定 –確率変数:푢のランク –何の確率?:푢がADS푣に含まれる 37 풗からの距離 ランク 풖 푘=3 1 2 3 휏푢 自分より左で푘番目に 小さいランク
39.
ADS による近接関数の推定2 HIP
Estimatorを納得する 푛푑푣= 푢∈ADS푣,푑퐺푣,푢≤푑 1 휏푢 •휏푢は,푢がADS푣に含まれる条件付き確率 •푢がADS(푣)に含まれるのは確率휏푢の現象 •1/휏푢個ぐらい“仲間” が居たはず –過去に戻って(historic)確率を求め(probability) 逆数を たす(inverse) からHIP 38
40.
ADS による近接関数の推定2 HIP
Estimator 푛푑푣= 푢∈ADS푣,푑퐺푣,푢≤푑 1 휏푢 精度 퐶푉≤1/2(푘−1) (Basic Estimator: 퐶푉≤1/푘−2) CV (coefficient of variation): 標準偏差/ 平均
41.
近接中心性の推定 近傍関数 푛푑푣=
푢∈ADS푣,푑퐺푣,푢≤푑 1 휏푢 近接中心性 퐶훼푣= 푢∈ADS(푣) 훼푑퐺푣,푢 휏푢 精度 同じく퐶푉≤1/2(푘−1) 40
42.
中心性以外の操作 ADS に推定できるもの
•近傍関数,近接中心性 •近接関連性 •2 点間の距離 •有向直径 41
43.
42 まとめ 1.
MinHashSketches入門 2. All-Distances Sketches 入門 •MinHashは集合の,ADS はグラフのスケッチ •ADS はMinHashを部品としており,良い性質を多数持つ •ADSから様々なものが推定できる –MinHashを取り出して行う推定 –全体を使うHIP Estimator ADSの課題 •実際に使ってみると,ほぼ線形とは言え,データサイズ が大きすぎる(푘を大きくできず精度が出ない) この点も近いうちに改善されることが期待される
Jetzt herunterladen