KafkaとPulsar

•

0 gefällt mir•2,206 views

Yahoo!デベロッパーネットワーク

イベントURL: https://kafka-apache-jp.connpass.com/event/222711/ イベント名: Apache Kafka Meetup Japan #9

Technologie

Weitere ähnliche Inhalte

Was ist angesagt?

超実践 Cloud Spanner 設計講座

Samir Hammoudi

最近勉強を始めたコンテナ技術に関する基礎的な知識をまとめました。 [訂正と注釈] p.27-30: 「Deployment」内の「Version: 1」 => 「Version: 2」 p.37: 「終了コードをから」 => 「終了コードから」 p.39: 「HTTPSが利用できない」=> AWS上では、SSL終端するLBがサポートされています。https://kubernetes.io/docs/concepts/services-networking/service/#ssl-support-on-aws p.40: 「ユーザがingress controllerをmaster上にセットアップする必要」 => master上にセットアップしなければならないという制約はありません。例えばGCEのingress controller(GLBC)はPodとして動作します。https://github.com/kubernetes/ingress-gce/blob/master/README.md p.71: 「Pod container」 => 「pause container」

コンテナ未経験新人が学ぶコンテナ技術入門

Kohei Tokunaga

At least onceってぶっちゃけ問題の先送りだったよね #kafkajp

Yahoo!デベロッパーネットワーク

実運用して分かったRabbit MQの良いところ・気をつけること #jjug

Yahoo!デベロッパーネットワーク

Kubernetesでの性能解析～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）

NTT DATA Technology & Innovation

Grafana LokiではじめるKubernetesロギングハンズオン（NTT Tech Conference #4 ハンズオン資料）

NTT DATA Technology & Innovation

Dockerからcontainerdへの移行

Kohei Tokunaga

マイクロにしすぎた結果がこれだよ！

mosa siru

モノリスからマイクロサービスへの移行～ストラングラーパターンの検証～（Spring Fest 2020講演資料）

NTT DATA Technology & Innovation

Kubernetesのしくみやさしく学ぶ内部構造とアーキテクチャー

Toru Makabe

YugabyteDBを使ってみよう（NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料）

NTT DATA Technology & Innovation

Apache Pulsarの概要と近況

Yahoo!デベロッパーネットワーク

Preferred Networks（PFN）は深層学習などの最先端の技術を最短路で実用化することで、これまで解決が困難であった現実世界の課題解決を目指しています。コンピュータビジョン、自然言語処理、音声認識、ロボティクス、コンパイラ、分散処理、専用ハードウェア、バイオインフォマティクス、ケモインフォマティクスといった幅広い分野で研究開発を行っており、それを支えているのが Kubernetes を用いて構築しているオンプレミス/ベアメタルの GPU クラスタです。本セッションでは、PFN が Kubernetes を用いてクラスタを運用するなかでどのような障害が起きるのかを紹介し、また障害対応をどのように自動化しているのかを具体的に使用/開発したソフトウェアを含めてご紹介します。また Kubernetes クラスタの管理、アップグレードの自動化にも取り組んでおり、それを実現する Cluster API についてもご紹介します。 https://confengine.com/conferences/devopsdays-tokyo-2021/proposal/15203/pfn-mldl-kubernetes

PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021

Preferred Networks

近頃 Server-Side Apply (SSA) の利用が広がっています。GitOps ツールである Flux2 は v0.18.0 でマニフェストの適用に SSA を使用するようになりました。そこで重要になってくるのが metadata.managedFields です。このセッションでは、kubectl v1.21 まで kubectl get -o yaml で表示されていてめっちゃ邪魔だった metadata.managedFields が何のために存在しているのか紹介します。また SSA によりオブジェクトのフィールドを削除したはずが実際には削除されていないなんてこともおきます。なぜそんなことが発生するのか、またその状態をどのように解決するかも紹介します。イベントサイト: https://k8sjp.connpass.com/event/237734/

わかる！metadata.managedFields / Kubernetes Meetup Tokyo 48

Preferred Networks

Amazon EKS によるスマホゲームのバックエンド運用事例

gree_tech

GraalVMを3つの主機能から眺めてみよう（Oracle Groundbreakers APAC Virtual Tour 2020 講演資料）

NTT DATA Technology & Innovation

オススメのJavaログ管理手法～コンテナ編～（Open Source Conference 2022 Online/Spring 発表資料）

NTT DATA Technology & Innovation

MQTTとAMQPと.NET

terurou

Kafka・Storm・ZooKeeperの認証と認可について #kafkajp

Yahoo!デベロッパーネットワーク

ヤフー発のメッセージキュー「Pulsar」のご紹介

Yahoo!デベロッパーネットワーク

Was ist angesagt? (20)

超実践 Cloud Spanner 設計講座

コンテナ未経験新人が学ぶコンテナ技術入門

At least onceってぶっちゃけ問題の先送りだったよね #kafkajp

実運用して分かったRabbit MQの良いところ・気をつけること #jjug

Kubernetesでの性能解析～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）

Grafana LokiではじめるKubernetesロギングハンズオン（NTT Tech Conference #4 ハンズオン資料）

Dockerからcontainerdへの移行

マイクロにしすぎた結果がこれだよ！

モノリスからマイクロサービスへの移行～ストラングラーパターンの検証～（Spring Fest 2020講演資料）

Kubernetesのしくみやさしく学ぶ内部構造とアーキテクチャー

YugabyteDBを使ってみよう（NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料）

Apache Pulsarの概要と近況

PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021

わかる！metadata.managedFields / Kubernetes Meetup Tokyo 48

Amazon EKS によるスマホゲームのバックエンド運用事例

GraalVMを3つの主機能から眺めてみよう（Oracle Groundbreakers APAC Virtual Tour 2020 講演資料）

オススメのJavaログ管理手法～コンテナ編～（Open Source Conference 2022 Online/Spring 発表資料）

MQTTとAMQPと.NET

Kafka・Storm・ZooKeeperの認証と認可について #kafkajp

ヤフー発のメッセージキュー「Pulsar」のご紹介

Mehr von Yahoo!デベロッパーネットワーク

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク

継続的なモデルモニタリングを実現するKubernetes Operator

Yahoo!デベロッパーネットワーク

Test Engineers Meetup 近年のソフトウエア開発では、ビジネス変化への対応がスピーディーであることが求められます。いかに迅速にかつサービスの品質を落とさずにお客様へ新しい価値を提供できるかが重要です。このプレゼンテーションでは、開発迅速性とサービスの品質の計測と可視化、そして、2つの要素をバランスよく改善するべく自分たちが取り組んでいることを事例として紹介します。

ヤフーでは開発迅速性と品質のバランスをどう取ってるか

Yahoo!デベロッパーネットワーク

オンプレML基盤on Kubernetes パネルディスカッション

Yahoo!デベロッパーネットワーク

LakeTahoe

Yahoo!デベロッパーネットワーク

オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜

Yahoo!デベロッパーネットワーク

Persistent-memory-native Database High-availability Feature

Yahoo!デベロッパーネットワーク

2022年2月17日・18日に開催された「Developers Summit 2022」1日目の登壇スライドです。ヤフーのデータソリューション事業やデータサイエンス部門のデザイナーとして、日々の業務においてデータに直接に触れる機会の多いエンジニアの皆さんとデータビジュアライズの観点で共有し実践していることをご紹介します。

データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2

Yahoo!デベロッパーネットワーク

2021年の「グッドデザイン賞」ではヤフーから4案件が受賞しました。本セッションでは「PayPayモールの実店舗在庫連携」について、案件の立ち上げから、リリースを通して改善・工夫した事、グッドデザイン賞の受賞経緯など、デザイナー目線でお話しします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/MFnZd1j4SUk

eコマースと実店舗の相互利益を目指したデザイン #yjtc

Yahoo!デベロッパーネットワーク

世の中にはサービスのセキュリティを脅かす犯罪者がたくさんいます。ユーザーを犯罪者から守り、サービスを安心安全に利用していただくため、高度化するサイバー攻撃に日々対応する必要があります。ヤフーにおけるセキュリティの一翼を担っているCSIRTとSOCについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/boqitqHobrc

ヤフーを支えるセキュリティ～サイバー攻撃を防ぐエンジニアの仕事とは～ #yjtc

Yahoo!デベロッパーネットワーク

ムード（気分）は人間の行動に大きく影響します。インターネットサービスにおいて、もし人々のムードを考慮し寄り添えたなら、より魅力的なサービスが提供できるのではないでしょうか。本セッションではヤフーが持つビッグデータを用いて「ムードを推定する」取り組みについてご紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/WyZOmUN52-s

ビッグデータから人々のムードを捉える #yjtc

Yahoo!デベロッパーネットワーク

ヤフーでは、さまざまな形で機械学習を活用してきました。その経験をもとに、AIプラットフォームと連携し、MLOpsの導入・推進を進めています。本セッションでは、サイエンス部門におけるMLOpsを推進するためにこれまで行ってきた取り組みについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/tf9C0sLOZ14

サイエンス領域におけるMLOpsの取り組み #yjtc

Yahoo!デベロッパーネットワーク

ヤフーはAIテックカンパニーを目指し、その実現に向かって進んでいます。そのためには、AI開発のためのデータ基盤が必要です。本セッションでは、AI開発に必要なデータ基盤の全体概要と、開発を効率化するAIプラットフォームを紹介をします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/XZKOHIfEnsU

ヤフーのAIプラットフォーム紹介～AIテックカンパニーを支えるデータ基盤～ #yjtc

Yahoo!デベロッパーネットワーク

Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc

Yahoo!デベロッパーネットワーク

2021年1月にヤフオク!アプリに商品を多角的に撮影／閲覧できる機能「マルチビュー」が導入されました。ヤフオク!にマルチビュー機能が追加された理由やマルチビュー機能を実現する多視点技術についてお話しします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/4Fi9cb0x6LU

新技術を使った次世代の商品の見せ方～ヤフオク!のマルチビュー機能～ #yjtc

Yahoo!デベロッパーネットワーク

2021年9月、PC版Yahoo!メールを10年ぶりにリニューアルしました。技術刷新を機にweb・アプリのUI/UXを統合し、Yahoo! JAPANのサービスとしての一貫性あるデザインにしました。大規模リニューアルの改善ポイントとそのプロセスについてご紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/zuE6IysVsNw

PC版Yahoo!メールリニューアル～サービスのUI/UX統合と改善プロセス～ #yjtc

Yahoo!デベロッパーネットワーク

ヤフーは昨年「ワクチン接種キャンセル枠お知らせサービス」を公開しました。多くの関係者が存在するプロジェクトでありながら、リモートワーク環境下での協業、高いスピード感が必要となるプロジェクトでした。本セッションではこのプロジェクトの成功につながった「モブデザイン」という取り組みについて、その効果やうまく運用するためのポイントを紹介します。実際にモブデザインを行っている様子もご覧いただけるので、特に多職種チームでスピード感のある意思決定をしていくことに課題感をお持ちの方へのヒントになればと思います。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/lmsY2uCP6lY

モブデザインによる多職種チームのコミュニケーション改善 #yjtc

Yahoo!デベロッパーネットワーク

Yahoo!不動産では「新しいおうち探し」が体験できるAIアシスト検索を提供しています。AIアシスト検索ではさまざまな軸をレコメンドすることによって検索をサポートしています。本セッションでは、AIアシスト検索のレコメンドがクラスタリングや深層学習といった手法を使って、どのように実現されているのかを紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/-uhdjlcfcmQ

「新しいおうち探し」のためのAIアシスト検索 #yjtc

Yahoo!デベロッパーネットワーク

Yahoo!検索の入力補助機能について、ユーザーの現在位置を考慮することによる改善施策を題材として、施策の検討からオフラインでの実験、A/Bテスト、リリースまでの一連のプロセスについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/8kXmkBTw0nU

ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc

Yahoo!デベロッパーネットワーク

分散密ベクトル探索エンジンである Vald ( https://vald.vdaas.org ) は、 Kubernetesを単なるデプロイするためのインフラとしてだけではなく、Valdのアプリケーションロジックが直接Kubernetes APIを利用し分散密ベクトル探索エンジンValdの分散レイヤーの一部として利用しています。 ValdはGraph&Tree構造からなるベクトルインデックス構造をIn-Memory上に保持しており、各Podは別々のGraph空間を有していてKubernetesのAPIから取得できる情報をもとに各Podのベクトルインデックスの管理を行っています。このスライドでは、アプリケーションからcontroller-runtimeを利用し直接 Kubernetes API を利用する真の Kubernetes ネイティブアプリケーションであるValdの事例について紹介します。

The potential of Kubernetes as more than just an infrastructure to deploy

Yahoo!デベロッパーネットワーク

Mehr von Yahoo!デベロッパーネットワーク (20)

ゼロから始める転移学習

継続的なモデルモニタリングを実現するKubernetes Operator

ヤフーでは開発迅速性と品質のバランスをどう取ってるか

オンプレML基盤on Kubernetes パネルディスカッション

LakeTahoe

オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜

Persistent-memory-native Database High-availability Feature

データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2

eコマースと実店舗の相互利益を目指したデザイン #yjtc

ヤフーを支えるセキュリティ～サイバー攻撃を防ぐエンジニアの仕事とは～ #yjtc

ビッグデータから人々のムードを捉える #yjtc

サイエンス領域におけるMLOpsの取り組み #yjtc

ヤフーのAIプラットフォーム紹介～AIテックカンパニーを支えるデータ基盤～ #yjtc

Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc

新技術を使った次世代の商品の見せ方～ヤフオク!のマルチビュー機能～ #yjtc

PC版Yahoo!メールリニューアル～サービスのUI/UX統合と改善プロセス～ #yjtc

モブデザインによる多職種チームのコミュニケーション改善 #yjtc

「新しいおうち探し」のためのAIアシスト検索 #yjtc

ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc

The potential of Kubernetes as more than just an infrastructure to deploy

KafkaとPulsar

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Mehr von Yahoo!デベロッパーネットワーク

Mehr von Yahoo!デベロッパーネットワーク (20)