scrum_fest_osaka_2020

June. 27, 2020 / Naomichi Shimazu/ Digital Innovation
© DENSO CORPORATION All RightsReserved.
© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- チームを⽀える6つの観点 -
わからんなりにやってきたSRE in Scrum奮闘記
2020年 6⽉27⽇
株式会社デンソー
デジタルイノベーション室
島津直道

June 2020 / Digital Innovation
© DENSO CORPORATION All Rights Reserved.
⾃⼰紹介
2
島津直道
1993年⽣まれ
2017年デンソー⼊社
約1年間開発チームとしてRuby on Railsを⽤いたWebアプリ開発を経験
その後インフラに興味を持ちSREチームに移籍
社内AWS勉強会開催、Slack⼤⾂、寿司職⼈など活動は多岐にわたる

デンソーについて
3

DENSO VISION IN FUTURE MOBILITY ERA
Autonomous Driving
Remote Maintenance
Traffic Prediction
Fleet Management
Connected
4

今⽇お話しすること
5
【課題】
本番運⽤に耐えうる品質確保
【対策】
SREを導⼊
【話題】
• 新⼈SREがスクラムチームに⼊ってやったこと
• スクラムチームが品質に⾃信を持ってサービスを提供していくためのSRE活動

SREの活動を通して気がついたこと
6
スクラムチームとのモノづくりスクラムチームとの関わり
スクラムチームを技術的に⽀えた4つの観点 SREとスクラムチームが関わる上で重要な2つの観点

私の所属する開発組織
7
◆デンソーの強みであるハード（⾞載器など）と組み合わせたWebサービス開発が強み
◆利⽤している技術
クラウド（AWS、GCP、Azure）、Terraform、Docker、Ruby on Rails など
◆設⽴4年⽬

開発組織内でのSREチームの役割
8
複数のスクラムチームが⽣み出すサービスを安定稼働させるための⽀援を⾏う
複数のスクラムチームに関わることで各スクラムチームのノウハウを共有でき⾼速に課題を解決できる︕
SREチーム

ところでSREって何︖
9
SRE︖なにそれおいしいの︖
約1年半前のわい
調べる
正直よくわからん

私がJOINしたスクラムチーム
10
• 開発チーム 3⼈、PO 1⼈、SM 1⼈
• ⾞載器からAWSへデータを送って解析し、問題があった場合管理者に通知するシステムを開発
• これまではPoC扱いで開発が進められていたが事業性が検証されたため商⽤としてリリースされることが決定
PoC 商⽤
品質の向上
可⽤性
運⽤・保守性能
セキュリティ

実際にやってきたことを整理してみた
11
可⽤性運⽤・保守性能セキュリティ
• インフラ設計・実装
• 構成図作成
• 障害テストの計画と実施
• SLA/SLO要件定義⽀援
• 監視設計・実装
• ログ設計
• OSSライセンスチェック
• バックアップ設計
• ドキュメント作成
• コスト計算
• 運⽤フロー設計
• インシデント対応
• 性能計測の計画と実施
• パフォーマンスチューニング
• セキュアコードレビュー
• ツールによる脆弱性診断
• 第三者機関による脆弱性診断
• AWSのセキュリティルールの設計
と実装
• AWS及びサービスへのアクセス制
御
• ハッキング⼤会
今⽇はこの中で特に役に⽴ったものをいくつか紹介します

実際にやってきたことを整理してみた
12
• 構成図作成
• ログ設計
• コスト計算
と実装
御

全員で観点の洗い出し
13
まず、商⽤化までのタスクの全量を共有する
⼤項⽬ごとにバックログを並べる
• 可⽤性
• 運⽤・保守
• 性能
• セキュリティ

全員で観点の洗い出し
14
次に再分類、
• ソースコードに変更を加えるもの
• アーキテクチャに変更を加えるもの
• 運⽤ドキュメント作成
• セキュリティ
• 性能計測
理由に基づいて優先順位に並び替え
具体的な実装⽅法はスプリントバックログで詳細化
優先順位
全体像を把握する
具体的なHOWを掘り過ぎない
優先順位をつけその理由を共有する

実際にやってきたことを整理してみた（再掲）
15
• 構成図作成
• ログ設計
• コスト計算
と実装
御

© DENSO CORPORATION All Rights Reserved. 16
耐AZ障害
⾃動復旧
データ損失防⽌
可⽤性を⾼めるために重視したの3つの柱

耐AZ障害
AWSのベストプラクティスに沿った構成により障害時でもサービスを⽌めないインフラを実現
2019年8⽉のEC2障害での反省を活かし、3つのAZによる冗⻑構成を構築
データ紛失防⽌
どこで障害が起きてもデータを紛失しないようインフラを⾒直し
⾃動復旧
失敗しても⾃動で再実⾏できるインフラを構築

実際にやってきたことを整理してみた（再掲）
18
• 構成図作成
• ログ設計
• コスト計算
と実装
御

内部実装も考慮したセキュリティ対策を⾏いたい

ハッキング⼤会
攻撃者の⽬線に⽴ち、
⾃分だったらどうやって情報を
抜き出すか考えて試してみる
セキュアコードレビュー
他のチームの脆弱性改善ノ
ウハウを共有し、⾃分たちの
プロダクトに同様の脆弱性が
ないか確認した
ツールによる脆弱性診断
OWASP ZAPを⽤いて代
表的な脆弱性がないかを確
認した

SREの活動を通して気がついたこと
21
スクラムチームとのモノづくりスクラムチームとの関わり
スクラムチームを技術的に⽀えた4つの観点 SREとスクラムチームが関わる上で重要な2つの観点

スクラムチームにおけるSREの⽴ち位置イメージ
22
プロダクト
バックログリファインメント
スプリント
プランニング
スプリント
バックログ
SRE
開発チーム
PO
受け⼊れ基準スパイクモブプロ
あるときはPO⽀援、あるときは開発チーム⽀援として動く

スクラムチーム内での振る舞い
23
スクラムチームは⽴ち上がってから時間が経過しておりチームの雰囲気やルールがある程度出来上がっていた。
これをSRE⼊ることでコミュニケーションロスにより開発時間を奪っていまう。SRE＝邪魔者になってしまう。
チームに溶け込むために重視だと思う２つの観点
現地現物透明性

。
初めは、合意した⽀援⽇だけ部屋に顔を出し、状況確認をして別の部屋で作業する。という形をとっていた

。
初めは、合意した⽀援⽇だけ部屋に顔を出し、状況確認をして別の部屋で作業する。という形をとっていた
結論の情報しかなく背景が掴みづらい
業務の会話が⼤半を占めるため雰囲気が固くなりがち
メンバーのスキルセットや知識量がよくわからない
互いに相談しづらい
メンバーの名前が覚えられない

デンソーのモノづくりの価値観
26

現地現物が重要であると改めて気づいた
• スクラムチームの部屋に常駐する
• ⾃然とアイスブレイクの時間ができる
• 開発チームの会話を聞こえるから結論の背景も含めた情報が得られる
• スクラムのすべてのイベントに参加し、SRE観点での意⾒を述べる
• スクラムチームを同じ⽬線を共有する
• 意⾒を出すことでチームのメンバーだと認識してもらう
• SREだから出せる観点を早めに共有する

スクラムチーム内での振る舞い（再掲）
28
スクラムチームは⽴ち上がってから時間が経過しておりチームの雰囲気やルールがある程度出来上がっていた。
これをSREが⼊ることで⼤きく乱してしまっては⽣産性が下がる＆SRE＝邪魔者になってしまう。
チームに溶け込むために重視だと思う２つの観点

スプリントバックログは開発チームとSREで別々に管理しており、
SREのタスクは開発チームから⾒えない状態になっていた。
SRE
PO
開発チーム
︖

スプリントバックログは開発チームとSREで別々に管理しており、
SREのタスクは開発チームから⾒えない状態になっていた。
スプリントレトロスペクティブにて
「SREが何をやっているのかわからない」と意⾒が上がった
SRE
PO
開発チーム
︖
あいつ何しとん︖

MiroのSREボード写真をぺたり
透明性も重要だと気づいた
• SREのタスクを⾒える化するためにSREタスクボードを作成
• 同じ部屋のすぐ⾒える位置に配置
• タスクが⾒える化されたことで不信感が解消
• SREのタスクのプランニング結果と今週やったことを共有
• スクラムチームからフィードバックで認識合わせが可能
• これからやることが分かって開発チームやPOが安⼼

物理的・⼼理的な距離を縮め、SREもチームの⼀員になる

スクラムチームがどう変わったか
33
信頼性の⾼いサービスに必要な観点を全員で確認し、⼀緒にタスクを進めたことで、バグ修正や急な仕様変
更に対応したとき、信頼性の観点で問題がないかをチームで考慮できるようになった︕

スクラムチームを技術的に⽀えた4つの観点
SREとスクラムチームが関わる上で重要な2つの観点
SREとスクラムチームで本番運⽤を⾒据えた信頼性の⾼いサービスを作っていく

scrum_fest_osaka_2020

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to scrum_fest_osaka_2020

Similar to scrum_fest_osaka_2020 (20)

scrum_fest_osaka_2020