作って(壊して？)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in CyberAgent Internet Seminer
•
0 gefällt mir•646 views
サイバーエージェントの社内エンジニアカンファレンス CA BASE CAMP 2021で発表した資料です 再アップロード版: https://speakerdeck.com/whywaita/as-introduce-experimental-as-in-cyberagent-internet-seminer
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 作って(壊して？)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in CyberAgent Internet Seminer
Ähnlich wie 作って(壊して？)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in CyberAgent Internet Seminer (20)
Mehr von whywaita
Mehr von whywaita (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (12)
作って(壊して？)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in CyberAgent Internet Seminer
- 1. 川原 大輝 中西 建登 黒崎 優太 作って(壊して？)学ぶ インターネットのしくみ サイバーエージェントの実験用ASの紹介
- 2. サイバーエージェントは “インターネット x 〇〇” の会社
- 5. Kubernetes as a Service（AKE）の開発 機械学習基盤（ML Platform）の開発 インターネットゼミの下っ端 川原 大輝 画像 2021年度 新卒入社 CIU（CyberAgent group Infrastructure Unit） Devチーム @h-otter
- 6. インターネットゼミ • 事業として〇〇の部分を伸ばしていくだけではなく、 ”インターネット” の知識を深めるべきなのでは • プロダクション環境では出来ない、作ったり、壊したりを繰り返して インターネットを学ぶ • 試験環境として AS63790 を運用 • Slack #ca-tech-internet で情報発信中！！！
- 9. Internet ● IP（Internet Protocol）で構築される、ネットワークの集合体 ○ IPアドレスを宛先に設定したパケットを送信すると、宛先までパケットを届けてくれる仕組 み ○ 利用者は宛先までの物理的な構成を考慮する必要なく、データ送信が可能 ● 今や社会インフラのひとつ ● 日本では月間 約 20 Tbpsの通信 https://www.soumu.go.jp/main_content/000733741.pdf
- 13. 家からでるまで パソコン MDF盤 ONU 光コンセント 電信柱
- 14. Wi-Fi AP / ルーター / ONU ってどれ？ ONU ルーター Wi-Fi AP https://www.aterm.jp/product/atermstation/product/warpstar/wg1900hp2/ https://jpn.nec.com/univerge/ix/Info/ix2105.html https://web116.jp/shop/hikari_r/rt_500mi/rt_500mi_00.html 無線LANルーター HGW
- 16. 光コンセント ⇒ MDF盤 ⇒ 電信柱 https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html https://www.ntt-east.co.jp/info/detail/130308_01.html
- 17. 光スプリッタ : 電源がいらなくて便利 https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html
- 19. 家からでるまで [再掲] パソコン MDF盤 ONU 光コンセント 電信柱
- 21. 電信柱 • NTTなどの通信線がかかっている電信柱 • 東京電力などの配電線がかかっている電柱（電力柱） • 電信柱と電力柱を掛け持つ共用柱 • 電信柱には主にファイバーが束になった ケーブルが架かっている 東京電力などの配電線 NTTなどの通信線 https://www.furukawa.co.jp/telecom/product/opt_fibercable/fibercable_list.html
- 22. とう道 ● ケーブルなどを管理するための地下トンネルのうち、人が通れるもの ● 都内のみで 290 km 張り巡らされている ● 日本の重大インフラを担っており、どこに何があるかは機密 ○ ただ、小学生に対する見学ツアーは結構やっているらしい https://internet.watch.impress.co.jp/docs/special/1225244.html https://businessnetwork.jp/Detail/tabid/65/artid/6421/Default.aspx
- 23. 通信局舎（NTT通信ビル） • 顧客の通信回線を集約し、インターネットなどにつなげる • 昔は電話局として地図に記載されていたが、現在は非公開 • 浸水・津波等の対策で1階はコンクリートで埋められている https://internet.watch.impress.co.jp/docs/special/1225244.html https://businessnetwork.jp/Detail/tabid/65/artid/6421/Default.aspx
- 25. 拠点間の接続 ● ダークファイバ ● 海底ケーブル ● 無線通信
- 26. ダークファイバ ● 電気通信事業者などが敷設した光ファイバのうち、利用されていない心線 ○ NTTやKDDIなどの電気通信事業者が敷設した電信柱/ 洞道のファイバ ○ JRや京王電鉄など鉄道会社の基盤用に敷設したファイバ ● ダークファイバを他業者に貸すサービスが提供されている ● もちろんトップシェアはNTT系列 数本を貸し出す
- 28. 立地上の問題で遠回りする必要があったり ● 秋葉原UDXから国会議事堂間で敷設 ⇒ 間には皇居があるため、直線で接続不可 ● 他にも... ○ 山 ○ 川 ○ 人口が少なく敷設が少ない地域 ↑ Google Mapのルート経路 実際の光ファイバールートは非公開
- 29. ファイバが敷設されてなかったり、空きがなかったり 1. ダークファイバ事業者に新しく敷設してもらう ⇒ 高い 2. 別ダークファイバ事業者と併用する たとえば、ABTから八王子への接続を考えるときに、渋谷駅と京王八王子駅間で NTTの ダークファイバ在庫がなかった場合、下図のように接続可能 https://www.keio.co.jp/train/other/hikari/index.html ABT 目的地
- 30. 海底ケーブル ● 海底に敷設されたケーブル ● 日本は島国であるため、海外や離島に向 けて敷設されている ● 海底ケーブルの揺れで地震を測定する Googleの研究も...... https://www.submarinecablemap.com/ https://cloud.google.com/blog/ja/products/infrastructure/using-subsea-cables-to-detect-earthquakes https://time-space.kddi.com/au-kddi/20191226/2802
- 32. 工事、天気、災害による障害 ● ファイバーはデリケート ○ 曲げ半径に限界がある ○ 踏むとパケットロスしたり ファイバ内の光は全反射で進む 臨界角を超えると外に出てしまう
- 33. 工事、天気、災害による障害 ● ファイバーはデリケート ○ 曲げ半径に限界がある ○ 踏むとパケットロスしたり ● 工事で一部のファイバールートが一時的に使用不可 ● 台風、地震で電信柱が倒れる ● ネズミ・サメがケーブルを噛む、虫が卵を産む ● 酔っ払ったハンターが射撃 https://www.geekpage.jp/blog/?id=2011/9/6/1 https://xtech.nikkei.com/atcl/nxt/column/18/00142/00562/ 2019年の台風で倒れた電信柱
- 36. 組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる IPアドレス 8.8.8.8 宛のパケットは 誰に送ればいいんだろう？ Google AS15169 ユーザー AS? Amazon AS16509
- 37. 組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる IPアドレス 8.8.8.8 はGoogleの ところにあるよ Google AS15169 ユーザー AS? Amazon AS16509
- 38. 組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル 送信！！ Google AS15169 ユーザー AS? Amazon AS16509
- 39. 組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル ● 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる ● ASには最小で512個（/23）のIPが割り当てられる 8.0.0.0/8 もってるよ Google AS15169 ユーザー AS? Amazon AS16509
- 40. 組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル ● 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる ● ASには最小で512個（/23）のIPが割り当てられる ○ 一般家庭には一つあれば十分なため ISP（Internet Service Provider）がその辺の管理 を肩代わりしてくれる Google AS15169 ユーザー ISP AS? Amazon AS16509
- 42. 組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル ● 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる ● ASには最小で512個（/23）のIPが割り当てられる ○ 一般家庭には一つあれば十分なため ISP（Internet Service Provider）がその辺の管理 を肩代わりしてくれる ● AS間の接続も当然物理的に接続する必要がある
- 43. AS間の接続方法 ● プライベートピアリング（直接接続） ○ 構内接続: DC内で適当に配線 ○ ダークファイバなどを利用して接続 ● パブリックピアリング ○ IX（Internet eXchange point） ● トランジット経由
- 45. IX（Internet eXchange point） • すべてのASとプライベートピアリングすると、ダークファイバや コミュニケーションなどのコストがかさむ • IXは様々なASが接続し、自由にピアリングできるサービス https://www.peeringdb.com/net/3973
- 46. トランジット ● すべてのASがすべてのASに接続出来るわけではない ○ 60000 ASがお互いに接続したら36万リンクが必要 ⇒ 無理 ● 他のASのIPアドレスを広報してくれるピアをトランジットと呼ぶ ○ 多くの場合、フルルート（全世界の IPアドレス）を広報してくれる ○ フルルートは現在86万経路 NTT OCN IIJ CyberAgent Google あるトランジット事業者がピアリングしてない 宛先に送る場合、さらに上位のトランジットに 送信する 最上位のトランジットを Tier-1 ASと呼ぶ
- 47. IPの物理的な制約 ● ユーザとサーバの経路が短い方が低レイテンシ ● 長いダークファイバはコストが高い ● 東京（大手町）にIXが多い ○ 海底ケーブルの陸揚げポイントが首都圏にあり、アメ リカなどとの通信も有利 ● ユーザとIXが多い東京・大阪に事業者が集中 ○ 東京の事業者同士が北海道の IXで接続したら ・・・？？？ https://www.equinix.co.jp/data-centers/asia-pacific-colocation/japan-colocation/tokyo-data-centers 大手町
- 48. ● インターネットは複雑な物理的制約の上で成立している ● IPによって物理的制約が隠蔽されているが、レイテンシやパケットロスなどの形で 表面化することがある ● データの信頼性はTCPやQUICなどの上のレイヤのプロトコルで保証される ● 散歩や旅行の際に施設を眺め、インターネットを感じましょう！！！ このあとはゼミ長さま（中西さん）と黒崎さんによる 具体的なゼミの活動内容です まとめ
- 49. 2021年組織統合に伴いCIUに移籍 プライベートクラウド開発運用に従事 アニソンが好き インターネットゼミ ゼミ長 (さまではない) 中西 建登 画像 2019年度 新卒入社 CIU（CyberAgent group Infrastructure Unit） Private Cloud team @whywaita
- 50. インターネットゼミでは AS63790 を取得 ✨
- 51. インターネットゼミでは AS63790 を取得 ✨
- 52. インターネットゼミでは AS63790 を取得 ✨ ※メールのコピー
- 54. AS番号の取得方法
- 55. 組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル ● 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる ● ASには最小で512個（/23）のIPが割り当てられる ○ 一般家庭には一つあれば十分なため ISP（Internet Service Provider）がその辺の管理 を肩代わりしてくれる ● AS間の接続も当然物理的に接続する必要がある
- 56. AS番号はとても貴重 • 世界中において 16-bit (2byte) で十分だと思われてた [RFC1930, 1996] > It is clear that this growth needs to be continually monitored. However, if the criteria applied above are adhered to, then there is no immediate danger of AS space exhaustion. [RFC1930 より引用] 足りなくなり 32-bit (4byte) まで拡張 [RFC4893, 2007] • 大本としては IANA (Internet Assigned Numbers Authority) が管理 非営利法人 ICANN の1機能 実務はRIR (Regional Internet Registery) に委譲 (2021年現在5組織) • 日本では JPNIC (Japan Network Information Center) が担当 RIR APNIC (Asia Pacific) が上位組織 https://www.nic.ad.jp/ja/basics/terms/iana.html https://www.iana.org/numbers https://www.janog.gr.jp/meeting/janog20/pdf/4byte_toyama.pdf
- 57. 審査がめっっっっっっっちゃ大変
- 58. Webフォーム
- 59. マニュアル
- 60. AS取得の流れ ● Webフォームに入力 ● Webフォームの入力内容受領のメールが届く ● 人間がアサインされた旨のメールが届く ● 担当者の方から追加で聞きたい内容を聞かれる ● 回答 ● （n回ぐらい繰り返す）
- 61. メールでのやり取り ● ASは永続的に使うものか？ ○ 一時的にAS番号を借りてすぐに返すというのが出来るらしい ○ Webフォームにて利用目的に「実証実験」と書いたため ○ 永続利用で申請 ● 2-byte AS numberが必要か？ 4-byte AS numberが良いか？ ○ 基本的に現在のJPNICは2-byte, 4-byte区別なく割当 ○ 2-byte (0 - 65535) 4-byte (65536 - 4,294,967,295) 中のJPNIC割当分から ○ 利用している機材が古く2-byte ASで申請 ● etc etc...
- 62. 無事割当 🎉
- 63. そして
- 64. IPv4 / IPv6 アドレス取得編につづく…… 😇
- 66. 基盤技術責任者 黒崎 優太 2015年度 新卒入社 AI事業本部 DX本部 アプリ運用センター @kuro_m88 @kuro_m88
- 68. 材料調達
- 71. とりあえず並べてイメージする
- 78. 冷却用のファンの固定部品を印刷
- 79. 板に固定していく
- 80. 半分の台数で動作確認
- 81. 残りも動作組み付けていく
- 82. 完成✨
- 83. 完成✨
- 84. コーポレートカラー✨
- 85. データセンターに搬入💪
- 86. デプロイ完了！
- 89. ご視聴ありがとうございました。