Diese Präsentation wurde erfolgreich gemeldet.

20160625 Google I/O Extended 報告会 Fukuoka 2016 "Audio and Music"

1

Teilen

Wird geladen in …3
×
1 von 46
1 von 46

Weitere Verwandte Inhalte

Ähnliche Bücher

Kostenlos mit einer 30-tägigen Testversion von Scribd

Alle anzeigen

Ähnliche Hörbücher

Kostenlos mit einer 30-tägigen Testversion von Scribd

Alle anzeigen

20160625 Google I/O Extended 報告会 Fukuoka 2016 "Audio and Music"

  1. 1. Google I/O Extended 報告会 Fukuoka 2016 “Audio and Music” 2016-06-25 @yukio_tada #io16jp https://ja.wikipedia.org/wiki/ひよ子
  2. 2. /45 agenda 1. “Android high-performance audio” ‐ May 19 15:00-16:00 ‐ https://youtu.be/F2ZDp-eNrh4 2. “Spatial Audio and Immersion – VR’s Second Sense” ‐ May 20 9:00-10:00 ‐ https://youtu.be/Na4DYI-WjlI 3. “What’s next for the web?” ‐ May 19 13:00-14:00 ‐ https://youtu.be/bK6Ah68jEX8 4. Android Pro Audio ブース展示 1
  3. 3. /45 example of android music apps ‐ DRC – Polyphonic Synthesizer ‐ https://play.google.com/store/apps/details?id=com.imaginand o.drc ‐ https://youtu.be/F2ZDp-eNrh4?t=2m2s ‐ edjing Scratch – digital vinyl ‐ https://play.google.com/store/apps/details?id=com.djit.apps.e djing.scratch ‐ https://youtu.be/F2ZDp-eNrh4?t=3m47s ‐ KORG iKaossilator ‐ http://www.korg.com/jp/products/software/ikaossilator/ ‐ https://youtu.be/F2ZDp-eNrh4?t=4m23s ‐ Android 版は未リリース ‐ ROLI NOISE ‐ https://roli.com/products/noise ‐ https://youtu.be/F2ZDp-eNrh4?t=5m5s ‐ Android 版は未リリース 2
  4. 4. /45 “Latency” and “Glitch” ‐ Latency: 遅延 ‐ 例) ドラムを叩いてから実際に音が出るまで ‐ 10ms(1/100秒)遅れると知覚できる ‐ プロの電子楽器の世界では(遅くとも)4ms以下が基準 ‐ 映像の世界は60fps(16.6ms)なので、音の方が要求が厳しい ‐ Gritch: 音切れ、ノイズ ‐ ブツッ、チリチリ、ブツブツ、… ‐ 何らかの原因で音声データの生成が間に合わなくなったときに起きる ‐ Android は iOS と比較してこれらの問題が発生しやすい ‐ Java ‐ 機種依存 ‐ Latency と Glitch はトレードオフ ‐ Latency 小 → バッファ小 → ちょっとした処理の遅れで Glitch 発生 ‐ これらを高いレベルで解決することが音楽アプリケーション実装の鍵 3
  5. 5. /45 WALT(入出力遅延測定ツール) 4 https://github.com/google/walt
  6. 6. /455
  7. 7. /456 サンプリングレートを ハードコーディングしない
  8. 8. /457
  9. 9. /458 バッファサイズが大きすぎる (48KHz x 4000 sample = 83ms)
  10. 10. /459
  11. 11. /4510
  12. 12. /4511
  13. 13. /4512
  14. 14. /45 Systrace 13
  15. 15. /4514
  16. 16. /45 Android Pro Audio ‐ Android M (API Level 23) で FEATURE_AUDIO_PRO flag 導入 ‐ Latency 20ms (目標10ms) ‐ 現時点での対応機種 ‐ Nexus 9 ‐ Nexus 5x ‐ Nexus 6P ‐ 引き続きハードメーカー・チップメーカーと連携しながら対応を 進めていく計画とのこと 15
  17. 17. /45 @ Day0 Intel Google I/O Party ‐ https://youtu.be/_YT0eXuN8oE 16
  18. 18. /45 nVIDIA SHIELD タブレット向けイメージ 17
  19. 19. /45 Samsung Professional Audio (SAPA) 18
  20. 20. /4519
  21. 21. /45 session summary ‐ 音楽アプリを開発する際には「latency」「glitch」を 減らすことが重要 ‐ 現時点で音楽アプリを開発する際のポイント ‐ (1) サンプルレートとバッファサイズを適切に設定する ‐ (2) バッテリセーブモードに入らないように定期的にタッチイ ベントを送る ‐ (3) Systraceを使って処理時間を測定しパフォーマンスを改善 する ‐ Android M から導入された「Android Pro Audio」の フレームワークを使うことのできる機種がこれから増 えていく見込みなので期待しましょう 20
  22. 22. /45 agenda 1. “Android high-performance audio” ‐ May 19 15:00-16:00 ‐ https://youtu.be/F2ZDp-eNrh4 2. “Spatial Audio and Immersion – VR’s Second Sense” ‐ May 20 9:00-10:00 ‐ https://youtu.be/Na4DYI-WjlI 3. “What’s next for the web?” ‐ May 19 13:00-14:00 ‐ https://youtu.be/bK6Ah68jEX8 4. Android Pro Audio ブース展示 21
  23. 23. /45 spatial audio(空間オーディオ)とは ‐ 音源との位置関係、壁などの反射、頭や耳の形、など を元に、実際の3D環境で聞こえる音を再現する技術 ‐ 簡単な例 ‐ 音源が近づいてくると音が大きくなる ‐ 音源が右側に移動すると右耳に入ってくる音が大きくなる ‐ 音が壁に反射すると反射した音が遅れて聞こえてくる ‐ 複雑な例 ‐ 壁の材質によって反射する音の音量や音質が変わる ‐ 頭を動かすと聞こえる音が変わる ‐ 耳の形による音の変化(周波数・位相差)を利用して、音源の前 後・上下を聞き分けることができる 22
  24. 24. /4523
  25. 25. /4524 初期化 SoundObject 生成 音を鳴らす room effect 設定
  26. 26. /4525
  27. 27. /4526
  28. 28. /45 GVR Sample Video ‐ https://youtu.be/I9zf4hCjRg0 27
  29. 29. /45 Sample code / apk 28 https://github.com/googlevr/gvr-unity-sdk/tree/master/Samples/SpatialAudio
  30. 30. /45 session summary ‐ spatial audio は VR やゲームアプリの臨場感を高める 上で重要な技術 ‐ Google VR SDK で spatial audio がサポートされてい る ‐ Gogole VR SDK は Unity・Android・iOS の3プラット フォームに対応 ‐ spatial audio は以下の4ステップで簡単に利用可能 ‐ 1) Initialize ‐ 2) Create a sound object ‐ 3) Play sound ‐ 4) Add room effects ‐ GitHub でサンプルの apk ファイルが公開されている のでまずはそれを試してみるのが良いのでは 29
  31. 31. /45 agenda 1. “Android high-performance audio” ‐ May 19 15:00-16:00 ‐ https://youtu.be/F2ZDp-eNrh4 2. “Spatial Audio and Immersion – VR’s Second Sense” ‐ May 20 9:00-10:00 ‐ https://youtu.be/Na4DYI-WjlI 3. “What’s next for the web?” 1. May 19 13:00-14:00 2. https://youtu.be/bK6Ah68jEX8 4. Android Pro Audio ブース展示 30
  32. 32. /45 session summary ‐ Progressive Web App, Web Bluetooth, Physical Web, Web USB, ...は割愛 ‐ Web MIDI ‐ MIDI: 楽器と楽器をつなぐためのプロトコル ‐ Web MIDI API: Web アプリケーションから MIDI 機器を制御する ための API ‐ Web MIDI API 実装状況 ‐ Chrome 43(2015-05)以降で標準サポート ‐ Firefox 実装進行中、レビュー段階 ‐ 楽器メーカーやアーティストから Web MIDI API に対応した Web アプリケーションがリリース、実用フェーズに ‐ Soundmondo for reface ‐ Madeon’s Adventure Machine 31
  33. 33. /45 Soundmondo 32 https://youtu.be/Zp_LI1UiCxo?t=1m
  34. 34. /45 Madeon’s Adventure Machine 33 http://www.madeon.fr/adventuremachine/
  35. 35. /45 agenda 1. “Android high-performance audio” ‐ May 19 15:00-16:00 ‐ https://youtu.be/F2ZDp-eNrh4 2. “Spatial Audio and Immersion – VR’s Second Sense” ‐ May 20 9:00-10:00 ‐ https://youtu.be/Na4DYI-WjlI 3. “What’s next for the web?” ‐ May 19 13:00-14:00 ‐ https://youtu.be/bK6Ah68jEX8 4. Android Pro Audio ブース展示 34
  36. 36. /4535 http://jamstik.com/
  37. 37. /4536 https://www.pioneerdj.com/ja-jp/product/controller/ddj-wego3/black/overview/ https://www.algoriddim.com/djay-android
  38. 38. /4537 https://roli.com/
  39. 39. /4538 http://www.korg.com/jp/products/software/ikaossilator/
  40. 40. /4539 https://youtu.be/QlDLX2wrwxE
  41. 41. /4540 https://youtu.be/dMK1OdfNN0E https://play.google.com/store/apps/details?id=com.yurisuzuki
  42. 42. /4541 https://youtu.be/kUslnbMCY0E
  43. 43. /45 おまけ 42
  44. 44. /45 Web Music Developers JP 43
  45. 45. /45 音楽アプリ(DJ)ハッカソンやります ‐ 日時: 7月30日(土) ‐ 場所: Google Japan (六本木) ‐ やること: DJ がライブで使えるような Web アプリを開発する ‐ 今回の特徴: 優秀作品は実際のライブイベントにてデビュー! ‐ 詳細は Web Music Developers JP の ML にて (近日発表) ‐ 過去のハッカソン(4回開催)の様子は、 ”Web Music Developers JP ハッカソン” で検索 44
  46. 46. /45 ありがとうございました! ‐ 本日の資料は slideshare で共有いたします ‐ @yukio_tada ‐ #io16jp 45

×