PowerFL meets Pulsar: A Novel Communication Framework for Privacy-Preserving Computation - Pulsar Summit Asia 2021
•
0 gefällt mir•94 views
The Tencent Angel PowerFL is a fast-growing platform for privacy-preserving computation, which provides a full-stack solution for achieving the great potential in federated learning and analytics. The Angel PowerFL platform enables multiple participants to jointly build machine learning models while keeping their data confidential from each other, and it has superior performance in terms of security, efficiency and reliability. In this talk, we will introduce a novel federated communication framework, which is built on Apache Pulsar. We use Apache Pulsar as the fundamental component to build the secure communication channels, upon which a federation SDK is built as the communication protocol for multiparty privacy-preserving computation. We will also show that our framework can support real-time federated model serving and applications.
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie PowerFL meets Pulsar: A Novel Communication Framework for Privacy-Preserving Computation - Pulsar Summit Asia 2021
Ähnlich wie PowerFL meets Pulsar: A Novel Communication Framework for Privacy-Preserving Computation - Pulsar Summit Asia 2021 (20)
Mehr von StreamNative
Mehr von StreamNative (20)
PowerFL meets Pulsar: A Novel Communication Framework for Privacy-Preserving Computation - Pulsar Summit Asia 2021
- 4. 数据安全与隐私保护问题引起行业广泛关注 § 用户隐私泄露、数据违规事件频频出现，引发行业广泛关注隐私保 护 § 监管愈发严苛，数据保护法律法规日益完善，跨机构之间直接共享、 传输数据变得不再可行 § 保护用户隐私和数据安全，如何在数据不出域的情况下实现多方数 据协同应用？ • 联通“数据孤岛”，助力释放数据融合应用价值 • 实现“数据可用不可见” • 促进数据协同应用业务模式创新，保障数据业务持续发展 11月1日起施行 9月1日起施行 2018年5月25日生效 媒体平台A 广告主B
- 5. 隐私计算被视为多方数据协同应用的技术解 5 合规要求 • 数据隐私保护日益受到关注 • 国内、外法律法规陆续出台 • 数据采集、使用等监管日趋严苛 • 隐私安全已经成为数据类应用业 务的首要合规要求 行业刚需 • 金融、广告等数据隐私敏感行业 急需安全计算技术解决方案 • 国内互联网头部公司以及一批创 业公司均已大量投入相关技术研 发 • 初步形成行业标准规范 技术发展 • 安全多方计算（MPC）、分布式 学习、密码学等传统领域逐渐形 成一门交叉技术：隐私计算 • 同态加密、秘密分享、差分隐私、 可信计算等关键技术趋于成熟 • 已在多个实际应用场景落地验证 § 人民银行：鼓励应用多方安全计算、联邦学习、联盟链等“新方法”实现数据可用不可见、数据不动价值动 § 安全多方计算（MPC）、联邦学习、TEE/SGX、区块链等隐私计算技术将成为基础解决方案 § 业界加大投入关键技术研究和平台系统的研发，隐私计算（联邦学习、联邦SQL）成为行业热点 • 联邦学习：在不共享、不发送数据的情况下，多方联合进行建模、提供模型推理服务 • 联邦SQL（联合分析）：在不共享、不发送数据（表）的情况下，多方联合进行统计分析、联合查询 央行&金标委，金融行业标准，《多方安全计算金融应用技术规范》（JR/T 0196-2020），2020.11.24 央行&金标委，金融行业标准，《联邦学习技术金融应用规范》，工商银行牵头，标准制定中 注：隐私计算，也称为隐私保护计算、面向隐私保护的计算
- 6. 隐私计算主要技术路线 § 联邦学习：在各方数据不出本地的情况下，进行多方联合机器学习和深度学习。 § 安全多方计算：在不泄露各自数据且没有可信第三方的情况下，多方安全联合计算。用于隐 私信息查询、隐私集合求交、联合统计分析等。 § 可信计算：借助硬件实现可信执行环境，用于存放敏感数据，并保证它们的机密性与完整性。 § 区块链：利用密码学技术和分布式共识协议，实现数据多方维护、交叉验证、全网一致、不 易篡改。 http://www.jjckb.cn/2021-09/06/c_1310171566.htm https://www.8btc.com/media/664013 联邦学习 安全多 方计算 融合 隐私性 安全性 可追溯性 区块链 可信计算
- 7. PowerFL：腾讯自研的高性能全栈隐私计算平台 PowerFL 安全算子 通信框架 Secret Sharing 数据源A 数据源B 数据源C 联邦学习 联邦SQL 金融机构 媒体 运营商 医疗 政务机构 电商 金融 政务 广告 医疗 联合数据库 联合建模 联合分析 同态加密 差分隐私 TEE/SGX 联邦调度 私密分享 保障数据安全 •多种隐私保护机制适应多种数据安全需求等级 •实现基础安全算子，通过编译优化生成（跨机构）分布 式执行计划 算法丰富、性能领先 •安全求交、隐匿查询、联合分析、联合建模、联合推理等 •构建安全联合计算基础设施，释放数据协同应用价值 数据应用合规 •应对愈发严格的数据安全监管和个人隐私保护法规 •在不共享、不发送用户数据的情况下进行多方联邦学 习和联合分析
- 9. 隐私计算系统架构设计的特点 • 密文计算：算法使用安全加密技术， 流程复杂，计算复杂度增加2000+倍 • 跨网通信：易受网络攻击，带宽低、 延迟大和错误率高，密文膨胀近200 倍通信量大增 • 跨机构调度：协调多方计算资源、同 步各方任务并做异常处理，业务逻辑 复杂 • 异构环境部署：落地场景复杂，各方 网络环境和机器资源各异，部署和后 期运维成本高
- 10. 隐私计算中跨网通信面临的挑战 • 算法层处理跨网通信及异常，影响算法计算性能 • 并行计算节点间数据路由策略复杂，不灵活且不 易扩展 • 落地场景受限，无法满足一方无法暴露端口的场 景要求 driver executor executor driver executor executor 挑战：算法协议多方交互，跨网传输大量密文数据 通信加速、通信容错、网络适配、通信安全 现有解决方案及问题： 计算节点/线程之间直接通过gRPC/HTTP同步数据
- 11. 基于Pulsar的跨网通信框架 • 实现数据路由和异步通信加速 • 实现数据传输容错 • 适配多种网络拓扑结构 • 多层次确保跨网通信安全 • 提供sdk供计算层调用，极大简化算法开发 基于Pulsar，将通信层与计算层进行解耦 优化方案 driver executor executor driver executor executor 挑战：算法协议多方交互，跨网传输大量密文数据 通信加速、通信容错、网络适配、通信安全
- 12. 网络代理服务: • 接收gRPC请求同步数据到本地数据队列 • 负责处理跨网传输的鉴权 PowerFL通信组件介绍 sdk driver executor1 executorN PUSH <topic, data> => Ack PULL <topic> => <data> Pulsar < , , > 通信sdk： • 为算法层提供统一数据传输接口 • 负责通信容错的处理逻辑 Pulsar消息队列： • 同步队列：注册需要同步的数据队列名称及方式 • 数据队列：缓存需要同步的中间计算结果 数据同步服务: • 订阅同步队列获取需要同步的数据队列名及方式 • 通过对方网络代理服务同步数据队列中的数据
- 13. PowerFL的跨网通信框架 – 提高数据吞吐量 优化点1：流式计算和自动水平扩缩容，提高数据吞吐量 优化效果：峰值流量提高20倍 10G/小时 => 200G/小时 挑战： 密文膨胀近200倍导致通信量大增 • 通信sdk： • 提供流式传输接口，最大限度实现计算与通信的重叠 • 通过不同的数据队列提高数据同步的并行度 • 支持自动水平扩缩容: • 网络代理组件根据流量自动水平扩缩容调节副本数 • 数据同步组件根据负载自动水平扩缩容调节副本数 • 支持负载均衡： • 网络代理组件通过k8s的svc对外实现流量的负载均衡 • 数据同步组件通过订阅同步队列实现数据同步的负载均衡 sdk driver executor1 executorN PUSH <topic, data> => Ack PULL <topic> => <data> Pulsar
- 14. PowerFL的跨网通信框架 – 支持异步并行计算 §参与方之间进行加密中间计算结果或转化结果的交换， 导致不同参与方之间的计算逻辑存在依赖性。 §数据进行分批处理，不同的小批量数据之间可以异步 并行计算（跨机构异步并行计算） 基于Spark跨机构异步并行计算 §联邦学习需要进行跨机构的密文联合计算和通信，对于海量数 据，计算和通信的开销都非常大 §对数据进行分块（partition），对不同的partition进行并行 处理，进一步在partition内进行mini-batch处理 参与方A（Guest） 参与方B（Host） • 跨机构异步并行计算，带来性能提升10倍+ • 分partition和mini-batch处理，可用于多个联合计算场景 （联邦特征工程、联邦建模、联合分析） • 支持计算引擎：Spark, TensorFlow, PyTorch 优化点2：支持异步并行 计算 挑战：
- 15. PowerFL的跨网通信框架 – 多种通信安全策略 优化点3：多种通信安全策略 • token互信授权 • Topic订阅授权 • 端到端加密：即使消息队列部署在第三方， 仍能保证通信安全 挑战：跨公网传输，端到端通信安全 中国金融认证中心 多方安全计算产品检测报告
- 16. PowerFL的跨网通信框架 – 多种数据同步机制 优化点4：数据同步机制 • 推送模式： 1. 通信sdk在同步队列中注册待同步数据队列名 (PUSH模式) 2. 由数据同步组件从数据队列中批量消费数据并调用 对方PUSH接口 • 拉取模式： 1. 通信sdk在同步队列中注册待同步数据队列名 (PULL模式) 2. 数据同步组件以轮询的方式调用对方PULL接口， 并将数据放回放入本地指定数据队列中供sdk消费 挑战：落地场景复杂，需要灵活适配多种网络策略，尤其是金融场景下需要支持无法暴露网络端口的情况 sdk driver executor1 executorN sdk driver executor1 executorN < , , , > PUSH < , > => PULL < > => < > Pulsar Pulsar
- 17. PowerFL的跨网通信框架 – 适配多种网络拓扑 Pulsar 参与方A（公司A） 参与方B（公司B） A主动发送消息给B 暴露端口 Pulsar 暴露端口 B主动发送消息给A Pulsar A主动发送消息B 不暴露端口 Proxy 暴露端口 A从B方拉取消息 Proxy 主 动 发 送 消 息 不暴露端口 Proxy 不暴露端口 拉 取 消 息 Pulsa r 主 动 发 送 消 息 拉 取 消 息 第三方 § Pulsar：作为消息队列，用以缓存各方之间 传递的中间结果 § 双向主动发送模式 § 单向主动发送模式，另一方使用拉取的方式（PULL） § 使用第三方Pulsar § 两方都采用拉取方式（PULL）
- 18. 应用案例
- 19. 应用案例：联邦学习在内容推荐场景应用案例 user embedding item embedding loss label 平台数据库 视频数据库 instance id: 数据求交 视频画像 用户画像 参与方A 参与方B 双塔召回模型 基于相同的样本，A和B各自分别计算user embedding和 item embedding A方将user embedding传给B方，B方计算内积，通过 sigmoid函数得到prediction score B方计算loss和梯度，得到对应user embedding梯度信息 B方将user embedding对应的梯度信息g再回传给A方 A和B计算各自的模型参数对应的梯度信息，并更新模型 § 通过同态加密或者差分隐私保护user embedding和梯度信息 单方 建模 联邦 建模 +35.63% 人均视频播放个数 单方 建模 联邦 建模 +28.75% 人均视频播放时长
- 20. PowerFL项目影响力
- 21. 谢 谢