终于把隐私计算联邦学习多方安全计算机密计算差分隐私全搞清楚了.docx
《终于把隐私计算联邦学习多方安全计算机密计算差分隐私全搞清楚了.docx》由会员分享，可在线阅读，更多相关《终于把隐私计算联邦学习多方安全计算机密计算差分隐私全搞清楚了.docx（21页珍藏版）》请在冰豆网上搜索。
终于把隐私计算联邦学习多方安全计算机密计算差分隐私全搞清楚了
终于把隐私计算、联邦学习、多方安全计算、机密计算、差分隐私全搞清楚了！
隐私计算、多方安全计算、联邦学习等技术现在很火，但网上查的的资料要么太深看不懂，要么太浅搞不明白，要么太碎形不成体系，今天就用业务的语言给你彻底讲清楚。
首先讲一个百万富翁比财富的故事：
两个百万富翁街头邂逅，他们都想炫一下富，比比谁更有钱，但是出于隐私，都不想让对方知道自己到底拥有多少财富，如何在不借助第三方的情况下，让他们知道他们之间谁更有钱？
这是几十年前多方安全技术（隐私计算的一种技术）要解决的经典问题。
你也许马上就会想到，如果能在不知道对方数据的情况下进行数据的融合安全计算，从而获得一个有价值的结论，这不就是数据领域梦寐以求的东西吗？
的确是这样，如果说深度学习的出现让AI焕发新生，那么数据流通和共享带来的巨大商机让隐私计算焕发出新生。
与传统的资本、土地、劳动、技术等一样，数据已是生产要素之一，与算力、算法组合，成为一种新型社会生产力，越来越多的业务场景需要多方数据的流通和共享。
在金融领域，银行保险机构借助内外部数据进行联合建模，实现数字营销、精准获客、差异化定价、智慧风控及反欺诈等。
在医疗领域、医药企业、医疗机构和保险公司通过病例数据共享，形成联合AI模型进一步提高精准度。
在政务、能源、交通、环保、工业和电信等具备大量数据基础的领域，数据共享和利用已经成为规划和落地应用必不可少的部分。
隐私计算使企业在数据合规要求前提下，能够充分调动数据资源拥有方、使用方、运营方、监管方各方主体积极性，实现数据资源海量汇聚、交易和流通，从而盘活第三方机构数据资源价值，促进数据要素的市场化配置，在《国家数据安全法》颁布的当下，隐私计算更凸显价值。
隐私计算其实是一堆“数据可用不可见”技术集合，包括多方安全计算、联邦学习、机密计算、差分隐私及数据脱敏等等，这些技术既有联系又有区别，既有优势也有劣势，如果你不明觉厉或者一知半解，一定要读一读这篇文章。
一、隐私计算
隐私计算是“隐私保护计算”（Privacy-PreservingComputation）的中文简称，没有统一的标准定义，这里摘取部分组织和文档的定义，基本表达了同样的意思，大家意会就行：
中国隐私计算产业发展报告（2020-2021）：
隐私计算是指在提供隐私保护的前提下实现数据价值挖掘的技术体系，而非单一技术，早期多被定义为隐私保护计算、隐私保护技术等。
2016年发布的《隐私计算研究范畴及发展趋势》正式提出“隐私计算”一词，并将隐私计算定义为“面向隐私信息全生命周期保护的计算理论和方法，是隐私信息的所有权、管理权和使用权分离时隐私度量、隐私泄漏代价、隐私保护与隐私分析复杂性的可计算模型与公理化系统。
隐私保护计算技术研究报告：
隐私计算是指在提供隐私保护的前提下，实现数据价值挖掘的技术体系。
面对数据计算的参与方或意图窃取信息的攻击者，隐私保护计算技术能够实现数据处于加密状态或非透明（Opaque）状态下的计算，以达到各参与方隐私保护的目的。
隐私保护计算并不是一种单一的技术，它是一套包含人工智能、密码学、数据科学等众多领域交叉融合的跨学科技术体系。
隐私保护计算能够保证满足数据隐私安全的基础上，实现数据“价值”和“知识”的流动与共享，真正做到“数据可用不可见。
”
大数据联合国全球工作组：
隐私计算是一类技术方案，在处理和分析计算数据的过程中能保持数据不透明、不泄露、无法被计算方法以及其他非授权方获取。
腾讯隐私计算白皮书2021：
隐私计算（PrivacyComputing）是一种由两个或多个参与方联合计算的技术和系统，参与方在不泄露各自数据的前提下通过协作对他们的数据进行联合机器学习和联合分析。
隐私计算的参与方既可以是同一机构的不同部门，也可以是不同的机构。
由上可知，在隐私计算框架下，参与方的数据不出本地，在保护数据安全的同时实现多源数据跨域合作，可以破解数据保护与融合应用难题。
隐私保护计算架构可抽象为下图，在隐私保护计算参考架构中，主要有数据方、计算方和结果方三类角色，数据方是指为执行隐私保护计算过程提供数据的组织或个人；计算方是指为执行隐私保护计算过程提供算力的组织或个人；结果放是指接收隐私保护计算结果的组织或个人。
隐私保护计算的目标是在完成计算任务的基础上，实现数据计算过程和数据计算结果的隐私保护。
数据计算过程的隐私保护指参与方在整个计算过程中难以得到除计算结果以外的额外信息，数据计算结果的隐私保护指参与方难以基于计算结果逆推原始输入数据和隐私信息。
从技术机制来看，隐私计算主要分为三大技术路线，即安全多方计算（密码学）、联邦学习及机密计算，有的会把侧重算法也单列一类，比如差分隐私等隐私相关的技术.
可以看到，隐私计算是个技术体系，不能混淆了安全多方计算、联邦学习、隐私计算概念间的关系，比如安全多方计算只是隐私计算的一个子集，联邦学习与安全多方计算也不是同一回事，虽然彼此也有联系。
下面针对隐私计算涉及的主要技术逐一介绍，每种技术会从定义、图解及案例三个角度去阐述，方便理解这些技术的本质和用途。
注：
隐私计算涉及大量密码学、算法的知识，如需进一步理解，推荐去阅读相关的论文。
二、多方安全计算
多方安全计算（SecureMulti-PartyComputation），MPC由姚期智在1982年提出，指参与者在不泄露各自隐私数据情况下，利用隐私数据参与保密计算，共同完成某项计算任务。
该技术能够满足人们利用隐私数据进行保密计算的需求，有效解决数据的“保密性”和“共享性”之间的矛盾。
多方安全计算包括多个技术分支，目前，在MPC领域，主要用到的是技术是秘密共享、不经意传输、混淆电路、同态加密、零知识证明等关键技术，你可以认为多方安全计算是一堆协议集。
1、秘密共享
（1）定义
秘密共享的思想是将秘密以适当的方式拆分，拆分后的每一个份额由不同的参与者管理，单个参与者无法恢复秘密信息，只有若干个参与者一同协作才能恢复秘密消息。
更重要的是，当其中任何相应范围内参与者出问题时，秘密仍可以完整恢复。
（2）图解
假如你和你的朋友们正在一起面临某种生存困境，比如在野外迷路了，或是被困在沙漠中，或是核冬天，或是丧尸来袭，你们难以获取食物，只好将剩下的食物的收集到一起放进保险箱。
但是有个问题—你们并不相信其他人，其他人很可能趁大家不注意将食物偷走。
这时候，保险箱的钥匙应该怎么保管？
shamir方案就是指准备w把钥匙，至少要t把钥匙才能开启：
（3）案例
1994年，Naor和Shamir提出可视密码，是一种依靠人眼解密的秘密共享方法，它是将一个秘密图像加密成n张分存图像，n张分存图像可以打印到胶片上、存入电脑或移动存储器中，且分别由n个人保存。
解密时只需k个人（或k个以上）将各自的分存图像叠加，秘密图像就会呈现出来，而少于k个人无法获得秘密图像的一点信息。
2、同态加密
（1）定义
同态加密是一种允许在加密之后的密文上直接进行计算，且计算结果解密后和明文的计算结果一致的加密算法。
这个特性属性对于保护信息的安全具有重要意义，利用同态加密技术可以先对多个密文进行计算之后再解密，不必对每一个密文解密而花费高昂的计算代价；利用同态加密技术可以实现无密钥方对密文的计算，密文计算无须经过密钥方，既可以减少通信代价，又可以转移计算任务，由此可平衡各方的计算代价，利用同态加密技术可以实现让解密方只能获知最后的结果，而无法获得每一个密文的消息，可以提高信息的安全性。
（2）图解
（3）案例
目前云计算应用中，从安全角度来说，用户还不敢将秘钥信息直接放到第三方云上进行处理，通过实用的同态加密技术，则大家可以放心使用各种云服务，同时各种数据分析过程中也不会泄露用户隐私。
加密后的数据在第三方服务处理后得到加密后的结果，这个结果只有用户自身可以进行解密，整个过程第三方平台无法获知任何有效的数据信息。
3、不经意传输
（1）定义
不经意传输是一种可保护隐私的双方通信协议，消息发送者从一些待发送的消息中发送某一条给接收者，但并不知道接收者具体收到了哪一条消息。
不经意传输协议是一个两方安全计算协议，协议使得接收方除选取的内容外，无法获取剩余数据，并且发送方也无从知道被选取的内容。
比如Alice每次发两条信息（m0、m1）给Bob，Bob提供一个输入，并根据输入获得输出信息，在协议结束后，Bob得到了自己想要的那条信息（m0或者m1），而Alice并不知道Bob最终得到的是哪条。
（2）图解
流程：
1.发送者Alice生成两对rsa公私钥，并将两个公钥puk0、puk1发送给接受者Bob。
2.Bob生成一个随机数，并用收到的两个公钥之一加密随机数（用哪个秘钥取决于想获取哪条数据，例如如果想要得到消息M0就用puk0加密随机数，如果想要得到M1就用puk1加密随机数），并将密文结果发送给Alice。
3.Alice用自己的两个私钥分别解密收到随机数密文，并得到两个解密结果k0，k1，并将两个结果分别与要发送的两条信息进行异或（k0异或M0，k1异或M1），并将两个结果e0，e1发给Bob。
4.Bob用自己的真实随机数与收到的e0、e1分别做异或操作，得到的两个结果中只有一条为真实数据，另外一条为随机数。
分析：
在此过程中第3步最为关键，如果Alice无法从用两条私钥解密得到的结果k0、k1中区分出Bob的真实随机数，则能保证Alice无法得知Bob将要获取的是哪条数据。
Bob没有私钥也就无法得出真实的私钥解密结果（如果k0为真实随机数，Bob无法得知k1的值），所以也就只能得到自己想要的那条数据而无法得到另外一条，保障协议能执行成功。
（3）案例
Alice和Bob打牌，Alice总是输，为了让Alice的游戏体验好一点，Alice可以看Bob的某一张手牌的大小，但是Alice并不想让Bob知道看了哪张，不然很可能还是打不赢！
这个场景下，就可以通过不经意传输来传递牌的大小，这样可以保证Alice只能看到一张的大小，且Bob不知道Alice看了哪一张牌。
4、零知识证明
（1）定义
零知识证明指的是证明者能够在不向验证者提供任何有用信息的情况下，使验证者相信某个论断是正确的。
允许证明者prover、验证者verifier证明某项提议的真实，却不必泄露除了「提议是真实的」之外的任何信息。
举个最简单的阿拉伯童话《一千零一夜》里的零知识证明：
阿里巴巴与四十大盗的故事其中一个片段。
阿里巴巴会芝麻开门的咒语，强盗向他拷问打开山洞石门的咒语，他不想让人听到咒语，便对强盗说：
“你们离我一箭之地，用弓箭指着我，你们举起右手，我念咒语打开石门，举起左手，我念咒语关上石门，如果我做不到或逃跑，你们就用弓箭射死我。
”
这个方案对阿里巴巴没损失，也能帮助他们搞清楚阿里巴巴到底是否知道咒语，于是强盗们同意。
强盗举起了右手，只见阿里巴巴的嘴动了几下，石门打开了；强盗举起了左手，阿里巴巴的嘴动了几下，石门又关上了。
强盗有点不信，没准这是巧合，多试几次过后，他们相信了阿里巴巴。
这即是最简单易懂的零知识证明。
（2）图解
如图所示为零知识证明的一个经典模型—洞穴模型[7]，该模型不涉及具体算法实现，仅用于初步说明零知识证明的原理和效果：
在图中，C点和D点之间存在一道密门，只有知道秘密口令的人才能打开。
证明者（Prover）P知道秘密口令，并希望向验证者（Verifier）V证明，但又不希望泄露秘密口令，可通过以下证明过程实现：
第一步，验证者V站在A点，证明者P站在B点；
第二步，证明者P随机选择走到C点或D点，验证者V在A点无法看到证明者P选择的方向；
第三步，验证者V走到B点，并要求证明者P从左通道/右通道的方向出来；
第四步，证明者P根据验证者V的要求从指定方向出来，如有必要需要用秘密口令打开密门。
如果证明者P知道秘密口令，就一定能正确地从验证者V要求的方向出来；如果证明者P不知道秘密口令，则每次有1/2的概率能从验证者V要求的方向出来。
该证明过程可重复进行多次，直到验证者V相信证明者P拥有打开密门的秘密口令。
通过以上证明过程，证明者P就向验证者V完成了关于秘密口令的零知识证明，即证明过程不会泄露任何关于秘密口令的知识。
下面以默克尔树结构为例，实现零知识证明即意味着，如何证明某个人拥有L1-L4这些原始数据，但又不需将数据公之于众？
第一步：
证明者可通过创建如图所示的默克尔树结构，然后对外公布Hash0-1、Hash1以及TopHash（在哈希算法篇时，我们曾介绍过仅哈希值无法推导出原始数据）。
第二步：
通过数据L1经哈希算法生成Hash0-0，然后根据公布的Hash0-1生成Hash0，再根据公布的Hash1生成TopHash。
如果最后生成的TopHash值与公布的TopHash值一致，则可证明他是拥有L1-L4数据，而不需要公布这一系列的原始数据。
这也就实现了零知识证明。
（3）案例
信任是业务往来的基础。
做生意，无论在网上还是在现实世界中，我们需要知道和谁打交道，他们是否会履行承诺。
问题是这以牺牲隐私为代价。
为了判断某人是否值得信任，要了解他们是什么样的人，获取个人数据甚至信用卡号码。
常规的区块链交易，当资产从一方发送到另一方时，该交易的详细信息对网络中每一方都可见。
相反，零知识证明交易中，其他人只知道发生了有效的交易，而不知道发送方、接收方、资产类别和数量。
花费的身份和金额可以隐藏起来，并且可以避免诸如“抢先”之类的问题。
5、混淆电路
（1）定义
混淆电路是双方进行安全计算的布尔电路。
混淆电路将计算电路中的每个门都加密并打乱，确保加密计算的过程中不会对外泄露计算的原始数据和中间数据。
双方根据各自的输入依次进行计算，解密方可得到最终的正确结果，但无法得到除结果以外的其他信息，从而实现双方的安全计算。
（2）图解
现在要说说混淆电路具体是如何工作的了。
注意关键词“电路（circuit）”，我们知道可计算问题都可以转换为一个个电路，于是就有了加法电路、比较电路和乘法电路等等。
如上图所示，Alice和Bob想要搞点事情，他们搞了个电路，电路里面有一些门，每个门包括输入线（inputwire）和输出线（outputwire）。
混淆电路就是通过加密和扰乱这些电路的值来掩盖信息的。
在最经典的混淆电路中，加密和扰乱是以门为单位的。
每个门都有一张真值表。
比如下图就是与门的真值表和或门的真值表。
下面就以与门为例来说明混淆电路的工作原理。
Alice和Bob想计算一个与门。
该门两个输入线x和y和一个输出线z，每条线有0和1两个可能的值。
Alice首先给每条线指定两个随机的key，分别对应0和1。
然后，Alice用这些密钥加密真值表，并将该表打乱后发送给Bob。
加密过程就是将真值表中每一行对应的x和y的密钥key加密z的密钥。
这一加密+打乱的过程，就是混淆电路（garbledcircuit）的核心思想。
那Bob收到加密表后，如何计算呢？
首先Alice把自己的输入对应的key发给Bob，比如Alice的输入是0，那就发K0x，输入是1就发K1x。
同时通过不经意传输把和Bob有关的key都发给Bob，也就是K0y和K1y，然后Bob根据自己的输入挑选相关的key，但Alice并不知道Bob选了哪个key。
Bob根据收到的Kx和自己的Ky，对上述加密表的每一行尝试解密，最终只有一行能解密成功，并提取出相应的Kz。
Bob将Kz发给Alice，Alice通过对比是还是K0z还是K1z得知计算结果是0还是1。
由于整个过程大家收发的都是密文或随机数，所以没有有效信息泄露。
（3）案例
目前来说，安全多方计算主要是通过混淆电路及秘密共享两个方式实现。
基于混淆电路的协议更适用于两方逻辑运算，通讯负担较低，但拓展性较差。
而基于秘密分享的安全多方计算其拓展性较强，支持无限多方参与计算，计算效率高，但通讯负载较大。
三、联邦学习
（1）定义
假设有两个不同的企业A和B，它们拥有不同的数据，比如企业A有用户特征数据，企业B有产品特征数据和标注数据。
这两个企业按照GDPR准则是不能粗暴地把双方数据加以合并的，因为他们各自的用户并没有机会同意这样做。
假设双方各自建立一个任务模型，每个任务可以是分类或预测，这些任务也已经在获得数据时取得了各自用户的认可。
那么，现在的问题是如何在A和B各端建立高质量的模型。
但是，又由于数据不完整（例如企业A缺少标签数据，企业B缺少特征数据），或者数据不充分（数据量不足以建立好的模型），各端有可能无法建立模型或效果不理想。
联邦学习就是来解决这个问题的。
联邦学习的本质是一种机器学习框架，即分布式机器学习技术。
联邦学习以一个中央服务器为中心节点，通过与多个参与训练的本地服务器（以下简称“参与方”）交换网络信息来实现人工智能模型的更新迭代。
即中央服务器首先生成一个通用神经网络模型，各个参与方将这个通用模型下载至本地并利用本地数据训练模型，将训练后的模型所更新的内容上传至中央服务器，通过将多个参与方的更新内容进行融合均分来优化初始通用模型，再由各个参与方下载更新后的通用模型进行上述处理，这个过程不断重复直至达到某一个既定的标准。
在整个联邦学习的过程中，各参与方的数据始终保存在其本地服务器，降低了数据泄露的风险。
（2）图解
我们以包含两个数据拥有方（即企业A和B）的场景为例介绍联邦学习的系统构架。
该构架可扩展至包含多个数据拥有方的场景。
假设企业A和B想联合训练一个机器学习模型，它们的业务系统分别拥有各自用户的相关数据。
此外，企业B还拥有模型需要预测的标签数据。
出于数据隐私保护和安全考虑，A和B无法直接进行数据交换，可使用联邦学习系统建立模型。
联邦学习系统构架由三部分构成。
第一部分：
加密样本对齐。
由于两家企业的用户群体并非完全重合，系统利用基于加密的用户样本对齐技术，在A和B不公开各自数据的前提下确认双方的共有用户，并且不暴露不互相重叠的用户，以便联合这些用户的特征进行建模。
第二部分：
加密模型训练。
在确定共有用户群体后，就可以利用这些数据训练机器学习模型。
为了保证训练过程中数据的保密性，需要借助第三方协作者C进行加密训练。
以线性回归模型为例，训练过程可分为以下4步：
第①步：
协作者C把公钥分发给A和B，用以对训练过程中需要交换的数据进行加密，注意传输的数据是模型的计算中间结果（后面会解释具体是什么），不涉及用户隐私，当然虽然传输的数据是加密的，但模型训练的时候是要用私钥解密的。
第②步：
A和B之间以加密形式交互用于计算梯度的中间结果，那个这个中间结果具体指什么呢？
我的理解是这样：
假设A上有样本的X1,X2特征，B上有样本的X3,X4特征及标签Y，模型为logistic回归；首先，A根据当前模型计算每条记录的X1,X2线性组合结果，B根据当前模型计算每条记录的X3,X4线性组合结果；然后A将结果加密后传给B，同时B将结果加密后传给A。
第③步：
A和B分别基于解密后的交互中间信息（线性组合结果）进行各自的梯度值计算，比如B可基于接收的线性组合结果、标签Y等数据计算LOSS（损失）及X3、X4的梯度，A接收后可计算LOSS（损失）及X1,X2的梯度。
然后A,B分别将计算得到的X1,X2,X3,X4的梯度值上传到C，C基于梯度值计算出模型的新参数。
第④步：
C将四个新参数分别传送回A和B，也就是更新A,B的模型，用于新一轮的迭代。
迭代上述步骤直至损失函数收敛，这样就完成了整个训练过程。
在样本对齐及模型训练过程中，A和B各自的数据均保留在本地，且训练中的数据交互也不会导致数据隐私泄露。
因此，双方在联邦学习的帮助下得以实现合作训练模型。
模型正式部署到生产后，如果要用于预测，比如输入一个用户ID，则A,B模型分别提供预测的线性组合结果并相加，从而得到最终的预测值。
第三部分：
效果激励。
联邦学习的一大特点就是它解决了不同机构要加入联邦共同建模的问题，提供数据多的机构所获得的模型效果会更好，模型效果取决于数据提供方对自己和他人的贡献。
这些模型的效果在联邦机制上会分发给各个机构反馈，并继续激励更多机构加入这一数据联邦。
以上三部分的实施，既考虑了在多个机构间共同建模的隐私保护和效果，又考虑了以一个共识机制奖励贡献数据多的机构。
（3）案例
金融行业中面向金融机构与政府基于联邦学习技术进行联合建模的落地应用。
例如金融机构结合其服务企业的金融行为、资产等特征与政府的企业信息、企业税务信息、企业违规信息等特征，采用纵向联邦学习联合建模开展企业的信用风控评估。
金融机构间通过同一用户群的金融行为数据采用纵向联邦学习联合分析金融反欺诈。
四、机密计算
（1）定义
机密计算就是针对数据在使用过程中的安全问题所提出的一种解决方案。
它是一种基于硬件的技术，将数据、特定功能、应用程序，同操作系统、系统管理程序或虚拟机管理器以及其他特定进程隔离开来，让数据存储在可信执行环境（TrustedExecutionEnvironment，TEE）中，即使是使用调试器，也无法从外部查看数据或者执行操作。
TEE确保只有经过授权的代码才能访问数据，如果代码被篡改，TEE将阻止其继续进行操作。
机密计算的核心功能有：
第一、保护In-Use数据的机密性：
内存中的数据是被加密的，即便被攻击者窃取到内存数据也不会泄露数据；
第二、保护In-Use数据的完整性：
度量值保证了数据和代码的完整性，使用中有任何数据或代码的改动都会引起度量值的变化；
第三、保护In-Use数据的安全性：
相比普通应用，机密计算应用有更小的TCB（TrustedComputeBase），意味着更小的攻击面，也意味着更安全。
，以IntelSGX为例，除了CPU和可信应用自身以外，其他软硬件的访问都是被拒绝的，包括操作系统、Hypervisor等。
（2）图解
按照普通方式部署敏感应用，应用会依赖操作系统、VMM、硬件甚至是云厂商，TCB非常大，面临的攻击面也非常大。
只要TCB中只要有一处遭到攻击，应用都有数据泄露和破坏的风险。
而把敏感应用部署在IntelSGX的TEE中，TCB只有CPU和TEE本身。
一方面攻击面变得很小，另一方面TEE的安全机制也会使应用更安全。
（3）案例
支持TEE的硬件平台主要有3个：
IntelSGX、ARMTrustZone和AMDSEV，它们有不同的应用场景和实现方式：
ARMTrustZone把硬件资源分为安全世界和非安全世界两部分，所有需要保密的操作在安全世界执行，其余操作在非安全世界执行，安全世界和非安全世界通过一个名为MonitorMode的模式进行转换。
典型的应用场景有移动支付、数字钱包等；
AMD利用SEV（AMDSecureEncryptedVirtualizationn），SME（AMDSecureMemoryEncryption）和SEV-ES（SecureEncryptedVirtualization-EncryptedState）等技术实现虚拟机的Guest内存加密和安全隔离；
IntelSGX是Intel提供的一组指令，用于提高应用的代码和数据的安全性，用户可以把敏感数据放入到Encalve中，Enclave是一种受保护的可信执行环境。
阿里云ACK-TEE和开源项目InclavareContainers都是基于IntelSGX实现的机密计算。
五、差分隐私
升级会员 