企业AI协作新时代来临，可数据不出本地联合建模

电商平台能否和银行合作,根据用户信用进行定制化产品推荐?保险公司能否和二手车厂商合作,基于历史消费进行保险精准定价?当“产业互联网”时代到来,企业从争夺C端流量红利转向B端建立联盟,人工智能技术也被越来越多应用到业务中,一个不可忽视的问题是,如何在符合政策法规要求,满足数据隐私保护的前提下,进行跨界合作?

近日,微众银行AI团队在2019中国计算机学会青年精英大会(YEF 2019)上提出了解决方案,指出对企业机构而言,尤其是不同行业希望跨界合作的企业,“联邦学习”能够帮助其实现数据不出本地的联合建模,实现安全有效的AI协作。

微众银行首席人工智能官、香港科技大学讲座教授杨强教授在大会特邀报告中指出,“联邦学习”是分布式的加密机器学习算法框架,可以让企业数据不出本地而进行协作,通过联合建模提升各自模型的效果,在保护数据隐私的前提下,打破机构之间的数据壁垒。

微众银行AI部门高级研究员刘洋博士在大会“联邦学习与用户隐私”专题论坛表示,联邦学习在很多场景下都有广泛的应用。刘洋博士提到,针对用户群体和用户特征维度的不同情况,企业间的合作可以通过“横向联邦学习”、“纵向联邦学习”或者是“联邦迁移学习”。

在用户特征维度相同,用户不完全相同的情况下,例如同样是银行,各银行间用户不完全重叠,可以采用“横向联邦学习”进行合作。例如,在不共享用户数据的前提下,微众银行联合多家银行建立的反洗钱模型,经过模拟测试,参与银行越多,模型的性能越高。

多家医院医疗影像、病例分散的情况下,也可以通过横向联邦学习提升疾病预测准确度,提升整体诊疗水平。

在用户群体相似,特征维度不同的情况下,例如同一用户在银行有很多低频表现数据,在互联网有高频社交数据,银行和社交平台可以采用“纵向联邦学习”进行跨界协作。这种情况在B端很常见,例如,微众银行除央行征信数据、流水数据外,将能证明企业经营健康程度的发票数据等不同维度数据纳入风控建模,在保护隐私和数据安全的情况下,对小微企业风控模型性能提升了7%,随着风险甄别能力提升,可贷企业范围也显著扩大。

在用户群体和用户特征都重合很小的情况下,例如跨区域跨行业差别较大的企业和机构之间,可以通过“联邦迁移学习”寻求合作机会。这一方法首次将“联邦学习”和“迁移学习”结合起来,由微众银行AI团队在杨强教授的带领下提出,突破了行业领域、机构类型的限制,具有将联邦学习更加通用化的重要意义。

作为AI协作的新范式,联邦学习与其他前沿技术的结合也很紧密,刘洋博士提到,联邦学习作为一种分布式的机器学习技术,随着5G、物联网时代的到来,应用会更加广泛。例如在城市管理,智慧城市建设领域,传统的城市监控设备管理面临标签数量少、数据分散,集中管理成本很高且模型更新和反馈存在离线延迟情况,联邦学习可以让监控终端进行在线模型更新反馈,无需上传数据,且对模型提升率高达15%,模型效果无损失,这是联邦学习应用在物联网领域的典型场景。

开源、技术标准、商业赋能三大要素构成可持续的联邦学习生态。在开源层面,作为最早在国内提出“联邦学习”的首倡者,微众银行AI团队通过开放开源平台Federated AI Technology Enabler(FATE)发布了通用的联邦学习解决方案,通过提供简单易用的工具降低企业和机构使用联邦学习的门槛和成本,同时领衔国际标准——IEEE联邦学习标准制定,为立法和监管提供技术依据,并且通过恰当的激励机制吸纳更多机构加入,目前瑞士再保险、创新工场、鹏城实验室、中国电信、腾讯、京东、小米等海内外知名企业都已加入联邦学习标准制定和生态建设中。

瑞士再保险资深分析专家陈祺在专题论坛上分享了联邦学习在保险行业的落地经验,“保险行业因其业务形态的关系,数据质量不高,数据量有限,保险公司渴望应用非保险行业数据提升解决方案能力。联邦学习提供了很好的一个技术框架,让我们在满足监管的前提下更好地利用数据。”

创新工场南京国际人工智能研究院执行院长冯霁则非常看好联邦学习的安全性,“随着人工智能应用逐渐转向高风险场景,人工智能的安全性和鲁棒性研究日益重要,联邦学习可以通过不同享数据的方式共享知识,同时相比传统机器学习框架,联邦学习的对抗攻防研究具有更重要的意义,防御能力也具有更大的潜力。”

联邦学习的落地意味着企业跨界AI协作新时代的到来,正如联邦学习专家们所言,联邦学习不仅是新兴技术方向,更是囊括了经济学、法律等社会多方的社会协同治理新方向,将发挥更大的经济和社会价值。

来源：中国网