以下内容首发于科技媒体-科技日报:

联邦学习(Federated Learning)作为新兴的技术范式,能够在数据不出本地的前提下,实现安全数据模型共建与AI协作。“数据不出本地”这一特性可以保证数据隐私保护,而AI联合建模则可以最大程度挖掘数据价值,也因此,联邦学习技术近年来备受关注。但随着技术研究不断深入与行业应用范围日益扩大,亟需一份权威指南,帮助机构及从业者快速与系统化地了解该技术及其相关应用。

4月8日,微众银行人工智能部联合电子商务与电子支付国家工程实验室(中国银联)、鹏城实验室、平安科技、腾讯研究院、中国信通院云大所、招商金融科技等多家企业和机构发布了《联邦学习白皮书V 2.0》(以下简称白皮书)。

这本白皮书为业界展示了联邦学习从“理论”到“实践”的关键转变,对从事人工智能、大数据的人员及企业机构而言,白皮书具有极高的参考价值。

 

联邦学习打破数据孤岛,创造AI数据安全互联

人工智能的发展正遭遇“数据孤岛”危机。全球的数据加密共享技术不完全成熟,AI联合的基础设施也还未全面完善,企业机构无法快速地投入生产力到基于AI技术的各种业务场景中去,AI技术面临的数据难题亟待系统化解决。

“过去几年,AI、大数据等发展进入红利期。但与此同时,数据隐私安全问题也受到世界各国重视,从欧盟的《通用数据保护条例》(GDPR)、美国《美国加州消费者隐私法》(CCPA)、新加坡修订《个人数据保护法案》、再到中国《信息安全技术网络安全等级保护基本要求》(等保2.0)等,都对用户隐私进行立法保护。”微众银行AI团队表示。

而在社会层面,频频曝光的企业大规模泄露用户数据事件,也使得人们对隐私保护越发重视,企业对数据价值的应用也日趋谨慎。而AI、大数据等创新领域的行业应用也因此受阻,作为极其依赖庞大数据的行业,如无法解决数据安全隐私保护问题,将面临着舆论、监管的巨大挑战。

在微众银行AI团队看来,联邦学习是一个有能力为AI从业者及企业机构实现“打破数据孤岛”,创造AI数据安全互联的技术。联邦学习可以让各参与方在数据不出本地的情况下进行AI协作,实现“知识共享而数据不共享”,提升各自的AI模型效果,是破解现阶段AI行业落地中的数据孤岛与数据隐私保护两大“卡脖子”难题最行之有效的解决方案,目前已在金融、医疗、智慧城市等领域有一系列落地应用。

 

白皮书应运而生,展示从“理论”到“实践”的转变

为了充分阐明和体现联邦学习技术能够助力各行各业实现AI安全互联的能力,且对这一技术进行系统化的梳理,白皮书应运而生。该白皮书是对首个详细阐述联邦学习技术及应用的白皮书《联邦学习白皮书V1.0》的完善与全面升级。

这本全球首个详细阐述联邦学习技术及应用的白皮书,进一步规范了联邦学习的基本概念,介绍了其重要价值,并对联邦学习的整体构架、技术原理进行了系统化介绍,此外,更是通过援引“联邦学习+场景”的案例,首次详细阐述了联邦学习在各领域的应用方案,涵盖金融、零售、安防、医疗、广告、自动驾驶等多个行业。值得关注的是,白皮书中首度展示了联邦学习的多个应用实例,从保险到信贷、从零售到安防、从医疗到自动驾驶,以案例进行了介绍。

以保险行业中的车险为例,激烈的市场竞争环境让风险识别与精准定价能力逐渐成为企业的核心优势。白皮书指出,传统的“从车定价”(即单一从车的品质确定保费),终将发展为“从人定价”(如车辆使用情况、行车区域环境等)。白皮书通过精准预判市场趋势,寻求行业实现下一步突破的关键,即在强监管的大前提下,打破人、车、行为等数据分散、新客数据缺乏的困境,将数据链接起来以实现精准定价。对此,联邦学习作为链接数据的有效机制,能够安全合规接入多方数据源,并引入多个维度与标签的数据,推动精准营销决策的实现。在基于联邦学习建立的数据模型的助力下,保险行业定价准确率大幅提升,比例高达90%,具有理想的发展前景,能够实现企业的降本增效,进一步推动整个行业的健康发展。

同样,针对受强监管、行业数据具有天然隐私性和孤立性的信贷风控领域,白皮书也基于联邦学习给出了较为成熟的解决方案。面对信贷审核过程中调用数据接口的高成本、数据稀缺导致的消金机构客户信用资质差异大、小微企业融资困难等问题,联邦学习不仅能实现从风险源头过滤高风险客户,更能协助金融机构实现多源数据融合,丰富数据的维度与数量,让金融机构进一步靠近支付、消费等场景,合法合规地综合多源数据对客户的信用进行精准判断。目前,联邦学习解决方案已能深度参与反欺诈、白名单初筛、信贷预审、贷中贷后预警评分等多个风控环节,在信贷风控领域累积了多个成功案例,实现风控模型高达12%的提升效果。

除此之外,白皮书对零售业务场景下的爆品预测、智能用工,智慧安防业务场景下的城市摄像头联盟建设等多领域的发展瓶颈也进行了深度剖析,并分别给出了基于联邦学习技术的解决方案。

从白皮书中不难得出,在不同行业、不同领域的落地过程中,联邦学习的最终目的都是在满足现有业务需求、提高对法规遵从度的条件下,实现企业的降本增效。通过白皮书对多个行业提出的安全共联解决方案也可以看到,未来联邦学习的发展趋势,不仅仅止步于联邦学习技术层面的完善,而很可能是打破技术门槛,将各行各业的业务方、数据方等有机结合,建立起一个多方价值交易网络,带动全行业数字化的有序健康发展。

 

联邦学习全球首个工业级开源框架FATE

此外,白皮书还以联邦学习全球首个工业级开源框架——FATE(Federated AI Technology Enabler)为例,剖析了联邦学习平台的结构与作用,从白皮书中可以了解到,FATE作为微众银行自主研发并开源的联邦学习框架,提供了一种基于数据隐私保护的分布式安全计算框架,为机器学习、深度学习、迁移学习算法提供高性能的安全计算支持,支持同态加密、SecretShare、DiffieHellman等多种多方安全计算协议。

同时,FATE提供了一套友好的跨域交互信息管理方案,解决了联邦学习信息安全审计难的问题。如此简单易用的开源工具平台能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的前提下,进行多方数据合作。

目前,FATE已在信贷风控、客户权益定价、监管科技等领域推动应用落地。

据了解,除白皮书外,联邦学习IEEE(电气和电子工程师学会)国际标准也即将出台。IEEE P3652.1(联邦学习基础架构与应用)标准草案已完成并通过标准工作组表决,目前正提交IEEE标准协会(Standard Association, SA)审核。按照流程,正式标准预计将于今年年中出台。

牵头机构微众银行AI团队介绍:“在数据安全与隐私保护备受关注的环境下,联邦学习技术这一新兴的人工智能技术,有望成为下一代人工智能协作网络的基础,建立起机构与用户间的数据信任,推动科技向善。而联邦学习国际标准的制定,则将进一步为其在各行业的落地应用提供标准化的体系。”

微众银行AI团队还表示:“随着各行业参与机构数量不断增加,联邦学习应用范例不断积累,未来将出现一个全领域合作的联邦生态,建立起安全有效的‘数据联盟’,释放数据无限价值。”