研究 | 融合数据分析服务的大数据交易平台分析

内容提要：大数据交易平台是整个大数据产业的重要基础，既是国家政策支持的重点，也是当前大数据产业实际建设的热点，但目前有关大数据交易平台创新的研究还很匮乏。本文针对现有大数据交易平台的不足进行改进，设计了一种全新的融合数据分析服务的大数据交易平台，该交易平台包含大数据资源池、数据分析服务、协同中心三大核心模块，可以实现数据分析服务和数据资源的一体化交易。本文研究发现现有的大数据交易平台存在数据供需错配、大数据资源定价困难、数据的时效性不强三大不足。而融合后的新交易平台直接面向应用，从根本上避免了数据供需的错配，数据与服务的一体化交易也让定价更有依据，融合后数据采用云存贮模式，平台的深度参与让提供实时数据成为可能。除此之外，融合后还将扩大交易对象的覆盖范围，提升大数据交易的活力。

　　关键词：大数据 交易平台 数据资源 数据分析服务 融合

　　1.引言

　　目前发展大数据产业已经上升为国家战略，大数据的价值也得到了社会的广泛认可。众多研究[1-5]表明，大数据不仅为政府治理开辟了新思路，还是企业创新的重要源泉和高校科研的重要支撑。大数据交易平台是整个大数据产业的基础与核心，它使得数据资源可以在不同组织之间流动，从而让单个组织能够获得更多、更全面的数据。这样不仅提高了数据资源的利用效率，更重要的是，当一个组织拥有的数据资源不断丰富和立体化，有助于其通过数据分析发现更多的潜在规律，从而对内提高自身的效率，对外促进整个社会的不断进步。

　　在现有的大数据交易平台上，数据供应方和需求方各自发布供需信息，交易双方浏览这些信息，如果发现合适的交易对象，则进行大数据资源的买卖，交易平台只作为信息中介存在。这类大数据交易的本质，其实是单独的大数据资源交易，现有平台可以统称为第一代大数据交易平台。第一代大数据交易平台在供需平衡、数据定价和时效性三个方面都存在较大的不足。本文针对这些不足进行改进，设计了一种全新的第二代大数据交易平台，命名为：融合数据分析服务的大数据交易平台，该平台将数据资源交易与数据分析服务进行深度融合，实现了数据与服务的一体化交易。本研究不仅为当下正在建设的各类大数据交易平台提供有益的借鉴，也丰富了大数据交易的基础理论体系。

　　2.相关研究

　　目前大数据交易的相关研究中，比较有代表性的有：

　　（1）大数据的财产属性和所有权。王玉林等[6]对大数据的财产属性展开研究，认为大数据的法律属性会直接影响大数据产业的发展，而大数据交易实践本身就反映出大数据具有财产属性。但大数据与传统的财产权客体存在较大不同，它符合信息财产的特征，是信息财产权的客体，应受到相关法律的保护。齐爱民等[7]从宏观的角度分析了国家对于其主权范围内数据的所有权，剖析了个人拥有的数据权以及数据的财产权。

　　（2）大数据的定价问题。刘朝阳[8]对大数据的定价问题展开研究，首先分析了大数据的基本特征、价值特征等定价基础。接着讨论了效用价格论、成本价格论等定价模式。最后分析了大数据的定价策略，并对大数据定价的双向不确定问题进行了详细论述。刘洪玉等[9]认为在大数据交易过程中，由于缺乏足够的历史参考，其数据资源的交易价格很难确定，因此提出一种基于竞标机制的鲁宾斯坦模型，用于大数据交易双方进行讨价还价，以求达成一个交易的均衡价格。翟丽丽等[10]从资产的期权价值角度来评估大数据资源的价值，并指出数据在不断变化和更新，加上数据的非独占性等情况的出现，数据资产的价值可能会下降，最后综合这些因素构建了一个评估模型来计算数据资产的价值。

　　（3）大数据交易的安全与隐私保护。史宇航[11]认为非法的数据交易会对个人数据等高价值信息的安全造成影响，对非法数据交易的购买方和协助方都应进行处罚。提出应先明确数据的法律属性，再以数据交易所为平台进行交易，并对数据交易所的法律地位进行了分析。殷建立等[12]为应对大数据时代数据采集、交易等过程中的安全问题，综合考虑技术、政策和管理平台等方面的因素，构建了一种个人数据溯源管理体系，该体系可在数据应用时实现个人数据的追踪溯源，从而保护其个人隐私。王忠[13]认为大数据环境下强大的数据需求会导致个人数据的非法交易，为应对这种情况，应该建立个人数据交易许可机制，通过发放交易许可证、拍卖授予等措施实现隐私保护。

　　（4）大数据交易的发展现状与问题。杨琪等[14]认为我国的大数据交易还处于行业发展的早期，大量数据源未被激活，原因是大数据产业价值链的各个专业环节发展滞后，并且对数据交易中的安全问题和隐私泄露等有较大的担忧。应该对数据产品进行改造，使其更商品化，并且通过政府开放公共数据等措施逐渐消除数据流通中的安全顾虑。唐斯斯等[15]首先分析了我国大数据交易的发展特点、交易类型等现状，接着指出目前大数据交易存在法律法规相对滞后、行业标准不完善、交易平台定位不明确、数据质量不高等问题，最后提出应加快相关法律和标准建设，并推动数据开放，加强交易方式的创新。

　　除了上述四个主要研究方向以外，李国杰等[16]从理论的角度分析了大数据研究在行业应用和科学研究方面的重要作用，这从客观上反映了大数据流通的必要性。涂永前等[17]认为大数据时代企业管理和运用数据资源的相关成本会成为企业的主要交易成本，这会改变企业的组织结构，并导致企业边界的变化，企业会进行多方向的扩张，这为促进大数据产业发展的相关法律的制定提供了理论支持。总的来看，由于大数据交易本身属于较新的领域，因此相关研究总体上较少，已有研究也大多集中在上述几个研究方向上。实际上，大数据交易平台是实现大数据交易的重要载体，是大数据资源流通转换的主要节点，交易平台本身需要随着整个大数据产业的发展，不断的改进和升级，而现有研究中恰恰缺少对大数据交易平台本身进行创新的研究。由此，本文针对现有大数据交易平台的不足，结合实际设计了一种全新的融合数据分析服务的大数据交易平台，为实践和科研提供借鉴和参考。

　　3.现有大数据交易平台的不足

　　大数据本身作为一种新兴事物，当把它作为一种商品进行交易时，其交易平台的设计很自然会参照传统的商品交易模式，即：交易双方先发布供求信息，再经过讨价还价，达到一个均衡的价格则成交，卖方将大数据资源经过脱敏处理后，交付给买方。目前无论是政府主导的大数据交易所，还是企业或者高校创建的大数据交易平台，都是采用类似的交易模式，这也是第一代大数据交易平台的突出特点。实际上大数据与传统商品有很大的区别，照搬传统商品的交易模式会出现很多问题。本文将从供需平衡、数据定价和时效性三个方面分析现有大数据交易平台的不足。

　　3.1 数据供需的错配

　　现有大数据交易平台的第一点不足就是数据供需的错配，即：供应方提供的数据资源往往不是需求方所需要的，而需求方需要的数据在交易平台上找不到，即使有相近的数据资源，也存在很大的数据缺失或冗余，买回去也无法使用。对数据供应方来说，由于无法准确预知数据买方多样性的需求，它只能从自身角度出发，将可以公开的、并且自认为有价值的数据资源放到平台上待售。对需求各异的买方来说，供应方提供的标准数据很难与自己的应用方向精准匹配，这也是目前大数据交易还不够活跃的原因。当然，当供需双方建立初步联系以后，供应方甚至可以为需求方个性化定制大数据资源，但即使这样，供需错配的问题仍然无法解决，原因就在于单个的数据供应方无法提供多维的数据资源，只有多维的数据资源才具有较高的分析价值。

　　3.2 大数据资源定价困难

　　大数据资源定价困难是现有大数据交易平台的第二点不足。大数据资源和普通商品不同，普通商品可以直接消费或者作为再加工的原材料，其价值都可以通过最终的消费品价格得到体现。而大数据本身的价值无法直接衡量，需求方购买它的目的是作为数据分析的信息源，但是否能发现潜在的规律还未可知。因此无法在购买前，准确判断出待售数据资源的价值大小。此外，需求方在不确定某大数据资源是否能真正能给组织带来收益情况下，很难给出一个较高的价格，这在客观上会影响数据供应方的交易积极性，加大了供需双方达成交易的难度。

　　3.3 数据的时效性不强

　　现有大数据交易平台的第三点不足，就是数据资源的时效性不强。目前很多大数据交易平台上待售的数据资源都以历史数据为主，这是因为数据资源在交易前需要经历脱敏处理，将涉及政府信息安全、企业商业机密和个人隐私等敏感信息进行变换和替代。此外，供应方还需要对原始数据进行初步的清洗，整理成一定的数据格式集中存贮和交付，方便需求方进行数据分析。由于一般的数据供应方并不具备对大数据进行实时脱敏和清洗的能力，只能将采集到的数据资源，经过一段时间的离线处理后，再放到交易平台上，所以只能供应历史数据。随着社会节奏的不断加快，历史数据很可能并不能反映当下的真实情况，越来越多的数据分析都需要用到实时数据作为信息源，这是未来大数据交易必须克服的一个短板。

　　4.融合数据分析服务的大数据交易平台设计

　　本文提出将数据分析服务融合到目前的大数据交易中，以此来克服现有交易平台的不足，本节将首先对数据分析服务进行概念界定，再依次介绍平台设计的总体思路和核心模块的设计，具体如下。

　　4.1 数据分析服务的概念界定

　　数据分析是指运用各类数据处理模型和信息技术手段，对数据资源进行深度的挖掘，从而发现其中蕴含的规律，作为管理决策的依据。数据分析本身是一种能力，如果一个组织将其数据分析能力提供给其他组织或个人，并收取一定的费用，这就是数据分析服务。在大数据环境下，数据资源不仅体量巨大而且种类多，对数据分析能力的要求不断提高。在这种情况下，只有少数组织具备独立处理大数据的能力，其他的组织比如大量的中小企业，都需要从组织外部寻求专业的数据分析服务，来满足自身的需要。因此，数据分析服务和大数据资源一样存在巨大的市场需求。

　　4.2 平台设计的总体思路

　　本文将提出的融合数据分析服务的大数据交易平台，定位为第二代大数据交易平台，它将大数据资源交易与数据分析服务两者进行深度融合，在交易平台上实现数据与服务的一体化交易。大数据交易平台的角色也从原来的数据资源买卖的信息中介，转变为大数据综合服务商。在融合后的大数据交易平台上，数据需求方不再提交数据资源的需求信息，而是直接提出自己的应用方向和想要得到的结果，交易平台再根据需求方的应用方向，反向匹配数据资源和数据分析服务。这个匹配的过程不是单一的数据集或服务的查找，而是对全平台的数据资源进行有效整合，形成高价值的多维数据，再结合复合型的数据分析技术，得到最终的分析结果，最后将分析结果与基础数据一同交付给需求方。交付基础数据的目的，一是方便需求方进行分析结果的对照，为决策提供更精准的参考。二是需求方可以根据基础数据进行衍生挖掘，进一步提高数据的利用效率。平台设计的总体思路绘制成图1。

　　图1 平台设计的总体思路

　　4.3 核心模块的设计

　　融合数据分析服务的大数据交易平台共划分为四大模块，具体如图2所示。

　　图2 融合数据分析服务的大数据交易平台的主要模块

　　系统管理模块具体又分为用户管理、系统维护和安全管理。安全管理是系统管理模块的重点，主要包含三个方面的功能：第一，负责整个交易平台的系统安全，通过对交易平台进行实时监控，阻止外部的非法入侵行为，保障平台的正常运行。第二，对数据供应方提交的数据资源进行审核，如果发现是非法数据，则阻止其交易，并及时将有关情况反馈给相关的政府监管部门，由它们进行调查处理。第三，检查所有数据是否经过脱敏处理。如果发现部分数据存在未脱敏或者脱敏不合格的情况，交易平台将负责对该数据资源进行脱敏处理，从而保护数据中的隐私不被泄露。

　　大数据资源池模块、数据分析服务模块和协同模块是交易平台的三大核心模块，是数据与服务两者融合并实现一体化交易的关键，本文接下来将对这三个核心模块的功能进行详细设计。

　　4.3.1 大数据资源池模块

　　大数据资源池模块主要包含三个方面的功能：数据资源格式的整理、数据的多维度整合、大数据资源的云存贮。具体如下。

　　（1）数据资源格式的整理。由于大数据交易平台上的数据资源来自不同的数据供应方，因此其数据资源的格式会有较大的差异。如果不经过格式整理就直接进行数据分析，很可能会因部分数据无法准确读取，而影响数据处理的效率，严重者还会导致数据分析中断。数据资源格式整理的主要任务是将同一类型数据的格式进行统一，对部分缺失的数据属性进行补充，对错误的数据格式进行修正。

　　（2）数据的多维度整合。在上文3.1中提到供需错配的一个重要原因，就是单个数据供应方无法提供高价值的多维数据。所谓多维数据是包含用户或者行业多个背景和情境的大数据资源，这些多维数据使用户或行业多个侧面的信息产生了关联，有利于发现深层次的潜在规律。融合数据分析服务的大数据交易平台应该作为数据整合的主体，将单个数据供应方提供的零散的数据资源，进行多维度的整合，当缺少某一个维度的数据时，再向相应的数据供应方进行定向的采集，最后得到相对完整的多维数据，具有很高的分析价值。

　　（3）大数据资源的云存贮。大数据资源经过格式整理和多维度整合以后，已经可以作为数据分析服务的信息源。下一步就是将这些数据资源进行统一的云存贮，以便数据分析服务调用。以往部分大数据资源由于体量巨大或实时更新的需要，无法上传到交易平台上，或者只提供部分调用接口。融合数据分析服务的大数据交易平台通过建立云存贮中心，将整合后的多维数据进行统一存放和调用，有助于提高数据资源的存取效率。

　　4.3.2 数据分析服务模块

　　数据分析服务模块首先根据数据需求方的应用方向，匹配出合适的多维数据资源，再选择相应的数据分析模型分配所需的计算能力，最后将得到的分析结果反馈给需求方。本文将数据分析服务划分为三个大类：基础性分析服务、高级分析服务、深度定制的分析服务。具体如下。

　　（1）基础性分析服务。基础性分析服务是指那些常规的数据统计，比如：总体中不同对象的占比分析，基于不同属性的关联分析或相关性分析等。这些分析服务耗时较短，分析技术较为简单，只要数据资源本身完备，就可以迅速得到结果。基础性分析服务由大数据交易平台本身来提供，可以面对不同的需求方，实现快速交付。

　　（2）高级分析服务。高级分析服务是指那些较为复杂的数据分析服务，比如：精准的趋势预测、全面的用户兴趣画像、非结构化的信息挖掘等。这些分析服务需要大量专业的数据处理技术，比如：兴趣建模、视频分析，音频分析、深度语义分析等，必须由大数据交易平台对接第三方的数据分析服务商，由它们来提供高级分析服务。大数据交易平台在同一数据分析领域，应引入多家数据分析服务商，通过动态的竞争，来保证服务的质量。

　　（3）深度定制的分析服务。大数据分析目前还处在快速发展阶段，很多前瞻性的技术还在试验当中，应该说数据分析技术的发展相对于旺盛的现实需求来说是滞后的。当需要用的某一数据分析技术，在目前的市场上还找不到现成的提供方时，就需要大数据交易平台为其进行深度的定制，交易平台通过多方位的研发能力评估，寻找合适的技术主体来进行专门的技术攻关。

　　4.3.3 协同模块

　　协同模块主要包含两个方面的功能：数据分析服务之间的技术协同、交易各方的管理协同。具体如下。

　　（1）数据分析服务之间的技术协同。在面临较为复杂的数据分析任务时，可能需要用到多个领域的数据分析技术，这时单个的数据分析服务商可能无法独立完成。因为不同的行业领域，都有其行业技术的独特性，需要长时间的专业积累。在这种情况下，就需要多个数据分析服务商相互合作才能完成。数据分析服务之间的技术协同，就是通过一定的技术标准和操作规范，让多个数据分析技术提供方，能够在完成同一任务时，在技术上不冲突，能够相互并行的完成对数据资源的处理，按时按质的交付最终的分析结果。

　　（2）交易各方的管理协同。在融合数据分析服务的大数据交易平台上，交易的参与者一共有四类，分别是数据资源的供应方、数据分析服务商、需求方和交易平台自身。数据需求方在提交自己的应用方向和预期结果的同时，提交自己的交易预算。交易平台根据需求方提交的应用方向和预期结果，对数据资源和数据分析服务进行反向的选择。如果数据分析任务中只用到了基础性分析服务，则整个交易为平台方、需求方、数据资源供应方的三方交易。如果某数据分析任务，平台自身无法完成，需要用到第三方的数据分析服务商，则整个交易包含了全部四类参与者，是一个四方交易。交易的基本原则是实现参与各方的利益共享。交易各方的具体利益分配如图3所示。

　　图3 交易各方的利益分配

　　需求方希望在获得预期结果的同时，其支付的成本在可接受的范围内。交易平台在对数据和服务进行反向匹配后，会出现两种不同的情况：第一种情况是在原交易预算下，可以达到需求方预期的结果，则可成交。第二种情况是，原交易预算较低，在该预算下无法达到需求方要求的结果，这时交易平台会和需求方沟通，提出新的报价，需求方经过考虑后，与平台进行讨价还价，它们在价格上达成一致时才能完成交易。由于交易数据是整合后的多维数据，因此原始数据资源供应方的收益，由平台从总交易价中支付，具体的支付方式可分为平台一次性买断或按次数支付。同一数据资源对于不同的需求者来说，其价值是不一样的，融合数据分析服务的大数据交易平台根据最终的一体化交易成交价，反向对数据资源进行定价，相对于现有的大数据交易平台来说，是一种进步。交易平台的深度参与，会使数据交易的频率加快，原始数据资源供应方会获得更多的收益。数据分析服务商根据具体的数据分析任务，直接参与由平台发起的竞价，达成交易后由平台支付。交易平台本身的收益则是需求方支付额减去其他各方收益的差价。

　　5.融合数据分析服务的大数据交易平台的优势

　　本文3.1到3.3中指出现有大数据交易平台存在数据供需错配、大数据资源定价困难、数据的时效性不强三大不足。融合数据分析服务的大数据交易平台作为改进后的第二代大数据交易平台，可以很好地克服上述三点不足。除了这三个方面的优势以外，由于融合后可实现数据与服务的一体化交易，这将扩大交易对象的覆盖范围，提升交易的活力，具体如下。

　　5.1 直接面向应用，从根本上避免了数据供需的错配

　　在融合数据分析服务的大数据交易平台上，需求方对交易平台直接提出应用方向和预期结果。交易平台对全平台的数据进行多维度整合，如果缺失某个维度的数据，可以进行定向的采集和补充，最后形成高价值的多维数据。这些多维数据才是真正具有分析价值的数据资源，这是单个数据供应方无法提供的。在得到多维数据后，结合平台自身和第三方数据服务商的分析能力，得到最终的分析结果。交易平台最后交付给需求方的是数据分析结果和基础数据，这种直接面向最终应用的大数据交易方式，从根本上避免了数据供需的错配。

　　5.2 融合后定价更有根据

　　在现有的大数据平台上，数据需求方是将数据资源买回去以后自己分析，而在购买数据资源之前，不能预知数据分析效果的好坏，因此无法进行有效的价值判断，这是定价困难的关键点。在融合数据分析服务的大数据交易平台上，需求方不再直接对数据资源付费，而是对最终的数据分析结果付费，并且数据分析结果是根据需求方的要求反向定制的，是符合需求方利益的。需求方可以通过评估预期结果对自身的重要性或收益的改进程度，给出适当的交易预算。交易平台以该预算为参照，对数据和服务进行选择，若出现原预算约束下无法实现预期结果的情况，交易平台再与需求方进行沟通，双方讨价还价后达成交易。这样相对于现有的大数据交易平台来说，融合后定价更有依据。

　　5.3 融合后可提供实时数据

　　在融合数据分析服务的大数据交易平台上，数据资源采用云存贮的模式，由平台进行统一管理，这提高了数据资源的安全性。在数据安全有保障的前提下，由交易平台出面和数据资源供应方进行实时数据的对接，将实时数据纳入大数据资源池中。对于单个的数据资源供应方来说，实时的数据脱敏难度太大。但大数据交易平台不一样，它可以利用规模优势，组建强大的计算能力，对大数据资源进行实时的脱敏和清洗，极大地提高了数据资源的时效性。

　　5.4 融合后将扩大交易对象的覆盖范围，提升交易的活力

　　融合后可实现数据和服务的一体化交易，让很多自身不具备数据分析能力的组织和个人，也能方便地利用大数据，特别是大量的中小企业，这将大大增加交易对象的覆盖范围。

　　交易对象的增多会促进交易频率的增长，从而为数据资源供应方带来更多的收益，这样会提升它们参与交易的积极性，鼓励它们供应更多的数据资源，从而提升交易的活力，整个大数据交易行业就形成了正向循环的良好发展态势。

　　6结语

　　本文对大数据交易平台本身进行了改进与创新，设计了一种全新的第二代大数据交易平台，即：融合数据分析服务的大数据交易平台。该交易平台可以直接面向需求方的应用方向，实现数据和服务的一体化交易，不仅从根本上避免了数据供需的错配，还使大数据交易的定价更有依据，平台的深度参也让提供实时数据成为可能，这些将从整体上提升大数据交易的效率。融合后数据和服务的一体化交易降低了大数据应用的技术门槛，鼓励更多组织和个人参与，增加了交易活力。未来笔者将继续关注大数据交易平台的创新研究，为实际应用和学术科研提供更多有益的参考。

　　参考文献：

　　[1]赵强，单炜.大数据政府创新：基于数据流的公共价值创造[J].中国科技论坛，2014（12）：23-27.

　　[2]徐继华，冯启娜，陈贞汝.智慧政府：大数据治国时代的来临[M].北京：中信出版社，2014.

　　[3]李文莲，夏健明.基于“大数据”的商业模式创新[J].中国工业经济，2013（5）：83-95.

　　[4]侯锡林，李天柱，马佳，等.大数据环境下企业创新机会研究[J].科技进步与对策，2014，31（24）：82-86.

　　[5]张峰，张迪.论大数据时代科研方法新特征及其影响[J].科学学研究，2016，34（2）：166-170，202.

　　[6]王玉林，高富平.大数据的财产属性研究[J]。图书与情报，2016（1）：29-35，43.

　　[7]齐爱民，盘佳.数据权、数据主权的确立与大数据保护的基本原则[J].苏州大学学报：哲学社会科学版，2015（1）：64-70.

　　[8]刘朝阳.大数据定价问题分析[J].图书情报知识，2016（1）：57-64.

　　[9]刘洪玉，张晓玉，侯锡林.基于讨价还价博弈模型的大数据交易价格研究[J].中国冶金教育，2015（6）：86-91.

　　[10]翟丽丽，王佳妮，何晓燕.移动云计算联盟企业数据资产评估方法研究[J].价格理论与实践，2016（2）：153-156.

　　[11]史宇航.个人数据交易的法律规制[J].情报理论与实践，2016，39（5）：34-39.

　　[12]殷建立，王忠.大数据环境下个人数据溯源管理体系研究[J].情报科学，2016，34（2）：139-143.

　　[13]王忠.大数据时代个人数据交易许可机制研究[J].理论月刊，2015（6）：131-135.

　　[14]杨琪，龚南宁 .我国大数据交易的主要问题及建议[J].大数据，2015（2）：38-48. 

　　[15]唐斯斯，刘叶婷.我国大数据交易亟待突破[J].中国发展观察，2016（13）：19-21.

　　[16]李国杰，程学旗.数据研究：未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊，2012（6）：647-657.