大数据时代挑战 大数据时代网络科学的挑战
系列专题:大数据营销
自从2012年3月美国政府发布《大数据研究和发展倡议》以来,多国政府相继推出支持大数据研究的计划。尽管对于大数据还存在着各种不同的观点,大数据对科学研究、经济建设、社会发展和文化生活等各个领域都会产生重大的影响,而网络科学作为一门从网络角度研究复杂系统的新兴学科,也将会在大数据研究中发挥重要作用。例如,2013年6月,美国前中情局职员斯诺登向媒体披露了美国政府的一项代号为“棱镜”的秘密项目,旨在从网络和通信公司获取庞大数据,以监控通话、电子邮件和聊天记录等。《科学》(Science)一篇有针对性的新闻分析文章的标题即为“网络科学处于监控争论的中心”,因为基于人们之间的这些交流数据就可以构建相应的交流网络,其中的每条边表示了两人之间联系的密切程度。在此基础上,有可能通过分析网络的演化趋势来预测恐怖袭击等突发事件,当然也有可能对公民的个人隐私保护带来挑战。 网络科学兴起于世纪之交。一方面,人们开始收集到越来越多的各种不同的实际网络的数据,并且可以借助强大的计算设备处理大规模数据;另一方面,学科之间的相互交叉使得研究人员可以广泛比较各种不同类型的网络数据,从而揭示不同复杂网络的共性特征。此外,以还原论和整体论相结合为重要特色的复杂性研究的兴起也促使人们开始从整体上研究网络的结构与性能之间的关系。 随着网络科学研究的不断深入,网络科学的思想与方法也不断得到普及。2012年在大连举行的世界经济论坛还专门组织了以“网络的力量”为题的专题讨论,邀请网络科学领域知名学者Barabási等探讨如何运用网络科学促进组织发展。事实上,每一个组织都会涉及到多种不同的网络,包括组织内部个体之间的关系网络、不同组织之间的关系网络、以及组织运行过程中遇到的各种网络等。以下谈一谈大数据时代网络科学所面临的几个挑战。
网络结构分析与建模 自从关于复杂网络的小世界和无标度结构特征与模型的研究以来,复杂网络的基本结构性质一直是研究的重点。人们也提出了各种各样的网络拓扑模型,从而提升了我们对网络结构性质及其产生机理的认识。其中,关于复杂网络社团结构挖掘及其在社会网络和生物网络分析中的应用受到了相当多的关注,人们提出了各种各样的社团挖掘算法,并出现了可以用到包含上亿个节点的算法,对于社团结构的层次性、重叠性和演化特征有了更好的理解。链路预测和推荐算法及其应用研究是另一个近年受到特别关注的领域。特别地,个性化推荐算法受到了许多互联网企业的青睐,视频网站YouTube所使用的个性化视频推荐算法更是获得了美国国家电视艺术与科学学会(NATAS)授予的2013“技术与工程艾美奖”。 复杂网络分析相关的算法问题是在大数据背景下新挑战——我们如何快速、有效处理包含数千万乃至数亿节点的巨网络?基于大数据的算法问题有可能成为未来大科学化的复杂性科学研究的技术基础之一。从社团结构挖掘到链路预测和各种推荐算法等,算法复杂性分析、快速近似算法、并行计算、分布式图存储问题等等都值得深入研究。 目前网络科学主要还是集中于固定拓扑结构的网络,而现实网络大多数是随时间和空间持续变化的。例如,实际的社会网络中,人与人之间的联系与交互是遵循一定时空统计规律出现,而不是一直保持不变的。在这种含有时间空间的网络上的动力学过程可能会呈现出与静态网络和非空间网络极为不同的规律。另一方面,许多网络都不是孤立存在的,而是与其他网络之间存在着相互依赖、合作或竞争等关系。随着数据获取能力的不断增强,我们可以对网络的网络开展从理论到应用的深入研究。例如,以社会网络研究为例,同一个用户可能同时是人人、QQ、Email和微信用户,因此这些网络之间是存在相互关联的。许多基础设施网络,如电力网络、通信网络、交通网络等等之间也都是相互依赖的,一个网络的故障有可能触发其他网络的相继故障。 网络行为与动力学分析 研究复杂网络结构性质与建模的主要目的之一就是为了了解网络结构与网络功能之间的相互关系与影响。例如,网络上的传播行为在许多实际网络中广泛存在,如社会网络中的病毒和信息传播、通信网络中的病毒传播、电力网络中的相继故障、经济和金融网络中的危机扩散等等。随着网络科学的兴起,人们开始关注网络结构对于传播行为的影响。其中最具代表性的理论成果是:经典的传染病模型认为只有当病毒传播率大于一个正的临界值时,病毒才能在网络中扩散,而当网络规模趋于无穷大时,无标度网络对应的传播临界值趋于零,这意味着只要病毒传播率大于零,病毒就能在网络中进行一定程度的传播。近期关于网络传播研究的一个显著特征就是涌现出越来越多的高水平的基于社会网络的实证研究。 社交网络对人们的行为会产生多大的影响?2012年《自然》(Nature)的一篇文章介绍了在Facebook上的一项涉及到超过6千万用户的关于社会影响和政治动员的研究。在2010年的美国大选期间,研究人员发现,如果告知一个Facebook用户当前的投票数及其几个朋友已经投票的信息,那么能够显著提高该用户投票的可能性。传统的模型假设一个人被感染(或采用某种产品)的可能性与该人的朋友中被感染(或采用某种产品)的人数成正比。2012年《美国国家科学院院刊》(PNAS)的一篇文章分析了Facebook的增长,发现感染概率并不是由用户的朋友数量决定的,而是由用户的朋友圈的连通片的数量控制的。而且在连通片固定的情况下,感染概率反而通常是与朋友数量负相关的。 2013年7月《科学》(Science)的一篇文章以在印度农村推广小额信贷为例,研究了如何更好的选择初始人群以达到更好的口碑营销的效果。具体地说,最初获得信息的一部分在网络中的位置是如何影响信息的传播和产品的扩散的?影响一个个体决定使用该产品的因素是哪些?一方面,个体首先要知道产品信息才有可能使用,并且如果越多的朋友告知该个体关于产品的信息,该个体就越有可能使用。另一方面,获得信息的个体是否最终使用产品也有可能会受到其朋友的决定的影响。为了考虑这些因素,文中建立了一个简单的信息扩散模型来区分邻居之间的信息传递与邻居决定的直接影响,并区分使用者和非使用者的信息传递。研究表明,小额信贷的使用者把信息传递给另一户家庭的可能性是未使用者的7倍。另一方面,由于未使用者的人数要多得多,因此,总体上看,未使用者的信息传递作用也是重要的,导致了整个村庄中1/3左右的信息传递和产品使用。 网络控制 对于大规模网络而言,通过直接控制网络中的每一个节点而实现控制目标往往是不现实的并且也是不必要的。2011年,Barabási小组在《自然》(Nature)上发表了一篇题为“复杂网络能控性”的文章,这一工作发表之后很快引起了较多的关注,其中也包括一些争议。对于大规模复杂网络系统(如节点个数在百万以上)的控制而言,近年关注的重点是能否以及如何通过对部分节点直接施加控制而达到控制目标,其中涉及到可行性、有效性和鲁棒性等挑战性问题。这类问题具有重要的应用前景。例如,我们能否通过对少数金融机构的有效控制而实现整个金融网络的稳定?2013年3月《自然 · 物理学》(Nature Physics)出版了金融中的复杂网络专辑,诺贝尔经济学奖得主、网络科学研究人员和金融机构高管联合撰文阐述了复杂网络在金融中的可能应用,其中特别提到了金融网络系统的控制研究的重要性。 从网络科学到网络工程 随着研究的不断深入和技术的不断进步,网络科学在实际网络中的应用也得以不断扩展和深化。不同学科的研究人员在网络科学的研究过程中越来越多的交流对于网络科学的健康发展也是极为重要的,要继续鼓励和促进学科之间的交流以及研究人员与企业界的交流,共同思考和提炼网络科学与工程中的一些重大问题。 网络科学着眼于实际复杂网络中涌现的科学问题。网络科学中提出的许多方法的有效性都需要通过实际网络数据来验证。因此,建立来自不同领域的实际网络的高质量的数据平台对于提升网络科学研究的规范性是非常重要的。在此基础上,需要积极探索与有关企业和部门的合作,推动网络科学的应用研究。例如,与有关互联网和通信公司合作研究社会网络,提升现代服务业水平;与有关市政部门合作研究城市基础设施网络的效率;与医疗卫生行业合作探讨网络科学在医学健康领域的应用等。网络科学在经济、金融、组织管理中的应用也将会越来越普及。
更多阅读
关于网络时代学习方式的转变一 ----教改探讨260
关于网络时代学习方式的转变(一)3D学习唤醒课堂“我们希望通过展现真实事物的方式进行学习”——这是大多数学生的愿望。不过现实是我们不可能总是把学生带到教室外面去,而对于一些抽象、危险和目前人类不可触及的事物是无法拿来放在
转载 后健翔时代,我眼中的十大足球解说员与评论者 健翔
原文地址:后健翔时代,我眼中的十大足球解说员与评论者作者:三木一南1.周枫(英超)1995年起担任北京电视台英超直播嘉宾顾问的周枫周枫老师的评论风格属于朴实一派的,良好的修养总是能够让他把比赛的脉络解释得很清楚!他的解说一般会先
数据包MTU 路由器的mtu值怎么设置
数据包MTU MTU最大传输单元(Maximum TransmissionUnit,MTU)是指一种通信协议的某一层上面所能通过的最大数据报大小(以字节为单位)。最大传输单元这个参数通常与通信接口有关(网络接口卡、串口等)。因特网协议允许IP分片,这样就可以将数据
数据中心网络技术浅析 云数据中心网络技术
数据中心网络技术浅析 随着云计算/大数据/移动互联等技术的推动下,作为在网络设备商做了多年研发的我近期一直在想这个问题:云计算下的数据中心网络到底是怎么样?怎么样的基础网络才能满足当前云计算下变化复杂的业务?首先,我理解网络
信息时代网络课堂的兴起 网络直播兴起的原因
现在,我们生活在一个日新月异的时代、一个充满想象的时代、一个令人鼓舞的时代。网络的出现和发展,正在迅速而深刻地影响着、改变着我们的生活以及其他方方面面。网络学习的好处随着科技的飞速发展与进入小康社会近一步的实现,电脑,在