冯大辉:谈谈阿里系的技术积累

注:罗马不是一天建成的。

------------------------------------------------------

喧嚣的双 11 促销活动已经结束,淘宝、天猫、支付宝等阿里旗下的网站在当天爆发出惊人的能量,让人瞠目结舌:全天总交易额达到 191亿,其中天猫132 亿,淘宝 59亿,支付宝日订单数量超过一亿笔。金额已经超过美国去年”网购星期一”最高纪录,当然也超过今年的黑色星期五的 10.42亿美元。尽管大淘宝在促销开始的时候服务稍有不稳定,但整天下来服务堪称可靠。这是个值得称赞的成就。 从另一个角度看数据,峰值数据是每分钟89678 笔交易,峰值时刻一分钟超过 1700 万人民币的交易额,对比之下,eBay 披露的数据是每秒钟 2500美元(峰值或许会更高一些)。但经此一战,可以说,阿里系在电商领域上的技术积累的确是全球独步了。

阿里系能达到今日的技术积累,绝非一朝一夕之功,依笔者个人的看法,以下几个先决条件素不能不提:

第一,支付宝、淘宝团队在大规模分布式事务(Transaction) 处理能力上多年来的技术积累,这份经验相当宝贵;

第二,在 2009 年,阿里巴巴骨干传输网 ABTN (Alibaba Backbone Transmission Network)的建成为整个阿里系子公司的网络服务能力提供了网络基础保障,这也是国内第一家运营商级别的电子商务骨干网;

第三,以开源领域技术专家,LVS项目创建人章文嵩先生加盟淘宝为标志,淘宝在底层基础设施上的技术能力大幅提升,章带领的基础核心软件研发团队基于 LVS实现高性能负载均衡组件,构建了强大而且高效的 CDN 系统,CDN系统大量采用低功耗服务器(GreenCompute.org),绿色节能;

第四,硬件带来的红利。固态硬盘(SSD) 与 PCI-E Flash等硬件组件技术已经足够成熟并被大规模应用,为数据库服务器处理能力提供了硬件层面上的支撑能力,可以更加灵活部署,成本更低,不必再像过去那样单纯依赖于小型机与高端存储的支撑。

第五, 在 2008 与 2009 年大刀阔斧的系统结构改进,比如外界所知道支付宝的 SOA化,淘宝五彩石项目等,最近两三年仍然在做精细化的提升,但是总结架构没有太大的变动。

第六,淘宝技术团队对运维能力的掌控与技术积累(为防止阿里云掠美,必须要说一下此事与阿里云无关,各自是独立的团队),具备相当灵活的分配调度硬件以及网络资源的能力。或许有人会指摘限流的问题,要知道,对系统限流的能力也是技术实力的体现,以前的几次大促活动中某银行网管因为对流量控制错失不当,直接导致核心设施不可用,造成了非常大的负面影响。

在 2010 年与 2011 年的两次双 11促销活动中,技术团队积累了足够的运维与运营经验,能够有针对性的进行全面准备,而且,通过过去几次”压力测试”,也促使国内银行系统对于网银网关处理能力进行了扩容与改造,否则,按照今天的交易量,各家银行网关也无法承载如此大的支付请求的冲击。

冯大辉:谈谈阿里系的技术积累

阿里技术团队这几年来,在开源软件研发上进行了很大的技术投入,比如在 MySQL 数据库研发与部署实践上,已经能够有实力解除对Oracle 数据库的依赖,而本次活动中,最核心的MySQL集群一天共支持了 20 亿个事务,MySQL 核心数据库顶住了每秒钟 10万次事务、百万次 SQL 执行(不过最核心的数据库依旧是在 Oracle 数据库 上)的压力;在 Java核心技术上的技术投入,针对业务特点优化定制的 JVM (TaobaoJVM) 已经在淘宝、天猫等网站上线,全部替换了Oracle(Sun) 官方 JVM 版本,成果显著,并已经逐步反馈到开源社区中去;再比如淘宝在 Nginx 基础上改进的 Web服务器 Tengine …此外,淘宝根据电子商务业务自行研发的各种关键组件,比如流控与防攻击模块等,也对这次成功大促起到了很好的保障作用。技术团队在开源软件领域的投入取得了惊人的回报,现在来看,此乃相当有前瞻性的举措,值得肯定。阿里技术团队正在试图掌控整个网站体系中的所有组件的核心技术,这将是一个趋势。

最后,技术的背后,最关键的还是人和团队。阿里巴巴数年来在电子商务技术领域领域吸引了不少业界技术专家,如王文彬,章文嵩等,造就了一批顶尖技术牛人,也培养并且储备了一大批技术人才,锻炼了一个有实战经验有战斗力的技术团队。正是这一批踏实肯干的技术人使得这一切成为可能。

后记:或许有人说这是在神话或者神化淘宝技术团队,应该说,以上只是客观事实。国内想跟淘宝同台竞技的团队,更应该反思一下到底差距在哪里,哪些地方可以借鉴并且少走一点弯路。

延伸阅读:纽约时报:12306该向淘宝学什么?.

–EOF—

此文已经刊发于《创业家》杂志 2013. 1 月刊.

----------------------------------------------------------------------------------

2、冯大辉关于阿里系技术积累文章引发热赞

INFOQ 作者郑柯发布于一月 09, 2013

日前,丁香园CTO冯大辉在自己博客上发表文章《谈谈阿里系的技术积累》,不论是其博客网站上,还是这篇文章对应的微博之评论,读者和网友看到后,都对阿里系的技术积累和贡献表示赞赏和羡慕。

在文中,冯大辉指出:

喧嚣的双 11促销活动已经结束,淘宝、天猫、支付宝等阿里旗下的网站在当天爆发出惊人的能量,……金额已经超过美国去年”网购星期一”最高纪录。

他认为:

经此一战,可以说,阿里系在电商领域上的技术积累的确是全球独步了。

接下来,冯大辉总结了阿里系达到目前水准的几个决定性前提:

第一,支付宝、淘宝团队在大规模分布式事务(Transaction) 处理能力上多年来的技术积累,这份经验相当宝贵;

第二,在 2009 年,阿里巴巴骨干传输网 ABTN (Alibaba Backbone Transmission Network)的建成为整个阿里系子公司的网络服务能力提供了网络基础保障,这也是国内第一家运营商级别的电子商务骨干网;

第三,以开源领域技术专家,LVS项目创建人章文嵩先生加盟淘宝为标志,淘宝在底层基础设施上的技术能力大幅提升,章带领的基础核心软件研发团队基于 LVS实现高性能负载均衡组件,构建了强大而且高效的 CDN 系统,CDN 系统大量采用低功耗服务器( GreenCompute.org),绿色节能;

第四,硬件带来的红利。固态硬盘(SSD) 与 PCI-E Flash等硬件组件技术已经足够成熟并被大规模应用,为数据库服务器处理能力提供了硬件层面上的支撑能力。

第五, 在 2008 与 2009 年大刀阔斧的系统结构改进,比如外界所知道支付宝的 SOA化,淘宝五彩石项目等,最近两三年仍然在做精细化的提升,但是总结架构没有太大的变动。

第六,淘宝技术团队对运维能力的掌控与技术积累,具备相当灵活的分配调度硬件以及网络资源的能力。

在运营层面,冯大辉认为:

在 2010 年与 2011 年的两次双 11 促销活动中,技术团队积累了足够的运维与运营经验,能够有针对性的进行全面准备。

开源软件上的研发,也被冯大辉视为关键因素。具体包括:

冯大辉总结指出:

阿里技术团队正在试图掌控整个网站体系中的所有组件的核心技术,这将是一个趋势。

在人员和团队方面,冯大辉提到:

阿里巴巴数年来在电子商务技术领域领域吸引了不少业界技术专家,如王文彬,章文嵩等,造就了一批顶尖技术牛人,也培养并且储备了一大批技术人才,锻炼了一个有实战经验有战斗力的技术团队。正是这一批踏实肯干的技术人使得这一切成为可能。

在博文后面,网友评论指出:

舞台很重要, 除了阿里的平台,试想国内哪些公司需要如此巨大的数据系统, 既然无此需求,当然不会大投入去做这样的系统.所以国外也只有google,amazon这些需要维护海量数据的公司做这方面的东西。所谓时势造英雄,没有国内电子商务近十年来的迅速发展,和国内特殊商业环境,也就没有现在的阿里的系统。当然阿里人的努力是大家可以看见的,但我相信,任何一家公司走到阿里这阶段都能做出这样的系统,应为这是公司发展的需求, 也是唯一能发展道路。

在微博上,电动蜗牛提到:

淘宝技术团队对运维能力的掌控与技术积累---这事还真和阿里云相关。整个集团运维的整合了,出身阿里云有几个人和团队在双11、12中的作用真的灰常重要。

对于六个先决条件,Roy厉认为:

1、2、3应该是最关键的,4-6是锦上添花的东西。

淘宝技术大学校长子柳说道:

在前面两年技术大爆发的潮流下,阿里系占据了一席之地。今后两年可能会稍显沉寂,不仅阿里系,整个业界可能都会。

对此,淘宝副总裁王文彬的看法是:

大流量的网站框架可能已经成熟,但是CDN或是带宽流量优化和大数据处理的(实时和缓存)能力还需要很多的创新。

明源软件CTO阿朱对本文的总结是:

阿里在技术上从骨干网络、CDN、存储、服务器硬件、OS、JVM、数据库、web服务中间件、负载均衡中间件、SOA都做了很强的技术改造。在人方面,技术研发团队、业务运营团队、技术运维团队很棒。吸引一批牛人,造就一批牛人,培养一批牛人,储备一批牛人,锻炼了踏实肯干有实战经验有战斗力的技术团队

瘦古龙谈到自己对阿里系工程师的看法:

阿里的工程师分两类:淘宝系的工程师偏傻,但懂得谦虚,并且刻苦努力,最后能做出一番大事业来;阿里云系的工程师相对聪明一点,大都从ms过来的,博士,硕士一大堆,但比较轻浮,谁都瞧不起谁,喜欢重构代码,不仅重构的不好,还喜欢吹牛,搞学术的太多,做不了工程项目。

杜宽数码人认为“淘宝是个合格应用软件开发商”:

核心技术尚不能支持独立的生态系统,大数据的处理技术、加密、压缩传输技术的协议层技术、100万以上的并发处理技术、窄带传输技术、南北互联、跨平台、安全等核心技术不是靠增加服务器、带宽能解决的。

程程她爹Max应该是阿里系内部技术人士,他进行了更正:

ABTN从2006年下半年开始建设,2007年初正式投入使用。经过多年多轮的优化、改造、扩容,现在真的可称的上是运营商级别的核心骨干网。

何劲的围脖指出,阿里系不仅仅在技术上独到:

阿里真正牛逼之处:就是承担风险:把用户不满意等一切涉及纠纷的风险自己扛起来了,并进而提供了中国政府不提供的实质上的司法服务。而与之竞争的乌龟们则在傻傻地希望从技术从流量去实现“突破”。

刚刚加入阿里系的左耳朵耗子认为:

我感觉淘宝和外国公司的最大的差别就是做了一堆NB的事,却没注册各种专利。

绝大部分微博和网友都对阿里系在技术上的积累和开放持赞赏态度,这很值得其他公司学习。正像冯大辉在文章结尾指出的:

国内想跟淘宝同台竞技的团队,更应该反思一下到底差距在哪里,哪些地方可以借鉴并且少走一点弯路。

  

爱华网本文地址 » http://www.413yy.cn/a/25101012/134609.html

更多阅读

转载 冯康:一位杰出数学家的故事

原文地址:冯康:一位杰出数学家的故事作者:数学教育纪念冯康院士诞辰90周年汤涛 姚楠 杨蕾一个科学家最大的本领就在于化复杂为简单,用简单的方法去解决复杂的问题。— 冯康 老人走了,世界出奇的宁静,没有轰轰烈烈的告别,没有连绵起伏

向美国十大名校输送正教授的25所国内大学 十大名校

梦里江河的话:据好事者统计,国内高校毕业生在美国十大名校当正教授的,已经超过100人,他们来自25所大学。其中:哈佛大学细胞生物学系教授袁钧瑛,是1977年恢复高考后的第一届上海市高考理科状元,在复旦大学生物系读的本科。哈佛大学东亚语言

在大唐秦王陵拍的电影《一个老汉三个贼》 大唐秦王

在大唐秦王陵拍的电影《一个老汉三个贼》央视六频道播出在《一个老汉三个贼》剧组,不少人都讲着一口流利的宝鸡方言,这支队伍号称“宝鸡军团”。电影制片人张旭辉是从宝鸡市走出去的电视人,他投拍的电影《杨文洲》、《国宝迷踪》、

声明:《冯大辉:谈谈阿里系的技术积累》为网友雨芐姒後分享!如侵犯到您的合法权益请联系我们删除