叁叁肆

这个世界会好吗

453篇博客

如何快速上手一款开源软件

叁叁肆2018-11-06 13:12

此文已由作者刘超授权网易云社区发布。

欢迎访问网易云社区,了解更多网易技术产品运营经验。


最近一篇比较火的文章中提到,techcrunch上有一篇文章,列举了当前最火的开源软件列表

https://techcrunch.com/2017/04/07/tracking-the-explosive-growth-of-open-source-software/

THE BATTERY OPEN-SOURCE SOFTWARE INDEX
Rank Project Name Overall Project Rating Category Sample of Related Companies
1 Linux 100.00 IT Operations Red Hat, Ubuntu
2 Git 31.10 DevOps GitHub, GitLab
3 MySQL 25.23 Data & Analytics Oracle
4 Node.js 22.75 DevOps NodeSource, Rising Stack
5 Docker 22.61 DevOps Docker
6 Hadoop 16.19 Data & Analytics Cloudera, Hortonworks
7 Elasticsearch 15.72 Data & Analytics Elastic
8 Spark 14.99 Data & Analytics Databricks
9 MongoDB 14.68 Data & Analytics MongoDB
10 Selenium 12.81 DevOps Sauce Labs, BrowserStack
11 NPM 12.31 DevOps NPM
12 Redis 11.61 Data & Analytics Redis Labs
13 Tomcat 11.04 IT Operations NA
14 Jenkins 10.47 DevOps CloudBees
15 Vagrant 8.15 IT Operations HashiCorp
16 Postgres 8.02 Data & Analytics EnterpriseDB
17 Gradle 7.68 DevOps Gradle
18 Nginx 7.57 IT Operations Nginx
19 Ansible 7.42 IT Operations Ansible
20 Kafka 7.22 Data & Analytics Confluent
21 GitLab 6.42 DevOps GitLab
22 Hbase 6.41 Data & Analytics Cloudera, Hortonworks
23 Chef 6.37 IT Operations Chef*
24 TensorFlow 5.97 Data & Analytics Google
25 Cassandra 5.74 Data & Analytics DataStax


如此多如火如荼的开源软件,的确给我们开发人员带来了很多福利,很多东西不需要从零开始做了,都会有开源帮你搞定。

但是同时也对开发人员造成了困惑,开源软件层出不穷,一会出一个,不看代码吧,有时候出现了问题搞不定,看了代码吧,一会儿代码又变了,或者出了新的开源软件,代码又得重新看,痛苦无比。


下面分享一下我的基本方法,不一定对谁都管用哦,这里以OpenStack,Hadoop,Kubernetes为例子


一、手动安装起来,一定要手动


当你要开始看一款开源软件的时候,网上会有形形色色的文档,博客,原理讲解,到官方网站上也有大量的文档等着你看,还有源代码等等,信息量实在太大了,当你不动手,只看这些文字的时候,基本是没有什么感觉的,看了也很容易遗忘,过一段时间,有哪些组件,组件之间的相互关系都搞不清楚了。


所以首先要安装起来,当然成熟的开源软件往往有自动化安装的工具,例如OpenStack的DevStack,Hadoop的Ambari,Kubernetes的kubeadm基于容器化的安装等。


但是一开始十分不建议这样做,一方面这让你丧失了详细了解开源软件的配置细节的机会,因为以后你了解原理的时候,会看到相关的信息,如果完全自动化,你将一点感觉都没有,另一方面,在你没有深入了解一个开源软件的时候,很不幸,自动化的安装往往因为环境差异问题不成功,开源软件往往就是这样欺负人,当你熟悉了他的时候,怎么安装都顺利,当你不熟悉他的时候,一步一个坑,你还不容易找到。而且自动化的安装一共做了一百步,错在了哪一步,不熟悉他的你连怎么看错误都不知道,搜索起来都是表面的原因,很可能背后其他的配置,或者网卡,或者iptables,或者systemd等有问题,从表面的报错看不出来,使得你一头雾水,不得不删了环境重新安装,再删除再重新安装,看起来自动化,其实时间可能更长。


所以不要怕麻烦,按照官方的安装文档,一步一步的安装。官方的安装文档的好处是往往会大概讲一下原理,这样会使得你有个全局的了解。这个时候,对你来说,每一步都是一个Linux操作,对Linux的基本操作的debug能力使得你更容易定位执行到了哪一步出来错误,到底是出了什么错误,是否要进行一些官方文档里面没有的,但是你的环境特殊的操作,例如安装依赖软件,配置iptables规则,默认文件路径权限有问题等等。


不要怕麻烦,配置文件一个一个的填写,将来你还是要看文档,弄明白每个配置项是什么意思,当出现了性能瓶颈的时候,还需要调整这里面的参数,而且填写这些配置文件的时候,往往会有一些相应的注释,告诉你更加详细的情况,例如配置范围,影响等等。这里需要强调一点的是,无论你按照哪个安装文档来,请完全按照人家的来,不要在不熟悉的地方耍小聪明,利用自己的已有的常识做一些小的修改,往往的结果是你觉得和人家做的一模一样,结果就是运行不起来。例如文档要求配置密码统一为password,你不知道这串数字到底哪里用了,就乖乖的统一用password,别觉得说密码太简单,我改成一个复杂的吧,结果到时候认证匹配不上,再如文档要求安装的用户名为hduser,就不要用root,你可能觉得root权限更高没有问题,结果很可能后面运行任务报的权限问题就是因为root。


对于OpenStack,原来官方文档不好的时候,陈沙克http://www.chenshake.com/还是写了非常好的安装教程的,着实帮助大家趟了很多的坑,现在官方文档也慢慢完善了起来。


对于Hadoop,官方文档还是有些粗糙,个人觉得《Hadoop + Spark 大数据巨量分析与机器学习整合开发实战》这本书非常不错,一步一步的做,过程非常详细,熟手看着有些啰嗦,但是对于新手很有帮助。


对于Kubernetes,绝对推荐这个https://github.com/opsnull/follow-me-install-kubernetes-cluster,写的非常详细,并且完全手动。


二、使用一下,推荐XXX in Action系列


安装完毕之后,接下来就是先试用一下,尝试几个经典的使用场景,一方面能够验证安装的是否完全正确,一方面可以成为一个开源软件的合格使用者。


一般的开源软件都会有XXX in Action系列的丛书,一般看完了这本书,对这个软件的方方面面的功能的使用都有了一个概况的了解。


例如hadoop有hadoop in action,OpenStack也有openstack in action,Kubernetes也马上会有kubernetes in action了。


当你非常熟练的掌握了开源软件之后,你会发现XXX in action系列里面的东西其实官方文档都有,但是一开始你找不到,也不知道从哪里下手,面对官方文档的茫茫大海,不知道哪里是边界,如何组合成场景使用,这就是XXX in action系列的作用。





三、读文档,读所有的官方文档,记不住,看不懂也要读下来


安装好了,也基本会用了,接下来就是练苦工的时候了,官方文档往往非常的多,但是要了解一个开源软件,必须要把官方文档完全读下来,这里面你会发现一些你已经知道的基本原理,你已经体验过的安装过程,你似乎配置过的参数,也会遇到你不熟悉的使用场景,深入的原理解析等等,但是一定要读下来。


虽然官方文档往往是零散的,不成体系的,可能不是一个作者写的,不同的地方会有出入,但是是最新的,所以熟悉一个开源软件,官方文档是必须的,当以后出现了问题,正常的方式应该是回头去查官方文档,而非查你当时看的那本书,因为书可能会过时。


当第一遍看完所有的官方文档,你会发现脑子都快炸了,信息量实在太大了,没关系,形成一个印象,在大脑中建立一个索引,有问题知道到哪里去查就可以了,另外多看几遍,就会发现老是那些东西,这个时候,就说明你对这个开源软件开始熟悉起来。


很多人不看官方文档,然后就去社区里面这问那问的,是非常不提倡的,这样会永远是一个门外汉。


四、了解核心的原理和算法,推荐XXX the definitive guide系列


每个开源软件都有自己的核心的亮点,在于核心的原理和算法。


当然不了解这些原理和算法,或者大概了解一下也能顺利使用,但是非常可惜,这些原理和算法,才是开源软件的精髓。


很多人抱怨说开源软件层出不穷,看不过来,但是如果能够深入原理的话,还是能够发现很多共性的东西,只不过从新组合了一下,或者做了一个变异,从而适应新的应用场景。


例如你如果本身比较熟悉Linux,网络,存储的原理的话,会发现OpenStack就是一个壳,当你熟悉了OpenStack之后,你会发现容器平台所需要考虑的,也差不多就是这些因素,当你熟悉了Kubernetes了以后,你会发现Swarm, DCOS的概念也是如此的像。


通过下面这一系列文章,可以看到OpenStack,Kubernetes,Mesos那些可以相互借鉴的核心原理

支撑大规模公有云的Kubernetes改进与优化 (1)

支撑大规模公有云的Kubernetes改进与优化 (2)

支撑大规模公有云的Kubernetes改进与优化 (3)

再如从学习Memcached的时候了解了一致性哈希,后来发现swift也用到类似的思想,后来发现Ceph也是使用了类似的思想。


了解核心的原理与算法,推荐the definitive guide系列,例如hadoop有hadoop the definitive guide,kubernetes有著名的黑宝书




五、看一本源码分析的书,会让你的源码阅读之旅事半功倍


了解了核心原理还不够,如果不看代码如何实现的,心里不踏实,而且也没办法为以后的代码实践借鉴,并且运维过程中遇到exception,不熟悉源代码,不知道哪里出错了,也不行。


但是开源软件代码纷繁复杂,一开始看肯定晕,如果市面上已经有了比较好的源码分析的书,将会是很大的帮助。


例如我开始阅读hadoop源代码的时候,对于老版的map-reduce过程比较熟悉了,但是到了map-reduce v2的时候,一读代码,里面的消息机制和状态机一下子就把我干蒙了,幸亏有董西成的《Hadoop技术内幕:深入解析YARN架构设计与实现原理》,看了他的解析,回头再看代码,就清晰多了。


对于kubernetes,权威指南中已经有了代码分析的章节了,另外推荐另一本书,容器与容器云,浙大出的,也很不错。



六、开始阅读核心逻辑源代码


不能光看别人进行代码解析,按照别人指点的路,自己深入到代码里面去看,才有感觉,当然一开始阅读代码不要纠结一城一池的得失,而聚焦于核心的逻辑的代码,例如创建一个pod的整个过程,运行一个map-reduce任务的过程等等。


七、编译并Debug源代码


读核心代码还属于纸上谈兵,要想修改,需要自己会编译,通过单元测试,并且能够Debug,这个过程可不轻松,看代码容易编译难,通过单元测试如果有场景也需要花费些时间,然后真正的debug,看核心的流程里面,每个变量是多少,跳到了哪个子类里面去,只有debug了才知道。


八、开发一个插件,或者对组件做少量的修改


接下来可以尝试做一些自己的修改了,首推的方式是看看这个开源软件是否允许开发一些插件,一般设计好的开源软件都会有相应的模式的,里面打上一行日志,或者发送个消息都可以,如果插件做不到,能够找到可做少量修改的地方,重新编译,打包,部署,看看是否符合希望,才是一个开源软件开发者的起始。


九、大量的运维实践经验和面向真实场景的定制开发


前面说了这么多,都是万里长征第一步,也即今天说的上手的环节,如果是运维,仅仅熟悉上面基本的操作是不够的,生产环境会有大量的不可控因素,尤其是集群规模大的更是如此,因而大量的运维经验是实战来的,不能光靠读书。如果是开放,也是这样的,进行少量修改容易,但是一旦面临真实的客户场景,会发现改哪儿都不是,还要考虑扩展和兼容,也是非得真实项目才能练出来的。


免费体验云安全(易盾)内容安全、验证码等服务

更多网易技术、产品、运营经验分享请点击