前 言大数据在这个“互联网+人工智能+云”时代的重要意义已经无须赘述。过去人们只关注大数据分析、大数据可视化、大数据产品开发，但现在随着大数据生态的逐渐完善，如何保障大数据的安全、高效，如何保证平台架构的平稳运行，成了各数据平台的“心病”。于是，大数据运维这个岗位一跃成为大数据领域的热门岗位。很多公司会让开发工程师来兼大数据运维的工作，这对开发人员来说也是不小的挑战。相比大数据开发，大数据运维岗位需要更多的经验积累，例如，什么架构才能支撑这个数据量、什么资源配置才能满足分析需求，这些问题都需要实际接触过、操作过才能给出答案，而不是靠理论或者猜测就能解决。早期大数据运维人才非常紧缺，很多公司从大数据立项到大数据平台构建，再到整个大数据项目的流程开发以及后期大数据项目的运维，都是由大数据开发人员完成的。但随着公司数据越来越多，业务越来越复杂，大数据集群规模越来越大，大数据团队也越来越大，由大数据开发人员进行大数据项目的运维这种早期短平快、粗放式、简单无序的方式已经满足不了大数据平台的维护工作。此时就迫切地需要专业的大数据运维人才负责大数据平台的运维、监控和安全。大多数人印象中的运维就是跑机房、装系统、安装网络等一些杂活。
但实际上大数据运维工作已经变得非常重要，运维人员的分工也更加精细化；规模稍微大一点的公司都会将运维细分为系统运维、应用运维、数据库运维和安全运维。当技术发展到大数据、云计算时代，出现了阿里云、腾讯云以及华为云之后，低层次的初级运维将会越来越少，中级层次的运维也会逐步被淘汰，高层次的大数据运维的需求量则将日益增长。高层次的大数据运维则需要考虑大数据平台架构的设计，大数据平台的自动化、智能化管理等。这其实是要求传统运维人员在大数据面前改变思维、承担更多的工作责任，不但要保障大数据平台的稳定、高效运维以及切实安全，还要具备大数据平台架构的设计能力，所以一个优秀的大数据运维工程师应该具备做大数据架构师的潜力。大数据运维跟传统运维既密切相关又大不相同。传统运维面对的底层软硬件基本稳固，大数据运维面对的是商用硬件和复杂的Linux 版本；传统运维面对的系统架构以单机架构为主，大数据运维则面对复杂的分布式架构；传统运维大多维护闭源商业版系统，而大数据运维则通常面对开源系统，文档手册匮乏。大数据运维对自动化工具的依赖大大增加。总而言之，大数据运维是“大数据平台+海量数据”。那么，大数据运维到底需要具备哪些技能呢？如图0-1 所示。
II 大数据运维图解教程图0-1 大数据运维应具备的技能本书围绕大数据运维技能，通过图解方式和讲练结合的方式讲解知识点。本书特色如下。（1）按照国家“1+X”大数据平台运维职业技能等级标准编写。（2）通过200 多张图，用视觉记忆，看图联想，理解知识点的含义和知识点之间的联系。（3）通过800 多道习题，加强系统性和实践指导性，收集了大量面试必备的问题。（4）知识覆盖面广，主要包括大数据基础、分布式集群、Hadoop 生态、组件架构与原理、组件部署与优化、集群运维工具与技巧等。大数据技术发展迅猛，对许多问题作者并未做深入研究，一些有价值的新内容也来不及收入本书。加上作者知识水平和实践经验有限，书中难免存在不足，敬请读者谅解。编 者2022 年2 月
more >
