曙海教学优势
本课程,秉承二十一年积累的教学品质,以项目实现为导向,面向企事业项目实际需要,老师将会与您分享设计的全流程以及工具的综合使用经验、技巧。课程可定制,线上/线下/上门皆可,热线:4008699035。
曙海培训的课程培养了大批受企业欢迎的工程师。大批企业和曙海
建立了良好的合作关系,合作企业30万+。曙海培训的课程在业内有着响亮的知名度。
分布式技术是互联网企业最核心的技术,在大数据、云计算理念的推动下,各种分布式技术产品层出不穷。Hadoop还没学完,Storm就来了;Storm刚学会安装配置,Spark、Hama、Yarn等又一起出现了;同时国内外各大云平台厂商,如Google、亚马逊、阿里云等,还在推各自应用开发平台……要学习的东西太多了,刚学会了某个产品的安装配置与开发步骤,没多久它又过时了。这么多千姿百态的分布式技术产品背后有没有某些共性的东西呢?能否掌握背后的精髓呢,有没有可能学一反三,学一招应万招,牢牢掌握好技术的船舵而不会过时。一般互联网企业的分布式存储计算系统都是个大平台,系统复杂、代码庞大,而且只适合公司的业
初中高级工程师,企业架构人员,数据库/存储技术人员,技术决策/解决方案人员等
主题 | 内容 |
一、分布式技术体系概述 |
1.分布式计算、并行计算、云计算概述n2.分布式产品hadoop、zookeeper、hbase概述 |
二、分布式并行计算原理和设计 |
1、最初想到的master-slave结构n2、“包工头-职介所-手工仓库-工人”简化模式n3、基于消息中枢的计算模式n4、基于网状直接交互的计算模式n5、并行结合串行模式n6、批量多阶段处理模式n7、计算集群模式和兼容遗留计算系统n8、工人计算的服务化模式n9、实时流处理计算模式n10、跟hadoop map/reduce的区别n11、初级应用:动手跑一个基本例子(动手)n12、中级应用:计算节点互相交互的完整例子(动手)n13、高级应用:使用并行计算大幅提升算法效率例子(动手)n14、相关架构探讨(需求、运维、故障、优化等) |
三、分布式协调原理和设计 |
1、协调架构原理简介n2、权限机制 115n3、相对于zookeeper的区别n4、与paxos算法的区别n5、实践应用:分布式锁和应用(动手)n6、实践应用:统一配置和应用(动手)n7、实践应用:领导者选举和应用(动手)n8、相关架构探讨(需求、运维、故障、优化等) |
四、分布式缓存架构和实现 |
1、小型网站或企业应用的缓存实现架构n2、大型分布式缓存系统实现过程n3、 一致性哈希算法的原理、改进和实现n4、解决任意扩容的问题n5、 解决扩容后数据均匀的问题n6、分布式session的架构设计和实现n7、按日期取模无迁移扩容算法n8、相关架构探讨(需求、运维、故障、优化等) |
五、分布式消息队列的实现 |
1、jms的两种经典模式n2、如何实现发送接收的队列模式n3、如何实现主题订阅模式n |
六、分布式文件系统架构和实现 |
1、简化的分布式文件系统架构n2、搭建配置fttpadapter环境n3、访问集群文件根目录n4、访问和操作远程文件n5、集群内文件复制和并行复制n6、读写远程文件n7、解析远程文件n8、并行读写远程文件n9、批量并行读写远程文件和事务补偿处理n10、实践:基于文件读写的上亿排序(动手)n11、相关架构探讨(需求、运维、故障、优化等) |
七、分布式k/v数据库存储技术的变革 |
数据库作为企业信息系统的最基础软件,面临着分布式存储、nosql、k/v、并行数据库等创新技术的冲击n1、从关系数据库架构到k/v数据库架构n2、缓存和持久存储在越来越接近n3、kv nosql数据库和文档nosql数据库n4、如何写一个数据库n5、百万吞吐量的新型并行数据库CoolHash架构n6、动手体验n7、相关架构探讨(需求、运维、故障、优化等) |