java序列化算法

java一面和二面什么区别

下面列出了一面问到的问题：

synchronized与lock的区别，使用场景。看过synchronized的源码没

JVM自动内存管理，Minor GC与Full GC的触发机制

了解过JVM调优没，基本思路是什么

如何设计存储海量数据的存储系统

缓存的实现原理，设计缓存要注意什么

淘宝热门商品信息在JVM哪个内存区域

操作系统的页式存储

volatile关键字的如何保证内存可见性

happen-before原则

Lucene全文搜索的原理

阿里二面

下面是面试过程中的问题：

自我介绍下自己，不超过3分钟（我的自我介绍仍然不超过1分钟）

你说你熟悉并发编程，那么你说说Java锁有哪些种类，以及区别（果然深度不一样）

如何保证内存可见性

Http请求的过程与原理

TCP连接的特点

TCP连接如何保证安全可靠的

为什么TCP连接需要三次握手，两次不可以吗，为什么

AOP的原理

动态代理与cglib实现的区别（这个，醉得很厉害）

那么你说说代理的实现原理呗

看过Spring源码没，说说Ioc容器的加载过程吧

阿里三面（总监面）

先问项目，从项目问起

了解什么分布式数据一致性算法，具体说说

MySQL事务隔离级别以及MVCC机制

Redis缓存雪崩、缓存穿透以及如何解决？

问了设计秒杀系统

说说同步和异步，什么时候用同步，什么时候用异步

mysql的innodb索引数据结构为什么是b+树，用hash来实现可以吗？

分布式事务的实现？

如何解决redis和mysql数据一致性？

常见的MySQL主从同步方案有哪些？优劣势比较过？

阿里四面（总监面）

自我介绍

手画自己项目架构图，然后针对架构和中间件提问

四面总结

一面和二面总结

一面大概面了50多分钟，可以看出一面的问题不是很难，但是要得到面试官比较高的评价，还是需要一-定的表达能力和对技术比较本质的认识的，如果在回答问题的时候能够做一些适当的扩展，自然会让面试官对你有不一样的评价。

二面面试官问的问题都比较直接，答案也是知道就知道，不知道就不知道。这些问题-部分是基础，一部分是根据你的专业技能的来提问的。面完后面试官对我的评价是:中规中矩，有机会下次面试。虽说是中规中矩，但听到面试官说有机会下次面试就感觉这次面试应该过了。

三面总结

三面是交叉面，没想到是阿里的总监面试。由于具体的技术问题在前两轮面试中已经问过了，所以三面后不会有具体的技术问题，总结来看，对自己做过的项目一定要深入，包括使用使用到的技术原理、为什么要使用这些技术。

针对项目，面试官关注的无非以下几点:

1.项目中某个比较重要的点是如何实现的(需要深入技术的原理)

2.遇到的最大困难是什么(有哪些)，你怎么解决的?

3.如果需要扩展某个功能，如何降低系统的耦合度

4.如果针对某个功能进行优化，你会怎么设计和优化

四面总结

虽然这面比较轻松，也没有什么具体的技术问题，但对项目仍然是面试官关注的，后面了解到总监面除了看你的基础，主要看你的潜力(就是有没有培养的价值)，这个东西看起来挺虚的，但是从你平时的学习中仍然是可以看得出来的。所以，作为一名开发人员。平时对技术的研究也是很重要的

最后

其实一步一步走过来，不单单只靠面试之前刷题那么简单，更多的还是平时的积累。小编整理出一篇Java进阶架构师之路的核心知识，同时也是面试时面试官必问的知识点，篇章也是包括了很多知识点，其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、Netty 与RPC 、Kafka、日志、设计模式、Java算法、数据库、Zookeeper、分布式缓存、数据结构等

想要免费获取这份完整版文档的朋友，点赞、关注、转发之后，私信【学习】即可免费获取

最后是总重要的技能环节，分享给大家一份核心面试文档

JavaOOP

Java集合/泛型

由于篇幅限制，无法全部展现出来，文末有完整版获取方式

Java异常

Java中的IO与NIO

Java反射

Java序列化

什么是java序列化，如何实现java序列化？

保存(持久化)对象及其状态到内存或者磁盘

序列化对象以字节数组保持-静态成员不保存

序列化用户远程对象传输

Serializable 实现序列化

writeObject 和 readObject 自定义序列化策略

序列化 ID

序列化并不保存静态变量

Transient 关键字阻止该变量被序列化到文件中

序列化（深 clone 一中实现）

多线程并发

JAVA 并发知识库

Java中实现多线程有几种方法

继承 Thread 类

实现 Runnable 接口。

ExecutorService、 Callable、 Future 有返回值线程

基于线程池的方式

4 种线程池

如何停止一个正在运行的线程

notify()和notifyAll()有什么区别？

sleep()和wait() 有什么区别？

volatile 是什么?可以保证有序性吗?

JVM

java中会存在内存泄漏吗，请简单描述。

64 位 JVM 中，int 的长度是多数？

Serial 与 Parallel GC 之间的不同之处？

32 位和 64 位的 JVM，int 类型变量的长度是多数？

Java 中 WeakReference 与 SoftReference 的区别？

JVM 选项 -XX:+UseCompressedOops 有什么作用？为什么要使用

怎样通过 Java 程序来判断 JVM 是 32 位 还是 64位？

32 位 JVM 和 64 位 JVM 的最大堆内存分别是多数？

JRE、JDK、JVM 及 JIT 之间有什么不同？

解释 Java 堆空间及 GC？

Mysql

数据库存储引擎

InnoDB（B+树）

TokuDB（ Fractal Tree-节点带数据）

Memory

数据库引擎有哪些

InnoDB与MyISAM的区别

索引

常见索引原则有

数据库的三范式是什么

第一范式(1st NF － 列都是不可再分)

Redis

什么是 Redis?

Redis 与其他 key-value 存储有什么不同？

Redis 的数据类型？

使用 Redis 有哪些好处？

Redis 相比 Memcached 有哪些优势？

Memcache 与 Redis 的区别都有哪些？

Redis 是单进程单线程的？

一个字符串类型的智能存储最大容量是多少？

Redis持久化机制

缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题

Memcached

Memcached 是什么，有什么作用？

memcached 服务在企业集群架构中有哪些应用场景？

Memcached 服务分布式集群如何实现？

Memcached 服务特点及工作原理是什么？

简述 Memcached 内存管理机制原理？

memcached 是怎么工作的？

memcached 最大的优势是什么？

memcached 和 MySQL 的 query

memcached 和服务器的 local cache（比如 PHP 的 APC、mmap 文件等）相比，有什么优缺点？

memcached 的 cache 机制是怎样的？

memcached 如何实现冗余机制？

MongoDB

mongodb是什么？

mongodb有哪些特点？

你说的NoSQL数据库是什么意思?NoSQL与RDBMS直接有什么区别?为什么要使用和不使用NoSQL数据库?说一说NoSQL数据库的几个优点?

NoSQL数据库有哪些类型?

MySQL与MongoDB之间最基本的差别是什么?

你怎么比较MongoDB、CouchDB及CouchBase?

MongoDB成为最好NoSQL数据库的原因是什么?

journal回放在条目(entry)不完整时(比如恰巧有一个中途故障了)会遇到问题吗?

分析器在MongoDB中的作用是什么?

名字空间(namespace)是什么?

Spring

不同版本的 Spring Framework 有哪些主要功能？

什么是 Spring Framework？

列举 Spring Framework 的优点。

Spring Framework 有哪些不同的功能？

Spring Framework 中有多少个模块，它们分别是什么？

什么是 Spring 配置文件？

Spring 应用程序有哪些不同组件？

使用 Spring 有哪些方式？

什么是 Spring IOC 容器？

什么是依赖注入？

Spring Boot

什么是 Spring Boot？

为什么要用SpringBoot

Spring Boot 有哪些优点？

Spring Boot 的核心注解是哪个？它主要由哪几个注解组成的？

运行Spring Boot有哪几种方式

如何理解 Spring Boot 中的 Starters？

如何在Spring Boot启动的时候运行一些特定的代码？

Spring Boot 需要独立的容器运行吗？

Spring Boot中的监视器是什么？

如何使用Spring Boot实现异常处理？

Spring Cloud

什么是 Spring Cloud？

使用 Spring Cloud 有什么优势？

服务注册和发现是什么意思？Spring Cloud 如何实现？

负载平衡的意义什么？

什么是 Hystrix？它如何实现容错？

什么是 Hystrix 断路器？我们需要它吗？

什么是 Netflix Feign？它的优点是什么？

什么是 Spring Cloud Bus？我们需要它吗？

什么是微服务

什么是服务熔断？什么是服务降级

RabbitMQ

什么是 rabbitmq

为什么要使用 rabbitmq

使用 rabbitmq 的场景

如何确保消息正确地发送至 RabbitMQ？ 如何确保消息接收方消费了消息？

如何避免消息重复投递或重复消费？

消息基于什么传输？

消息如何分发？

消息怎么路由？

如何确保消息不丢失？

使用 RabbitMQ 有什么好处？

Dubbo

为什么要用 Dubbo？

Dubbo 的整体架构设计有哪些分层?

默认使用的是什么通信框架，还有别的选择吗?

服务调用是阻塞的吗？

一般使用什么注册中心？还有别的选择吗？

默认使用什么序列化框架，你知道的还有哪些？

服务提供者能实现失效提出是什么原理？

服务上线怎么不影响旧版本？

如何解决服务调用链过长的问题？

说说核心的配置有哪些？

MyBatis

什么是 Mybatis？

Mybaits 的优点

MyBatis 框架的缺点

MyBatis 框架适用场合

MyBatis 与 Hibernate 有哪些不同？

#{}和${}的区别是什么？

当实体类中的属性名和表中的字段名不一样 ，怎么办 ？

模糊查询 like 语句该怎么写?

通常一个 Xml 映射文件，都会写一个 Dao 接口与之对应，请问，这个 Dao 接口的工作原理是什么？Dao 接口里的方法，参数不同时，方法能重载吗？

如何获取自动生成的(主)键值?

ZooKeeper

什么是Zookeeper?

Zookeeper 如何保证了分布式一致性特性？

ZooKeeper 提供了什么？

Zookeeper 文件系统

ZAB 协议？

四种类型的数据节点 Znode

Zookeeper Watcher 机制 — 数据变更通知

客户端注册 Watcher 实现

服务端处理 Watcher 实现

客户端回调 Watcher

数据结构

栈（stack）

队列（queue）

链表（Link）

散列表（Hash Table）

排序二叉树

前缀树

红黑树

B-TREE

位图

Elasticsearch

elasticsearch 了解多少，说说你们公司 es 的集群架构，索引数据大小，分片有多少，以及一些调优手段 。

elasticsearch 的倒排索引是什么

elasticsearch 索引数据多了怎么办，如何调优，部署

elasticsearch 是如何实现 master 选举的

详细描述一下 Elasticsearch 索引文档的过程

详细描述一下 Elasticsearch 搜索的过程？

Elasticsearch 在部署时，对 Linux 的设置有哪些优化方法

lucence 内部结构是什么？

Elasticsearch 是如何实现 Master 选举的？

Elasticsearch 中的节点（比如共 20 个），其中的 10 个选了一个 master，另外 10 个选了另一个 master，怎么办？

Kafka

Kafka 是什么

partition 的数据文件（offset， MessageSize， data）

数据文件分段 segment（顺序读写、分段命令、二分查找）

负载均衡（partition 会均衡分布到不同 broker 上）

批量发送

压缩（GZIP 或 Snappy）

消费者设计

Consumer Group

如何获取 topic 主题的列表

生产者和消费者的命令行是什么？

微服务

微服务架构有哪些优势？

微服务有哪些特点？

设计微服务的最佳时间是什么？

微服务架构如何运作？

微服务架构的优缺点是什么？

单片，SOA 和微服务架构有什么区别？

在使用微服务架构时，您面临哪些挑战？

SOA 和微服务架构之间的主要区别是什么？

微服务有什么特点？

Linux

绝对路径用什么符号表示？当前目录、上层目录用什么表示？主目录用什么表示? 切换目录用什么命令？

怎么查看当前进程？怎么执行退出？怎么查看当前路径？

怎么清屏？怎么退出当前命令？怎么执行睡眠？怎么查看当

Ls 命令执行什么功能？ 可以带哪些参数，有什么区别？

查看文件有哪些命令

列举几个常用的Linux命令

你平时是怎么查看日志的？

建立软链接(快捷方式)，以及硬链接的命令

目录创建用什么命令？创建文件用什么命令？复制文件用什么命令？

查看文件内容有哪些命令可以使用？

面试，难还是不难？最终结果好还是不好？取决于面试者的底蕴（气场+技能）、心态和认知以及沟通技巧。而一些主流的大型互联网公司面试（阿里巴巴、京东、美团、滴滴）更是需要你在面试时展现出自己的能力，从而获得面试官的欣赏和肯定。

而程序员在应聘时更是需要经历层层面试。俗话说，磨刀不误砍柴工，做好面试前的准备工作可以帮助大家更好的应对面试官的问题以及面试中的突发情况。

不用出国也能买到60多万的真皮腰带！机会难得，快来试试

精选推荐

广告



面试题2

104阅读·0评论·0点赞

2020年11月25日

66个求职应聘技巧性问答（三）

955阅读·0评论·0点赞

2015年5月26日

凯捷Java二面问题总结

84阅读·1评论·0点赞

2022年10月24日

程序员面试中一面、二面、三面有什么区别？

2697阅读·1评论·3点赞

2023年1月5日

纯干货分享！百度Java一、二、三面面经总结，本人已成功拿到offer！

5987阅读·7评论·8点赞

2021年4月11日

Java 虚拟机系列一：一文搞懂 JVM 架构和运行时数据区

460阅读·2评论·0点赞

2020年1月23日

阿里后端开发Java面经，附上我的面试真题复盘，希望对大家有帮助！

1429阅读·0评论·0点赞

2021年4月22日

华为OD（外包）社招技术二面，总结复盘

1.4W阅读·4评论·7点赞

2020年9月28日

java二面技术面试经验_网易java开发面试：一面+二面+三面以及 面试经验总结

280阅读·0评论·0点赞

2021年3月1日

java一面和二面_钉钉面经，Java面试题，一面二面整理

268阅读·0评论·0点赞

2021年3月10日

阿里Java研发2面，都会问什么？斩获阿里P6+的“他”告诉你答案

200阅读·2评论·0点赞

2021年5月19日

网易java程序员面试_网易Java程序员两轮面试 请问你能答对几个?

106阅读·0评论·0点赞

2021年3月8日

java二面问什么_java面试题，拼多多面试题分享(java二面)

2792阅读·0评论·1点赞

2021年3月11日

阿里高级Java面试题（首发，70道，带详细答案）

408阅读·0评论·0点赞

2022年8月19日

四年开发，待业半年本想放弃Java，抱着试试的心态面试某C轮金融科技公司居然过了！

1866阅读·18评论·6点赞

2020年11月21日

阿里第2面，都会问什么？

1426阅读·0评论·0点赞

2019年11月15日

阿里二面（主问项目和开发性问题）

875阅读·0评论·0点赞

2018年7月28日

阿里java研发岗五面（HR面+技术四面），附面试路线分享！

372阅读·0评论·1点赞

2021年7月26日

华为技术支持面试

7450阅读·1评论·3点赞

2011年11月18日

去首页

看看更多热门内容

评论1



jiasiyan



赞

请问大佬，校招不会问得这么难吧

java需要学习什么

java 开发需要学哪些

自java出来之后，就被很多人欢迎，虽然开始的时候有点麻烦，但是发展到现在很多人企业都在使用java做一些应用，包括了一些政府部门，因此java工程师需求也越来越大了。那么下面小编给大家说说java开发需要学哪些，希望能对你有些帮助。



java语法，通过任何一本Java入门书籍，都可以学会Java基本语法。千万不要认为，把书上的例子程序都能写出来就算学会了Java语法。要想真正掌握，还需要做大量的测试题。对语法不准确的理解，会使你写的代码出现逻辑错误。而这些错误会使你真正的项目开发中吃尽苦头：认为正确才会写上去。而在几十万行代码中找出几行有逻辑错误的代码，非常困难。因为你几乎不会怀疑你认为正确的代码存在错误。

常用类。永远不要写别人已经实现的代码。有很多功能，用JDk中现有的类就可以完成。需要熟悉JDK.可以通过研究JDK帮助文档和JDK源代码的方式，逐渐了解，需要的类都在什么地方。一方面，要熟悉有哪些可以直接使用的资源，另一方面，学习一下，SUN公司的工程师怎样写代码。

IDE集成开发环境。现在企业最常用的IBM公司的eclips类似的还有JBuilder,Idea,NetBean等等。毕竟，只有5%的顶尖高手在使用简单的文本编辑器在写Java代码。多数程序员都是使用这些东西。

数据库.MySql,Oracle,DB2.小项目多数使用MySql这样的免费数据库。大一些的项目会考虑使用Oracl或者DB2.Java项目很少使用SqlServer.因此，还需要学习数据库方面的一些知识。可以从SQL语言开始。这些数据库都支持标准SQL.学会基本的SQL,参考具体的数据库手册，就可以完成一般的项目开发了当然，要想使你程序运行的效率更高，需要更深入的学习。大部分的程序优化，都是从这部分开始的

JDBCJava数据库连接。使用Java程序操作数据库。这部分非常重要。几乎所有的企业项目都会用到

2怎么学习java

一定要看书

现在学习Java变得比以前容易多了，除了有大量的视频教程外，还有专业的java培训机构，这都使学习变得更加傻瓜化，然而我要说的是，Java虽然变得越来越容易学，然而那只代表入门容易，并不代表这门编程技术就真的变简单了。如果仅仅学了些皮毛，高手写的程序你是望尘莫及的。在学习的过程中，书籍永远是知识最好的载体，很多出色的程序员大师精心编撰的编程书籍，富含的不仅仅是一些知识，更多的是他们所传授的思想，通过看书，专研书籍中的内容，会让你变得更加聪明，写的程序也更加的精炼。

编程的时候，一定要独立思考

现在网络很发达，我见很多程序员总爱百度，包括我带的许多人都是这样，一个jdbc这么初级的东东，他们编程几年了，每次用还总是百度查。这个东西应该是熟记于心的，随时用，信手拈来，这样才能成为高手。就好像一个修理工，一遍查手册，一边给你修车，亦或是一个医生，一边看教程，一边给你看病，想想就觉得恐怖。

算法很重要，要不断的优化程序

现在很多人都是快速的学习，快速的练习，反复的练习。而我的建议是，无论你学到什么阶段，都要去不断的优化自己的编程，能用3行实现的程序，不用5行，这样你编写的程序才能更加凝练。而且，编程学习的中后期，就要重视算法，尽量编程优质的程序，这才是编程的美妙之处。

写一个程序，不断改进

你学习的过程可能很漫长，我建议你从一开始的时候，就想着写一个小程序，比如一个计算器的程序，开始可能很简单，仅仅通过命令行的方式呈现，功能可能也只有加减乘除，但是随着你学习的深入，你可以不断的完善这个程序，直到有一天，你把它做成一个非常完善，性能非常卓越的程序后，你就真正学成了。

3怎样学java

1.态度

学习就要有学习的态度。虚怀若谷，才能海纳百川，如果有什么不懂得可以在网络上，论坛上提出自己的疑问，会有人在一定的时间内帮助你解决的。

还是那句老话“功夫不负有心人”，只要你肯下功夫，铁杵也会磨成针的，更不用说一个小小的JAVA技术了。所以，虚心的态度非常重要。

2.学好基础知识

千里之行始于足下，摩天大楼平地起，很多事情都是从最基础做起，没有基础，就谈不上更高级的发展。学习JAVA也一样，不从基础学习，连基础知识都没有掌握，还谈什么精通JAVA?

3.实践

几乎所有的老程序员都会这些建议，那就是多编码、多练习，熟能生巧就是如此。

我们都看过武侠小说，高手绝不是只理解招式的作用，而是通过千万次的练习，将招式变成自己下意识的行为，这才是高手。编程也是一样，当你看到工程详细说明时已经下意识的在脑中构建好了整个程序的框架，一切成竹在胸才是高手。

4java怎么样学习

学习JavaSE基础

可以找一本书(任何大学教材)学习Java的基础部分，不要看特别厚的书，比如Java编程思想，对于初学者看这类书太累。并不推荐只是看视频学习，而是要边看书边照着书上的代码打一遍。即使记不住，也要打一遍。此时的学习，主要是学习好Java的语法，知道每个常用的类 或者功能怎么用。并不推荐使用命令行来学习代码，直接用IDE就好了，因为大部分国内的公司也是用IDE开发的。学的时候并不一定要背下来，但是要在用的时候知道去哪里找相关的内容，然后通过反复的使用达到记住的目的。

学习高级特性

同样是阅读和练习。这部分更不可能完全的背下来，所以主要是下载一些现成的代码例子，然后读懂，接下来尝试去修改。比如“网络编程”，如果代码的例子讲解的是利用网络编程发送文字，那么可以尝试修改，学习如何发送图片等。在这一阶段的学习，还要掌握大量的Java包，对于数据结构有appache的common包，有google的Guava等，大部分的编程实际上都是利用其他人编写好的java包的。

深入理解JavaAPI

就是弄懂原理。比如List有几种实现，每个实现的区别是什么，Java在序列化的时候存储的格式是什么，java的垃圾回收原理是什么。对于这方面的学习，其实可以找一些“面试题”通常会问到，比如研究者July收集的各种题库;也可以看书，比如Effective java 中文版(第2版)。

学习设计模式

其实这时为了更合理利用Java资源，进行正确的面向对象程序开发。这个时候要弄懂如何用java实现每一种设计模型(这时会综合利用继承、多态、抽象等机制)。可以看Head First 设计模式(中文版)等书，结合网上的资料。

开发工程级代码

这个阶段首先要下载一些其他人编写好的工程类的Java程序，看能不能看懂。如果能，学习他们的良好编程习惯，同时接着学习各种java的开源包。这类程序可以从GitHub上下载。然后在尝试参与到其他人的项目中，去修改他们的代码或者完成新的需求。其实能够做到这步，基本JavaSE就很好了。

dubbo和zookeeper

dubbo 是一个远程调用服务的分布式框架，可以实现远程通讯、动态配置、地址路由等等功能。比如在入门demo里的暴露服务，使得远程调用的协议可以使用dobbo协议( dubbo://x.x.x.x )或者其它协议，可以配置zookeeper集群地址，实现软负载均衡并配置均衡方式等。在不搭配注册中心的时候，它也是可以实现服务端和调用端的通信的，这种方式是点对点通信的，所谓“没有中间商”。但是如果配置服务发布和调用端过多特别是集群的方式提供服务的时候，就会暴露许多的问题：增加节点需要修改配置文件、服务端机器宕机后不能被感知等。它可以通过集成注册中心，来动态地治理服务发布和服务调用。相当于把服务注册和发布推送的功能分摊给了(zookeeper)注册中心。

Dubbo实现服务调用是通过RPC的方式，即客户端和服务端共用一个接口(将接口打成一个jar包，在客户端和服务端引入这个jar包)，客户端面向接口写调用，服务端面向接口写实现，中间的网络通信交给框架去实现。

咱们来看下Spring 配置声明暴露服务，provider.xml文件

再来看服务消费者，consumer.xml文件

这就是典型的点对点的服务调用。当然我们为了高可用，可以在consumer.xml中配置多个服务提供者，并配置响应的负载均衡策略。

配置多个服务调用者在comsumer.xml的dubbo:reference标签的url属性中加入多个地址，中间用分号隔开即可；配置负载均衡策略在comsumer.xml的dubbo:reference标签中增加loadbalance属性即可，值可以为如下四种类型：

那么目前的架构有什么问题呢？

1.当服务提供者增加节点时，需要修改配置文件。

2.当其中一个服务提供者宕机时，服务消费者不能及时感知到，还会往宕机的服务发送请求。

这个时候就需要引入注册中心了，Dubbo目前支持4种注册中心(multicast、zookeeper、redis、simple)推荐使用Zookeeper注册中心，要使用注册中心，只需要将provider.xml和consumer.xml更改为如下：

如果zookeeper是一个集群，则多个地址之间用逗号分隔即可

把consumer.xml中配置的直连的方式去掉

注册信息在zookeeper中如何保存？

启动上面服务后，我们观察zookeeper的根节点多了一个dubbo节点及其他，图示如下

最后一个节点中服务的地址，为什么把最后一个节点标成绿色？因为最后一个节点是临时节点，而其他节点是持久节点，这样，当服务宕机时，这个节点就会自动消失，不再提供服务，服务消费者也不会再请求。如果部署多个DemoService，则providers下面会有好几个节点，一个节点保存一个DemoService的服务地址。

其实一个zookeeper集群能被多个应用公用，因为不同的框架会在zookeeper上建不同的节点，互不影响。如dubbo会创建一个/dubbo节点，storm会创建一个/storm节点。

zookeeper 介绍：

zookeeper是 Apacahe Hadoop 的子项目，是一个树型的目录服务，支持变更推送，适合作为 Dubbo 服务的注册中心，工业强度较高，可用于生产环境，并推荐使用。

流程说明：

支持以下功能：

补充：

dubbo的协议使用什么序列化框架？

dubbo有多种协议，不同的协议默认使用不同的序列化框架。比如dubbo协议默认使用 Hessian2 序列化(说明：Hessian2 是阿里在 Hessian 基础上进行的二次开发，起名为Hessian2)。rmi协议默认为 java 原生序列化，http协议默认为为 json。

dubbo的通信方式？

采用单一长连接和NIO异步通信，基于Hessian2作为序列化协议。适合于小数据量（每次请求在100kb以内）大并发的服务调用，以及服务消费者机器数远大于服务提供者机器数的情况。具体实现是消费者使用 NettyClient，提供者使用 NettyServer，Provider 启动的时候，会开启端口监听，使用我们平时启动 Netty 一样的方式。而 Client 在 Spring getBean 的时候，会创建 Client，调用远程方法的时候，将数据通过DubboCodec编码发送到 NettyServer，然后 NettServer 收到数据后解码，并调用本地方法，并返回数据，完成一次完美的 RPC 调用。

zookeeper选举机制？

zookeeper选举算法默认的是FastLeaderElection，选举机制的概念：

1.服务器ID：比如有三台服务器，编号分别是1、2、3，编号越大在选择算法中的权重越大。

2.事务ID：服务器中存放的最大数据ID(致使ZooKeeper节点状态改变的每一个操作都将更新事务id，即时间戳)，值越大说明数据越新，在选举算法中数据越新权重越大。

3.逻辑时钟，或者叫投票的次数，同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加，然后与接收到的其它服务器返回的投票信息中的数值相比，根据不同的值做出不同的判断。

选举状态：LOOKING：竞选状态；FOLLOWING：随从状态，同步leader状态，参与投票；OBSERVING：观察状态,同步leader状态，不参与投票；LEADING：领导者状态。

初次选举简述：

目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选择举过程如下：

1.服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking。

2.服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING。

3.服务器3启动，给自己投票，同时与之前启动的服务器1,2交换信息，由于服务器3的编号最大所以服务器3胜出，此时投票数为3正好大于半数，所以服务器3成为领导者，服务器1,2成为小弟。

4.服务器4启动，给自己投票，同时与之前启动的服务器1,2,3交换信息，尽管服务器4的编号大，但之前服务器3已经胜出，所以服务器4只能成为小弟。

5.服务器5启动，后面的逻辑同服务器4成为小弟。

如果中间有节点挂掉，只要有半数以上节点存活，就可以正常服务，如果leader挂掉，则所有节点处于Looking状态 ，各自依次发起投票，投票包含自己的服务器ID和最新事务ID，如果发现别人的事务id比自己大，也就是数据比自己新，那么就重新发起投票，投票给目前已知最大的事务id所属节点(事务id一样，则数据id大的胜出)。每次投票后，服务器都会统计投票数量，判断是否有某个节点得到半数以上的投票。如果存在这样的节点，该节点将会成为准Leader，状态变为Leading。其他节点的状态变为Following。

引用：

Spark之SortShuffle原理参考

Spark 0.8及以前 Hash Based Shuffle

Spark 0.8.1 为Hash Based Shuffle引入File Consolidation机制

Spark 0.9 引入ExternalAppendOnlyMap

Spark 1.1 引入Sort Based Shuffle，但默认仍为Hash Based Shuffle

Spark 1.2 默认的Shuffle方式改为Sort Based Shuffle

Spark 1.4 引入Tungsten-Sort Based Shuffle

Spark 1.6 Tungsten-sort并入Sort Based Shuffle

Spark 2.0 Hash Based Shuffle退出历史舞台

Spark支持Hash Shuffle和Sort Shuffle，早期版本使用Hash Shuffle（包括优化后的Hash Shuffle）。Spark1.2起默认使用Sort Shuffle，并且Sort Shuffle在map端有三种实现，分别是UnsafeShuffleWriter、BypassMergeSortShuffleWriter、SortShuffleWriter，根据运行时信息自动选择对应的实现。

补充说明：上面SortShuffleWriter中提到的Partition，不是RDD中的Partition，而是类似Spark Shuffle之Hash Shuffle中的bucket，如果没有单独说明，Sort Shuffle相关文章中的Partition均为bucket，和源码中的变量名保持一致。

其中Serializer支持relocation

上面提到UnsafeShuffleWriter需要Serializer支持relocation，Serializer支持relocation是指，Serializer可以对已经序列化的对象进行排序，这种排序起到的效果和先对数据排序再序列化一致。Serializer的这个属性会在UnsafeShuffleWriter进行排序时用到，具体参考Introduce internal Serializer API for determining if serializers support object relocation #5924。支持relocation的Serializer是KryoSerializer，Spark默认使用JavaSerializer，可以通过参数spark.serializer设置。

其中Sort Shuffle设置： 上述三种ShuffleWriter实现均由SortShuffleManager管理

一、Spark中的Sorted-Based Shuffle产出的结果是并没有排序的，也就是说Shuffle的Reduce阶段是没有进行排序操作的，这点和MR不一样。

二、Spark中的Sorted-Based Shuffle只是中间结果排序，也就是说Shuffle的Mapper阶段在将bucket缓存Spill到磁盘的时候进行了排序操作，生成了FileSegment，其中涉及到一个排序算法TimSort。合并FileSegment的为一个文件的同时，生成一个索引文件。

三、排序操作相当于合并相同的Key，聚合数据在一起，便于后续Reducer阶段读取相应的数据。

Sorted-Based Shuffle 的核心是借助于 ExternalSorter 把每个 ShuffleMapTask 的输出，排序到一个文件中 (FileSegmentGroup)，为了区分下一个阶段 Reducer Task 不同的内容，它还需要有一个索引文件 (Index) 来告诉下游 Stage 的并行任务，那一部份是属于你的。

Shuffle Map Task 在ExternalSorter 溢出到磁盘的时候，产生一组 File#(File Group是hashShuffle中的概念，理解为一个file文件池，这里为区分，使用File的概念，FileSegment根据PartionID排序) 和 一个索引文件，File 里的 FileSegement 会进行排序，在 Reducer 端有4个Reducer Task，下游的 Task 可以很容易跟据索引 (index) 定位到这个 Fie 中的哪部份 FileSegement 是属于下游的，它相当于一个指针，下游的 Task 要向 Driver 去碓定文件在那里，然后到了这个 File 文件所在的地方，实际上会跟 BlockManager 进行沟通，BlockManager 首先会读一个 Index 文件，根据它的命名则进行解析，比如说下一个阶段的第一个 Task，一般就是抓取第一个 Segment，这是一个指针定位的过程。

补充说明：Sort-Based Shuffle 最大的意义是减少临时文件的输出数量，且只会产生两个文件：一个是包含不同内容划分成不同 FileSegment 构成的单一文件 File，另外一个是索引文件 Index。

重要提示：在Sorted-Shuffle中会排序吗？Sort-Based Shuffle的Mapper端在 Sort and Spill 的过程中会排序操作，而且是Spill到磁盘的时候再进行排序的。但在Reducer阶段的ApependOnlyMap过程不进行排序的。

Spark早期版本采用的是AppendOnlyMap来实现shuffle reduce阶段数据的聚合，当数据量不大时没什么问题，但当数据量很大时就会占用大量内存，最后可能OOM。所以从spark 0.9开始就引入了ExternalAppendOnlyMap来代替AppendOnlyMap。

java开发需要学习什么

java开发需要学习的内容有：

初级部分

Java OO程序设计基础，包括 J2sdk基础、Java面向对象基础、Java API使用、数据结构及算法基础、Java AWT图形界面程序开发；

J2SE平台Java程序设计，包括Swing图形程序设计, Socket网络应用程序设计,对象序列化，Java 常用数据结构，Applet，流和文件，多线程程序设计；

Java桌面系统项目开发，4~5人组成一个项目组，项目大小为（15人*工作日）；

Linux的基本操作，Linux下的Java程序开发，Linux系统的简单管理；

Oracle数据库，包括SQL/PLSQL;数据库和数据库设计；简单掌握ORACLE9i 数据库的管理；

中级部分

Java Web应用编程，包括 Java Oracle 编程，即JDBC；Java Web编程，包括JSP、Servlet,JavaBean；Java应用编程，包括Weblogic、Websphere、Tomcat；以及利用Jbuilder开发Java程序；

MVC与Struts，学习业界通用的MVC设计模式和Struts架构；

Java B/S商务项目开发，4~5人一个项目组，项目大小为（25人*工作日左右）

高级部分

J2ME程序设计，包括J2EE程序、J2ME；Java高级程序设计（J2EE），包括J2EE体系结构和J2EE技术、EJB；Weblogic使用、 JBuilder开发；

Java和XML，包括Java Web Service，Java XML, 业界主流XML解析器程序设计；

软件企业规范和软件工程，包括UML系统建模型和设计(Rational Rose 200x)软件工程和业界开发规范；CVS版本控制、Java Code书写规范；

J2EE商务应用系统项目开发，4~5人一个项目组，项目大小为（25人*工作日左右）

……………………………………………………………………………………………………

看你问的问题，应该是对java很感兴趣，其实你可以自学java。关于如何学习java，我刚才看到一篇很不错的文章，是一个农民工介绍自己如何自学java，并找到Java的工作，里面介绍了他的学习方法和学习过程，希望对你有帮助。

我是一名地地道道的农民工，生活在经济落后的农村，有一个哥哥和一个弟弟，父母都是地道的农民，日出而作，日落而息，我从小到大学习一直很好，从小学到高一都，成绩在全级一直名列前茅，这样我也顺利了考上省的重点高中，然而，每个学期开学是家里最为难的时候，每次交学费都让父母发愁许久，家里为了给我筹钱读书，都借了不少钱，才让我读上高中。我知道我读到高中家里已经欠了好多债，为了减轻家里的负担，我选择了退学。

2009年我高一退学，为了给家里还债，干过建筑工地的小工，搞过塑料制品加工，送水工等等。很工资都很低，一个月也就1000多，加上加班费一个月能拿2000多一点，我每个月都向家里寄回800-1000元，到了2011年末，一次偶然的机会我接触了Java，听说Java的前景挺不错，工资相对于我一个农民工来说简直是天文数字，于是我在新华书店买了几本Java的书，尽管白天辛苦工作，晚上回来还是坚持看书，但有于基础太差很多都很不明白，但还是坚持看，一有看1-2个小时Java的书，看着看着许多基础都慢慢的学会了，但那些比较难的还是看不懂，后来还买了有些关于框架的书，还是看不懂，这样断断续续的持续了半年多，觉得自己Java的基础都差不多懂了，但框架还是看不懂，还有最缺的项目经验，看了很多招聘Java程序员的简介都要项目经验，相对我一个农民工来连框架都弄不明白，想找一份Java工作对我来说简直是奢侈。我只想学Java，并不敢想以后能从事Java的工作。

有一次，在百度上看到一篇让我很鼓舞的文章，是一个Java高手介绍在没有基础的朋友怎么自学入门Java，文章写的很好，包含了如何学习，该怎么学习，他提到一个方法就是看视频，因为看书实在太枯燥和费解的，不少是我们也看不懂，这点我真的很认同，我自己看书都看了很久才学会基础。曾经有想过参加培训，但是上万元的培训费让我望而却步，我工资这么低，每个月还有向家里汇钱，加上城市消费比较高，虽然每个月只有几百剩下，但是相对于上万万学费和四个月的吃住费用逼我连想不敢想。 于是我决定看视频，我就去搜索Java的视频，虽然我零星的找到一些Java的视频，但是都不系统。最重要连项目都没有。后来我找到一份很好的视频，是IT学习联盟这个网站一套视频叫零基础Java就业班的教程还不错，很完整。还赠送11个顶级企业项目。价格很合理，于是我买下来。

于是开始了我的自学Java的路，收到光盘后，我就开始学习，刚开始学习还不错，是从零基础教起，老师幽默风趣而又轻松的课堂教课，使我发现原来学习JAVA并不是一件很难的事情。因为我本来基础还不错，前面的基础看一篇我就过去了，到了框架，我觉不又不是很难，可能老师太牛了，他能把复杂的问题讲的比较通俗易懂，有些难点的地方我还是连续看了五六次，把他弄懂。每天下午6点下班后，吃了饭，马上跑回家。看视频，买了几本笔记本。当时，为了编程还花几百元了台二手的台式电脑，配置一般，但编程是足够的。一边看视频，一边记笔记，把重点都记下来，还一边跟着老师敲代码，为了能尽早学会Java。每天都坚持学5-6个小时。经常学到晚上一点多才睡觉。星期六，日不用上班，每天7点多起床，学到晚上11,12点。那段时间特别辛苦，特别累。在学习Java的三个多月里，除了吃饭睡觉工作，剩余的时间都在学习，因为我知道自己的计算机基础不是很好，也没有学过什么计算机，只是学了些Java基础，相对于那些科班的人来说我要比他们付出更多的努力。我只能咬紧牙关，坚持下去，我不能放弃，我要完成我的梦想，我要让我的家人过上好日子。终于三个多月后我把Java教程里的内容和项目都学完了，在学项目的过程中我发现项目特别重要，他能把你学过的知识全部联系起来，能更好的理解你所学的知识。还有学习过程中，动手很重要，要经常跟着老师动手敲，动手吧，跟着做，一行一行的跟着敲，再试着加一些自己的功能，按照自己的思路敲一些代码，收获远比干听大的多。 如果遇到暂时对于一些思路不能理解的，动手写，先写代码，慢慢你就会懂了。这套视频还赠送了11个顶级企业项目，对于我没有任何经验的人来说，这个太重要了，还有在学习项目是提升能力最快的方法。项目能把所有的知识点全都连到一起了，不再是分散的，而是形成一个整体了。那种感觉是仅仅深入钻研知识点而不写真实项目的人所不能体会的。一个项目就是一根绳子可以把大片的知识串到一起。 就这样，我用了两个月也把项目给学完了。其实学完教程差不错就达到就业水平，但是我可能觉得自己学历低还是把那11个顶级企业项目才去找工作。

接着我就到51job疯狂的投简历，因为我的学历问题，初中毕业，说真的，大公司没有人会要我。所以我头的都是民营的小公司，我希望自己的努力有所回报。没有想过几天后，就有面试了，但是第一次面试我失败了，虽然我自认为笔试很好，因为我之前做了准备，但是他们的要求比价严格，需要有一年的项目经验，所以我没有被选中。 后来陆续面试了几加公司，终于功夫不负有心人，我终于面试上了一家民营的企业。公司规模比较小，我的职务是Java程序员。我想我比较幸运，经理看中我的努力，就决定吕勇我，开的工资是3500一个月，虽然我知道在北京3500只能过温饱的生化，但是我想我足够了，比起以前的工资好了些，以后可以多寄些钱回家。我想只要我继续努力。我工资一定会翻倍的。 把本文写出来，希望能让和我一样的没有基础的朋友有信心，其实我们没有自卑，我们不比别人笨，只有我们肯努力，我们一样会成功。

……………………………………………………………………

希望我的答案能帮助你。