Skip to content

flyyoung/hadoop-ipc

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

##Hadoop IPC模块提取 使用的是这里的源码。比对了Hadoop-1.0.4,发现改变不大,我对主要的类都加了详尽的注释,方便大家理解。

Hadoop闻名遐迩,其内部通讯工具IPC更是被多个apache项目重复使用,所以网络上不难发现分析IPC模块的文章。某天在做分布式爬虫时,需要用到RPC功能,改造IPC(去掉认证,IPC的无关类)就出现了。

主要的Feature:

  • 去掉Writable等接口引用;
  • 去掉Socket认证功能;
  • 去掉所有配置;
  • 对外提供类似传统的XML-RPC面向接口的服务;
  • 保留原来的Ping功能;
  • 简单易用。

常见问题:

Q:IPC模块稳定吗? A:很稳定,除了废弃掉一些模块外,基本没有修改其核心功能。 Q:多并发性能怎么样? A:抱歉,没有测试过,自己只是在虚拟机中测试,实际情况有待大家验证。 …… 缺点:与LVS负载均衡失败,期待大家的帮忙,自己测试时老是提示连接被重置。

About

hadoop ipc 模块提取

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published