• hadoop client与datanode的通信协议分析_java

    本文主要分析了hadoop客户端read和write block的流程. 以及client和datanode通信的协议, 数据流格式等. hadoop客户端与namenode通信通过RPC协议, 但是client 与datanode通信并没有使用RPC, 而是直接使用socket, 其中读写时的协议...

    Hadoop 2016-05-04


  • hadoop 集群 加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令

    加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令 方式1:静态添加datanode,停止namenode方式 1.停止namenode 2.修改slaves文件,并更新到各个节点3.启动namenode 4.执行hadoop balance命令。(此项为balance集群使用,如果只...

    Hadoop 2016-01-26


  • Hadoop 之Hbase命令

    一、常用命令:hbase shell 进入终端 1.创建表: create 'users','user_id','address','info' 表users,有三个列族user_id,address,info 2.列出全部表 list 3.得到标的信息 describe‘users’ 4.删...

    Hadoop 2016-01-26


  • Hadoop之Storm安装

    nimbus:主节点,负责分发代码,分配任务只能有一个supervisor:从节点,负责执行任务可以有多个 jdkzookeeper192.168.1.170171172建议在zookeeper的节点上设置一个crontab定时任务,同步时间:* * * * * usrsbinntpdate tim...

    Hadoop 2016-01-26


  • 如何编译Apache Hadoop2.6.0源代码

    如何编译Apache Hadoop2.6.0源代码 1.安装CentOS 我使用的是CentOS6.5,下载地址是http: 下载,注意是64位的,大小是4GB,需要下载一段时间的。其实6.x的版本都可以,不一定是6.5。 我使用的是VMWare虚拟机,分配了2GB内存,20GB磁盘空间。内存太小...

    Hadoop 2016-01-26


  • Hadoop 面试题 之Hive

    1.Hive 有哪些方式保存元数据,各有哪些特点。 15. Hive内部表和外部表的区别 23.hive底层与数据库交互原理Hive的Hql语句掌握情况? 36.使用Hive或自定义mr实现如下逻辑: product_no lac_id moment start_time user_id coun...

    Hadoop 2016-01-26


  • Hadoop 面试题之Hbase

    Hadoop 面试题之九 16.Hbase 的rowkey 怎么创建比较好?列族怎么创建比较好? 答: 19.Hbase 内部是什么机制? 答: 73.hbase 写数据的原理是什么? 答: 75.hbase宕机如何处理? 答: 144. 如果让你设计,你觉得一个分布式文件系统应该如何...

    Hadoop 2016-01-26


  • hadoop家族之pig入门

      昨天成功运行第一个在hadoop集群上面的python版本的wordcount,今天白天继续看网上提供的文档。下午上头给定的回复是把hadoop家族都熟悉一下,那就恭敬不如从命,开始学习pig吧~   这一年多的编程之路让我知道学习任何一门新的技术的最入门的方式就看文档,let's geting...

    Hadoop 2016-01-26


  • Hadoop2.6 Ha 安装

    Hadoop 2.6安装文档 版本说明:hadoop 2.6 linux-64位 Zookeeper3.4.6 jdk 1.7.0_75 1、Ssh无密码 ssh-keygen vimauthorized_keys 把每台机子上的id_rsa.pub内容拷贝到authorized_keys Scp到...

    Hadoop 2016-01-05


  • 大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍

    Technorati 标记: hadoop,生态圈,ecosystem,yarn,spark,入门 1. hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 具有...

    Hadoop 2016-01-05


  • Hadoop节点"慢磁盘"监控

    前言最近在工作中解决了一个慢磁盘的问题,个人感觉整个发现-分析-解决的过程还是非常有意思并且很有意义的.而且磁盘监控在目前的Hadoop中还是没有做的很全的,大多数都是对Datanode,可以说这是1个盲区.其实想一想,hadoop自身不做这方面的监控也合理,因为像这种问题基本上是属于硬件问题,本不...

    Hadoop 2015-12-07


  • [Hadoop]-从数据去重认识MapReduce

      这学期刚好开了一门大数据的课,就是完完全全简简单单的介绍的那种,然后就接触到这里面最被人熟知的Hadoop了。看了官网的教程【吐槽一下,果然英语还是很重要!】,嗯啊,一知半解地搭建了本地和伪分布式的,然后是在没弄懂,求助了Google,搞来了一台机子,嗯,搭了个分布式的。其实是作业要求啦,觉得自...

    Hadoop 2015-11-30


  • Hadoop完全分布式搭建过程中遇到的问题小结

    前一段时间,终于抽出了点时间,在自己本地机器上尝试搭建完全分布式Hadoop集群环境,也是借助网络上虾皮的Hadoop开发指南系列书籍一步步搭建起来的,在这里仅代表hadoop初学者向虾皮表示衷心的感谢,他总结的系列文档确实帮我们扫除了很多hadoop环境搭建过程中的障碍。 自己不班门弄斧...

    Hadoop 2015-11-17


  • Hadoop fs命令(转)

    最近使用hive做一些etl工作,除了日常sql的编写,了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要,一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令:(hadoop fs -help列出全部) 1,hadoop fs fs [local | fil...

    Hadoop 2015-11-06


  • 构建Hadoop伪分布式环境

    构建Hadoop伪分布式环境   这篇文章介绍Hadoop伪分布式环境的搭建过程与原理,是个人的学习总结,以纪念在各个步骤中遇到的麻烦、踩过的坑!   这篇笔记包含这样几个内容: 配置伪分布式环境 运行一个简单的作业 可能遇到的问题及解决办法 配置伪分布式环境   本文中的内容基于Hadoop2...

    Hadoop 2015-10-14


  • 【源】从零自学Hadoop(08):第一个MapReduce

    阅读目录 序 数据准备 wordcount Yarn 新建MapReduce 示例下载 系列索引 本文版权归mephisto和共有,欢迎转载,但须保留此段声明,并给出,谢谢合作。 文章是哥mephisto写的,SourceLink 序   上一篇,我们的Eclipse插件搞定,那开始我们的Ma...

    Hadoop 2015-10-11


  • 关于hadoop 2.6 运行WordCount 应该注意的问题

      小弟今天运行了一个小小的关于map-reduce的WordCount 程序,经过一番捣腾收获可不小。在这里记录运行过程中所遇到的一些常见问题,有关于和其他版本不同的地方。   再伪分布式的开发环境下,在集成开发环境中写好了WordCount 程序,程序源代码如下:   TokenizerMapp...

    Hadoop 2015-10-08


  • 【源】从零自学Hadoop(07):Eclipse插件

    阅读目录 序 Eclipse Eclipse插件 新建插件项目 系列索引 本文版权归mephisto和共有,欢迎转载,但须保留此段声明,并给出,谢谢合作。 文章是哥mephisto写的,SourceLink 序   上一篇,我们的第一个Cluster搞定了,按平常的搭建集群来说,应该是至少3个...

    Hadoop 2015-10-08


  • Windows下Hadoop编程环境配置指南

    刘勇 Email: lyssym@ 本博客记录作者在工作与研究中所经历的点滴,一方面给自己的工作与生活留下印记,另一方面若是能对大家有所帮助,则幸甚至哉矣! 简介 鉴于最近在研究Hadoop编程时,为考虑编程的方便,在Windows本地编译源程序,然后直接访问Hadoop集群,这样给广大编程...

    Hadoop 2015-09-30


  • Hadoop(五)——核心编程MapReduce(下)

    上篇博客最后我们讲述了WordCount的hadoop官方源码,主要看map类的编写规则,入参(从文件)出参(经过shuffle,combiner过程给reduce),reduce的编写规则,入参(从map类中获取),出参(想要的结果输出到文件中)。下边我们再进一步通过几个例子(在hadoop实战中...

    Hadoop 2015-09-15


热门影视