ZooKeeper
下载https://zookeeper.apache.org/https://archive.apache.org/dist/zookeeper/我们选择比较稳定的版本 3.5.7 安装上传到 linux 上解压缩[xiamu@hadoop202 software]$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/修改名称[x
Yarn
指定向 hive 对象提交任务 12[xiamu@hadoop202 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -D mapreduce.job.queuename=hive /input /output5 也可以在打包之前的驱动指定向其他队列提交作
MapReduce
编写 WordCountWordCountMapper 代码 123456789101112131415161718192021222324252627/** * KEYIN, map阶段输入的key的类型: LongWritable * VALUEIN, map阶段输入value类型: Text * KEYOUT, map阶段输出的Key类型: Text * VALUEOUT, map阶段输出的
Snipaste
下载Snipaste解压, 然后双击 Snipaste.exe 按F1开始截图按F3(贴图)把截图粘贴到浮动窗口也可以把剪切板中的图片或者文件粘贴到浮动窗口缩放 (鼠标滚动或者+/-)旋转(1/2)翻转(3/4)设置透明度(Ctrl + 鼠标滚动 或者 Ctrl++/- )图片编辑(Space)缩略图模式(Shift+鼠标双击)隐藏(鼠标双击) 回放截图记录
node-sass
使用 npm i 安装报错, gyp err xxx gyp verb check python checking for Python executable “python2” in the PATH 参考地址: https://github.com/lenve/VBlog/issues/79 只需要删除 package.json 中的“node-sass”: “^4.14.1”,“sass
如何使用IDEA运行上古年代屎山JSP项目
环境配置Open(打开项目)点击open打开一个项目, 注意项目名不要带中文以及乱七八糟空格字符, 根目录的.idea推荐直接删除掉, 然后自己来配置 打开的项目目录如下: 此时的src与web是同级目录, 但是web图标并没有小蓝点, 我们需要给web目录加上小蓝点才能正常运行出项目 点File - Project Structure 点开之后是这个样子的, 我们一项一项的来看 pr
HDFS
定义HDFS(Hadoop Distributed File System), 它是一个文件系统, 用于存储文件, 通过目录树来定位文件;其次, 它是分布式, 由很多服务器联合起来实现其功能, 集群中的服务器有各自的角色.HDFS 的使用场景, 适合一次写入, 多次读书的场景. 一个文件经过创建, 写入和关闭之后就不需要改变.思考:NameNode 在生产环境中一般是 128G 的内存, 能存多少
Hadoop 入门以及环境搭建
概念大数据主要解决, 海量数据的采集, 存储和分析计算问题 linux 的配置设置终端的字体大小setfont sun12x22 一些基本的配置最小安装需要安装一些工具包 1yum install net-tools wget zip unzip vim-enhanced net-tools -y 安装用于上传, 下载文件的工具包rz 上传, zs 下载 1yum install lrzsz -