搜索
节点Kubernetes集群中的单个虚拟机或物理机。群集来自互联网的一组节点这些节点是Kubernetes管理的主要计算资源。边缘路由器为您的集群强制实施防火墙策略的路由器。这可以是由云提供商或物理硬
2022-11-27
HBase和ZooKeeperHBase内置有ZooKeeper也可以使用外部ZooKeeper。让HBase使用一个已有的不被HBase托管的ZooKeeper集群需要设置conf/hbaseenv
2022-11-26
BigdataCDHHadoop生态系统中的RPC性能瓶颈一、数据块汇报间隔时间二、Namenode优化三、RPC客户端优化RPC是远程过程调用(RemoteProcedureCall)即远程调用其他
2022-11-26
现在日志分为swift_manage日志/data/br/logs/swift/swift_api日志/data/br/logs/swift/swift_compute启动日志/data/br/log
2022-11-26
hadoop出现namenoderunningasprocess18472Stopitfirst等等类似的出现了好几个。namenoderunningasprocess32972Stopitfirst
2022-11-24
前言在搭建大数据Hadoop相关的环境时候,遇到很多了很多错误。我是个喜欢做笔记的人,这些错误基本都记载,并且将解决办法也写上了。因此写成博客,希望能够帮助那些搭建大数据环境的人解决问题。说明:遇到的
2022-11-19
hive里假设dws_store_install_ds为历史安装全量表dws_store_install_dm为天增量表如下逻辑是计算上月累积本月累积值的逻辑INSERTOVERWRITETABLEd
2022-11-13
在hive数据开发的过程中我们总是会遇到一些特殊日期获取的需求这个时候我们免不了要去百度参考别人的答案然后自己再来实践这里我把在工作中遇到的特殊日期的获取SQL开发积累整理下来并将会持续更新关注收藏不
2022-11-13
1关闭防火墙关闭防火墙执行关闭命令systemctlstopfirewalldservice开机禁用防火墙自启命令systemctldisablefirewalldservice开启防火墙启动:sys
2022-11-12
文章目录Hadoop伪分布SparkLocal软件安装及环境配置前言一、安装虚拟机1下载Ubuntu1604镜像二、Hadoop安装及配置伪分布式1创建hadoop用户2更新apt3安装SSH、配置S
2022-11-12
一Linux系统配置以下操作是在root用户下进行的1配置网络环境在Linux图形化界面点击窗口栏的SystemPreferencesNetworkConnectionsSystemeth0IPv4S
2022-11-12
安装虚拟机及linux系统(本文以CentOS为例)请自行百度创建hadoop用户创建hadoop用户suroot用户创建useraddmhadoops/bin/bash设置密码passwdhadoo
2022-11-12
安装JDK1准备软件准备jdk安装包jdk8u221linuxx64targz2解压压缩包tarzxvfjdk8u221linuxx64targz3在此处我们配置系统环境变量使用命令vim/etc/p
2022-11-12
HDFS上的文件对应的Block保存多个副本且提供容错机制副本丢失或者宕机自动恢复默认是存3个副本。28x之前的副本策略官方文档说明https://hadoopapacheorg/docs/r280/
2022-11-12
hadoop集群机架感知副本存储节点选择策略http://hadoopapacheorg/docs/r313/hadoopprojectdist/hadoophdfs/HdfsDesignhtmlDa
2022-11-12
17Hadoop选举以及副本策略默认是采用投票数大于半数则胜出的逻辑。选举流程简述目前有5台服务器每台服务器均没有数据它们的编号分别是1,2,3,4,5,按编号依次启动它们的选择举过程如下服务器1启动
2022-11-12
我的集群使用的是hadoop272版本,副本节点选择机制如下:(1)第一个副本在client所处的节点上,如果客户端在集群外随机选一个。(2)第二个副本和第一个副本位于相同机架,随机节点。(3)第三个
2022-11-12
1JDKhadoop3x的JDK最低为Java82副本EC副本在分布式存储系统下的一种数据可靠性保护技术通过冗余的数据副本来保障单点故障下数据的请求不中断。ErasureCodeEC即纠删码是另一种实
2022-11-12
Hadoop3x之HDFS完整使用一、HDFS概述1、HDFS产生背景2、HDFS定义3、HDFS优点4、HDFS缺点二、HDFS组成架构1、HDFS组成架构2、NameNodenn3、DataNod
2022-11-12
1数据迁移hadoopdistcpDmapreducejobqueuenamehive2hdfs://ip1:8020/user/hive/warehouse/testdb/t1hdfs://ip2:
2022-11-12