搜索
讲核心技术架构原理之前我们先来了解以下国内数据库现状目前国内市场主流的数据库商业数据库有OracleSQLserver以及DB2传统开源的有更多。今天我们主要是讲国内云厂商自研数据库有阿里云数据库腾讯
2022-12-02
亚马逊DynamoDB在分区中存储数据。分区是一个表的存储分配由固态驱动器SSD支持并在AWS区域内的多个可用区自动复制。分区管理完全由DynamoDB处理你永远不需要自己管理分区。当你创建一个表时该
2022-11-29
前言TDengine是一个高效的存储、查询、分析时序大数据的平台专为物联网、车联网、工业互联网、运维监测等优化而设计。Rianbond擅长应用自动化管理两者结合起来实现11大于2本文详细讲述如何整合T
2022-11-24
目录前言一、制作Fluentd镜像二、编写配置文件1编辑配置2配置说明(可忽略不看)3logbackspringxml的配置三、部署fluentd前言Fluentd是一款开源的日志收集功能和Elast
2022-11-24
深度优先遍历DFS图的遍历即是对结点的访问。一个图有那么多个结点如何遍历这些结点需要特定策略一般有两种访问策略:(1)深度优先遍历(2)广度优先遍历图的深度优先搜索(DepthFirstSearch)
2022-11-15
文章目录前言立即开始服务器端ubuntu客户端windows数据建模超级表写入查询集群总结前言今天是5月14日查了一下小蓝的骑行订单上一次出校门还是3月13日痛苦面具这几天在宿舍闲着把TDengine
2022-11-13
本项目涉及到用户的钱包功能需要实现以下基本功能1用户之间发生金额转移类似红包功能2余额查询和余额明细查询3银行卡绑定解绑钱包余额提取和充值功能资金流转需要在后台实现且每次资金流转都会触发用户的账户余额
2022-11-13
一、什么是拉链表针对订单表、订单商品表流水表这些表中的数据是比较多的如果使用全量的方式会造成大量的数据冗余浪费磁盘空间。所以这种表一般使用增量的方式每日采集新增的数据。在这注意一点针对订单表如果单纯的
2022-11-13
在dwd层关联维度表时经常会遇到数据倾斜假如某app商店的曝光数据超百亿在关联app维度表表时排在前面的app肯定占了大部分数据如抖音微信肯定会遇到数据倾斜。这个时候该怎么解决呢mapjoin无疑是比
2022-11-13
概念增量表记录更新周期内新增的数据即在原表中数据的基础上新增本周期内产生的新数据全量表记录更新周期内的全量数据无论数据是否有变化都需要记录拉链表一种数据存储和处理的技术方式可以记录数据的历史信息记录数
2022-11-13
HDFS上的文件对应的Block保存多个副本且提供容错机制副本丢失或者宕机自动恢复默认是存3个副本。28x之前的副本策略官方文档说明https://hadoopapacheorg/docs/r280/
2022-11-12
1数据迁移hadoopdistcpDmapreducejobqueuenamehive2hdfs://ip1:8020/user/hive/warehouse/testdb/t1hdfs://ip2:
2022-11-12
一、DataX介绍DataX是阿里开源的一个异构数据源离线同步工具致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效
2022-11-12
之前一个spark写ck的任务某天开始频繁报错如下Toomanyparts(300)Mergesareprocessingsignificantlyslowerthaninserts(version2
2022-11-12
目录11搭配前的准备111下载并安装VIM脚本编辑3台虚拟机112关闭防火墙3台虚拟机113更改主机名字并增加身份识别3台虚拟机114免密登录3台虚拟机12如何使用Xshell和Xftp121xshe
2022-11-12
<Hadoop>是一个能够对大量数据进行分布式处理的软件框架可以一种可靠、高效、可伸缩的方式进行数据处理。其发行版除了有Apachehadoop外clouderahortonworksma
2022-11-12
大数据包括静态数据和动态数据流数据相应地大数据计算包括批量计算和实时计算。传统的MapReduce框架采用离线处理计算的方式主要用于对静态数据的批量计算并不适合处理流数据。流计算即针对流数据的实时计算
2022-11-12
企业数据架构的演进传统数据处理架构、大数据Lambda架构、流程处理架构。Flink是一种具有代表性的开源流处理架构它实现了GoogleDataflow流计算模型是一种兼具高吞吐、低延迟和高性能的实时
2022-11-12
一、Hadoop组成Hadoop1x主要由MapReduceHDFSCommon组成MapReduce负责任务的计算以及实现资源的调度HDFS负责数据的存储Common是一个Hadoop的底层的辅助工
2022-11-12
Hadoop集群伪分布模式的搭建JunLeon——gobigorgohome目录Hadoop集群伪分布模式的搭建1、配置免密登录2、HDFS的配置、启动与停止配置文件均在hadoop的主目录下操作1配
2022-11-12