发表于 | 分类于
字数统计: 1.1k | 阅读时长 ≈ 3
[TOC] 可以分为以下 6 点： 系统拆分 缓存 MQ 分库分表 读写分离 ElasticSearch 系统拆分将一个系统拆分为多个子系统，用 dubbo 来搞。然后每个系统连一个数据库，这样本来就一个库，现在多个数据库，不也可以扛高并发么。 缓存缓存，必须得用缓存。大部分的高并发场景，都是 ...
阅读全文 »

发表于 | 分类于
字数统计: 8.6k | 阅读时长 ≈ 31
[TOC] lucene 和 es 的前世今生lucene 是最先进、功能最强大的搜索库。如果直接基于 lucene 开发，非常复杂，即便写一些简单的功能，也要写大量的 Java 代码，需要深入理解原理。 elasticsearch 基于 lucene，隐藏了 lucene 的复杂性，提供了简单易用 ...
阅读全文 »

发表于 | 分类于
字数统计: 5.3k | 阅读时长 ≈ 19
RPC什么是 RPCRPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。比如两个不同的服务 A、B 部署在两台不同的机器上，那么服务 A 如果想要调用服务 B 中的某个方法该怎么办呢？使用 HTTP请求 当然 ...
阅读全文 »

发表于 | 分类于
字数统计: 7.2k | 阅读时长 ≈ 34
[TOC] 3.1 虚拟机环境准备 克隆虚拟机 修改克隆虚拟机的静态IP 修改主机名 关闭防火墙 创建atguigu用户 配置atguigu用户具有root权限（详见《尚硅谷大数据技术之Linux》）7．在/opt目录下创建文件夹（1）在/opt目录下创建module、softwa ...
阅读全文 »

发表于 | 分类于
字数统计: 4.7k | 阅读时长 ≈ 17
[TOC] Spark相关1. 阶段划分Spark通过分析各个RDD的依赖关系生成了DAG，再通过分析各个RDD中的分区之间的依赖关系来决定如何划分阶段，具体划分方法是：在DAG中进行反向解析，遇到宽依赖就断开，遇到窄依赖就把当前的RDD加入到当前的阶段中；将窄依赖尽量划分在同一个阶段中，可以实现流 ...
阅读全文 »

发表于 | 分类于
字数统计: 984 | 阅读时长 ≈ 4
Hadoop单机版环境搭建 一、前置条件 二、配置 SSH 免密登录 三、Hadoop(HDFS)环境搭建 四、Hadoop(YARN)环境搭建 一、前置条件Hadoop 的运行依赖 JDK，需要预先安装，安装步骤见： Linux 下 JDK 的安装 二、配置免密登录Hadoop 组 ...
阅读全文 »

发表于 | 分类于
字数统计: 1.9k | 阅读时长 ≈ 7
[TOC] Hadoop分布式文件系统——HDFS 一、介绍 二、HDFS 设计原理     2.1 HDFS 架构     2.2 文件系统命名空间     2.3 数据复制 & ...
阅读全文 »

发表于 | 分类于
字数统计: 1.2k | 阅读时长 ≈ 4
Flink Windows 一、窗口概念 二、Time Windows         2.1 Tumbling Windows        &nb ...
阅读全文 »

发表于 | 分类于
字数统计: 3k | 阅读时长 ≈ 17
[TOC] Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入 ...
阅读全文 »

发表于 | 分类于
字数统计: 1.6k | 阅读时长 ≈ 10
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798 ...
阅读全文 »