hadoop

hadoop 在 termux 安装配置的问题

首页 专栏 机器学习 文章详情 0 hadoop 在 termux 安装配置的问题 Mikele 发布于 3 月 29 日 在安卓手机安装使用 hadoop 遇到的问题 由于新的 termux 在安卓 10 安装不了 Java ,所以在 termux 里安装了
hadoop

Hadoop学习笔记—HDFS

首页 专栏 hadoop 文章详情 0 Hadoop学习笔记—HDFS 西北偏北 发布于 4 月 3 日 [TOC] 上一份工作主要负责大数据平台的建设,在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记,由于时间关系,不打算去修改其中的错别字和排版问
hadoop

hadoop3.2.2的start-yarn.sh启动失败

根据尚硅谷的hadoop3.2.2分布式教程分三台机子102开启Namenode 103开启ResoucreManager104开启SecondaryNamenodejps情况 namenode和datanode均以配置成功。hadoop102hadoop103hadoop104 在hadoop10
hadoop

Hadoop学习笔记—Yarn

首页 专栏 hadoop 文章详情 0 Hadoop学习笔记—Yarn 西北偏北 发布于 4 月 10 日 Hadoop学习笔记—Yarn @(Hadoop)[hadoop, yarn] [TOC] 上一份工作主要负责大数据平台的建设,在这个过程中积累了一些H
hadoop

Hadoop是否会被Spark取代?Hadoop生态组件原理解析

首页 专栏 数据库 文章详情 1 Hadoop是否会被Spark取代?Hadoop生态组件原理解析 录信数软 发布于 4 月 19 日 Hadoop和Spark都是目前主流的大数据框架,但是随着Spark在速度和易用性方面表现出的优势,一些国内外专家逐渐推崇S
hadoop

Hadoop - 集群安装

首页 专栏 hadoop 文章详情 0 Hadoop - 集群安装 大军 发布于 5 月 12 日 环境准备 我这里准备四个虚拟机,ip分别为: # bigdata01 192.168.11.100 # bigdata02 192.168.11.101 # bi
hadoop

hdfs命令的那点事

首页 专栏 shell 文章详情 0 hdfs命令的那点事 lang 发布于 2 月 26 日 背景 时间:2021年02月26日13:58:26 简要步骤: 确定命令是什么? 确定命令的位置是是哪里? 确定命令执行的主类是哪一个? 按照执行流程查看 例子:发现hd
hadoop

Hadoop 入门

首页 专栏 hadoop 文章详情 0 Hadoop 入门 想你就写信 发布于 2 月 1 日 1 大数据概率 大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多
hadoop

HBase到底是列式存储还是行式存储?

逻辑概念上,数据库表是一种二维的数据结构,具有行和列。但在内存、磁盘等物理存储上,数据一般是需要线性顺序组织的。所以为了存储数据库表中的数据,有了两种常见的组织方式:基于行的存储和基于列的存储。 基于行的存储,是将整行数据连续存在一起。在基于行存储的表中,即使只需要读取指定列时,也需要先将对应行的数
hadoop

Distcp的那点事

[TOC] 灵魂拷问:你真的了解distcp吗?这里说的就是distcp的那点事 背景 今天在整理笔记的时候,发现了好几篇临时记录都是记录的集群间文件复制需要注意的地方,虽然记录的东西和重点不同,但是核心的东西都是distcp相关的,所以,感觉还是有点必要归总一下,这篇文章的内容主要是一点细节问
hadoop

SQL高阶(窗口函数)

窗口函数 窗口函数也称为OLAP(Online Analytical Processing)函数,意思是对数据库数据进行实时分析处理,窗口函数在Oracle和SQL Server中也被称为分析函数,窗口函数语法如下 <窗口函数> OVER ([PARTITION BY <列清单&g
hadoop

livy 安装并集成kerberos

使用原因:因为griffin需要安装livy组件的支持,所以需要安装livy提交spark任务。 版本说明: Livy版本0.7 spark版本CDH6.2-spark2.4 安装 (1)下载apache livy 下载地址:https://github.com/apache/incubator-l
加载更多