心之影
han_zw · 共 32 篇文章
smiley-http-proxy-servlet 反向代理时丢失cookie的问题
在使用smiley-http-proxy-servlet实现反向代理时,发现在进行转发时原始request中的cookie信息丢失了。翻看了其源代码后发现在ProxyServlet进行http转发时是有copy原始request中的header(包括cookie)的操作的,如下: /** Copy request headers from the servlet client to the proxy request. */ protected void copyRequestHeaders(HttpServletRequest servletRequest, HttpRequest pro…
2017-02-15 22:20 · java · 评论(0)
hadoop 2.7.2 yarn中文文档——NodeManager 重启
介绍 本文档给出NodeManager(NM) restart的概览,该feature允许NodeManager在不丢失active container的情况下重启。从更高层面看,NM在处理container-management 请求时将必要的状态信息保存至本地state-store。当NM重启时,它首先为各个子系统加载state信息,之后让这些子系统利用加载的state重新执行恢复。 启用NM Restart Step 1. 启用NM Restart功能,设置conf/yarn-site.xml中的以下属性为true。 Property Value yarn.nodemanager.re…
2016-11-21 11:25 · 大数据 · 评论(0)
hadoop 2.7.2 yarn中文文档——YARN 命令
概述 YARN命令通过bin/yarn 脚本调用.不传入任何参数运行该脚本会打印所有命令的描述。 Usage: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS] YARN有一个option解析框架用来解析通用options和运行class。 COMMAND_OPTIONS Description --config confdir 覆盖默认的配置目录。默认为${HADOOP_PREFIX}/conf --loglevel loglevel 覆盖log level。有…
2016-11-18 15:33 · 大数据 · 评论(0)
hadoop 2.7.2 yarn中文文档——编写 YARN Applications
目标 本文在较高层次介绍实现YARN的application的方式。 概念和流程 通俗讲就是一个application提交客户端提交一个application到YARN Resource Manager(RM)。通过建立YarnClient对象可以完成这个工作。YarnClient启动之后,client之后可以建立application context,准备包含ApplicationMaster(AM)的第一个container,之后提交该application。你需要提供你的application运行所需的详细信息,包括本地文件、jar文件、实际运行的命令(包括必要的命令行参数)、任意操作…
2016-11-11 22:58 · 大数据 · 评论(0)
hadoop 2.7.2 yarn中文文档——The YARN Timeline Server
概述 介绍 在YARN中通过Timeline Server用一种通用的形式解决对application的当前和历史信息的存储和检索。它有两个职责: 持久化Application特定信息 Application或者framework的完整特定信息的收集和检索。例如,Hadoop Mapreduce framework会包含诸如map task数目,reduce task数目,counter数目等等。Application的开发者在Application Master 或者application的container中,可以通过TimelineClient发布这些信息到Timeline serve…
2016-10-24 22:59 · 大数据 · 评论(0)
hadoop 2.7.2 yarn中文文档——Web Application Proxy
Web Application Proxy是YARN的一部分。默认情况下它会作为Resource Manager(RM)的一部分运行,但是可以配置为独立运行的模式。Proxy的意义是减少通过YARN的网络攻击的可能性。 在YARN中,Application Master(AM)有责任提供Web UI并将该链接发送至RM。这带来了一些潜在的问题——RM作为一个可信任的用户运行,人们信任正在访问的RM的web地址,以及它提供的链接,但是当AM运行在一个非受信的用户,而且给到RM的链接可能指向恶意的东西。Web Application Proxy通过警告不是特定application属主的用户,他…
2016-09-28 15:41 · 大数据 · 评论(0)
hadoop 2.7.2 yarn中文文档——YARN Node Labels
概述 Node label是将相似特点的节点进行分组的一种途径,application可以指定在哪里运行。现在我们只支持node partition: 一个node只能有一个node partition, 所以一个集群通过node partition被分为多个互斥的子集群。默认的,node都属于DEFAULT分区(partition="")。 用户需要配置每个partition可以使用不同的队列多少资源。更多详情请参考下面的章节。 有两种node partition: 互斥的:容器被分配到精确匹配的node partition的节点(如请求partition="x" 将会被分配到partit…
2016-09-23 13:38 · 大数据 · 评论(0)
hadoop 2.7.2 yarn中文文档——ResourceManager High Availability
介绍 本指南提供YARN的ResourceManager 的HA概览,以及如何配置和使用这些特性。ResourceManager(RM)负责跟踪集群中的资源,调度application(如MapReduce job)。hadoop 2.4之前,ResourceManager在YARN集群中存在单点故障的隐患。HA特性通过主备ResourceManager的方案解决单点故障问题。 架构 RM灾备 ResourceManager HA通过主备架构实现——在任意时刻,一个RM处于Active模式,另外一个或者多个处于Standby模式,等待某种情况发生则转为Active模式。切换为Active的触…
2016-09-13 10:52 · 大数据 · 评论(0)
hadoop 2.7.2 yarn中文文档——ResourceManger Restart
综述 ResourceManager是管理资源和调度YARN中运行的application的中心机构。因此,它在Apache YARN 集群中存在潜在的单点故障。本文档给出有关ResourceManager Restart特性的概述,该特性强化ResourceManager可以跨越重启操作继续运转,另外让ResourceManager的停机时间对终端用户不可见。 ResourceManager Restart特性分成两个阶段: ResourceManager Restart阶段1(Non-work-preserving RM restart):RM在插件化的 state-store中持久化a…
2016-09-08 13:46 · 大数据 · 评论(0)
hadoop 2.7.2 yarn中文文档——Fair Scheduler
目标 本文档描述FairScheduler,一个允许YARN应用程序公平共享集群资源的调度插件。 概述 公平调度是一个分配资源给所有application的方法,平均来看,是随着时间的进展平等分享资源的。下一代Hadoop可调度多资源类型。默认的,FairScheduler只基于内存的公平调度策略。它可以配置为包括内存和cpu的调度,采用Ghodsi等开发的主资源公平算法。当只有一个application运行时,该application使用整个集群。当其他应用程序提交之后,释放出来的资源分配给新的application,所以每个application最终会得到大致相同量的资源。不像默认的ha…
2016-09-01 22:15 · 大数据 · 评论(0)
hadoop 2.7.2 yarn中文文档—— Capacity Scheduler
目标 本文档将描述CapacityScheduler,它作为一个可插拔的hadoop调度器,允许多租户安全的共享一个大的集群,在资源分配有限的条件下适时的为应用程序分配资源。 综述 CapacityScheduler被设计作为一个共享的、多租户集群用来运行hadoop应用,在操作友好的方式下最大化集群吞吐量和利用率 。 传统的,每个组织(Organization)拥有自己私有的计算资源集,它有足够大的容量来应对该组织的SLA峰值或者接近峰值的条件。这通常会导致比较低的资源利用率以及管理多个独立的集群(每个组织一个)的额外负担. 在不同组织间共享集群是运行大规模hadoop设施的节约成本的方式…
2016-08-06 10:28 · 大数据 · 评论(0)
hadoop 2.7.2 yarn 中文文档——架构
ResourceManager和NodeManager一起构成数据计算框架。ResourceManager是系统中所有应用程序资源决策的最高权威。NodeManager是部署在每台机器的框架的agent,它负责管理各个容器,监控机器的资源使用情况(CPU、内存、存储,网络),以及将这些信息上报给ResourceManager。 每个应用程序的ApplicationMaster实际上是一个框架的中的特定library,它的职责就是与ResourceManager协商资源以及与NodeManager协作队任务进行执行和监管。 ResourceManager有两个主要组件:Scheduler 和 …
2016-07-20 22:43 · 大数据 · 评论(0)
hadoop2.7.2 yarn中文文档——概述
下一代MapReduce——Yarn(MRv2) 在hadoop-0.23中引入的新框架把JobTracker的两个主要功能:资源管理和job生命周期管理分别拆分成了独立的组件。 新的ResourceManager管理Application所需计算资源的全局分配,每个独立应用的ApplicationMaster管理应用的调度和协调。 一个应用程序可以是类似于经典的MapReduce的独立job,也可以是类似job组成的DAG。 ResourceManager和每个机器上的NodeManager都是后台守护进程。NodeManager管理所在机器的用户进程,与ResourceManager共同…
2016-07-19 10:25 · 大数据 · 评论(0)
伪分布式hadoop 2.x安装部署
在个人虚拟机上搭建hadoop的运行环境的笔记。 背景信息:部署版本采用了hadoop 2.6.3;操作系统为centos ,内核2.6.32-504.3.3.el6.x86_64;系统已经正确安装了jdk,本次选定版本为jdk7u79. 一、解压部署 1. 下载hadoop 2.6.3 安装包 hadoop-2.6.3.tar.gz,下载页面: http://hadoop.apache.org/releases.html 解压到目录:/home/hanzhiwei/app/hadoop下 2. 设定HADOOP_HOME环境变量 在~/.bash_profile文件中添加hadoop的环境…
2016-07-08 17:42 · 大数据 · 评论(0)
hello 数据仓库
作为笔记记录下,希望对别的朋友有帮助。 Hello DW! 1. WHAT 1.1 数据仓库定义 数据仓库不是新事物,它的定义由数据仓库之父——Bill Inmon在1991年发表的著作《Building the Data Warehouse》中提出。本书影响非常大,属于数据仓库的经典著作。Bill Inmon也被人称之为“数据仓库之父”。 他给出的数据仓库定义:数据仓库(Data Warehouse, 简称DW)是一个面向主题的、集成的、非易失的,随时间变化的用来支持管理人员决策的数据集合。 1.2 四个特点: *** 面向主题性**——传统操作型数据的数据设计围绕功能进行组织,数据组织方…
2016-07-02 17:43 · 大数据 · 评论(0)