xlucas分享站 – xlucas分享站

网站标签

该站未曾设置keywords

---

网站描述

该站未曾设置description

---

上一篇：福建省助残公益协会 - 福建省助残公益协会

下一篇：卓一牧业_自动化养鸡设备_自动化养鸡成套设备_肉鸡_蛋鸡饲养设备_新乡市卓一智能机械有限公司

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：0 | 站内链接：0
IP网速：	IP地址：120.79.216.206 [中国广东深圳 阿里云] | 网速：870毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	粤ICP备20056062号 | 名称：许璐 | 已创建：10年5月1天

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

协议类型HTTP/1.1 200 OK 页面类型text/html; charset=UTF-8 服务器类型Apache 是否压缩是 原网页大小46459 压缩后大小11317 压缩比75.64%

网站快照

x l u c a s 分 享 站 – x l u c a s 分 享 站 跳 至 内 容 x l u c a s 分 享 站 x l u c a s 分 享 站 Y A R N 核 心 组 件 功 能 特 性 分 析 1 、 Y A R N C l i e n t Y A R N C l i e n t 提 交 A p p l i c a t i o n 到 R e s o u r c e M a n a g e r ， 它 会 首 先 创 建 一 个 A p p l i c a t i o n 上 下 文 件 对 象 ， 并 设 置 A p p l i c a t i o n M a s t e r 必 需 的 资 源 请 求 信 息 ， 然 后 提 交 到 R e s o u r c e M a n a g e r 。 Y A R N C l i e n t 也 可 以 R e s o u r c e M a n a g e r 通 信 ， 获 取 到 一 个 已 经 提 交 并 运 行 的 A p p l i c a t i o n 的 状 态 信 息 等 。 2 、 R e s o u t c e M a n a g e r * * * * 管 理 者 （ 主 节 点 ： 做 管 理 工 作 ） + 工 作 者 （ 提 供 计 算 或 者 存 储 资 源 的 ， 用 来 解 决 实 际 问 题 的 ） R e s o u r c e M a n a g e r 上 一 个 全 局 的 资 源 管 理 器 ， 集 群 只 有 一 个 ， 有 S P O F 问 题 ， 可 以 通 过 z o o k e e p e r 实 现 H A 机 制 ， 它 主 要 负 责 整 个 系 统 的 资 源 管 理 和 分 配 ， 响 应 用 户 提 交 的 不 同 类 型 应 用 程 序 的 解 析 ， 调 度 ， 监 控 等 工 作 ， 启 动 和 监 控 A p p l i c a t i o n M a s t e r ， 监 控 N o d e m a n g e r 等 。 整 体 职 责 解 析 – 处 理 客 户 端 请 求 – 启 动 和 监 控 A p p l i c a t i o n M a s t e r – 监 控 N o d e m a n a g e r – 负 责 资 源 的 分 配 与 调 度 流 程 图 如 下 ： 所 有 这 些 S e r v i c e 都 会 经 历 三 个 步 骤 ： – S e r v i c e 实 例 的 创 建 ， 创 建 好 了 以 后 ， 放 在 C o m p o s i t e S e r v i c e 的 s e r v i c e L i s t 这 个 成 员 变 量 集 合 中 – 然 后 遍 历 这 个 S e r v i c e L i s t 集 合 ， 取 出 每 个 s e r v i c e 调 用 s e r v i c e I n i t ( ) 方 法 – 然 后 遍 历 这 个 S e r v i c e L i s t 集 合 ， 取 出 每 个 s e r v i c e 调 用 s e r v i c e S t a r t ( ) 方 法 关 于 上 述 图 中 R e s o u r c e M a n a g e r 的 主 要 成 员 工 作 职 责 解 析 1 . 用 户 交 互 模 块 C l i e n t S e r v i c e ： 是 为 普 通 用 户 提 供 的 服 务 ， 它 会 处 理 来 自 客 户 端 各 种 R P C 请 求 ， 比 如 提 交 应 用 程 序 、 终 止 应 用 程 序 ， 获 取 应 用 程 序 运 行 状 态 等 。 A d m i n S e r v i c e ： Y A R N 为 管 理 员 提 供 了 一 套 独 立 的 服 务 接 口 ， 以 防 止 大 量 的 普 通 用 户 请 求 使 管 理 员 发 送 的 管 理 命 令 僵 死 ， 管 理 员 可 以 通 过 这 些 接 口 管 理 集 群 ， 比 如 动 态 更 新 节 点 、 列 表 、 更 新 A C L 列 表 ， 更 新 队 列 信 息 等 。 2 . N o d e M a n g e r 管 理 N M L i v e l i n e s s M o n i t o r : 监 控 N M 是 否 活 着 ， 如 果 一 个 N o d e M a n a g e r 在 一 定 时 间 （ 默 认 1 0 m i n ） 内 未 汇 报 心 跳 信 息 ， 则 认 为 它 死 掉 了 ， 会 将 其 从 集 群 中 移 除 。 N o d e s L i s t M a n a g e r : 维 护 正 常 节 点 和 异 常 节 点 列 表 ， 管 理 e x l u d e 和 i n c l u d e 节 点 列 表 ， 这 两 个 列 表 均 上 在 配 置 文 件 中 设 置 的 ， 可 以 动 态 加 载 。 R e s o u r c e T r a c k e r S e r v i c e : 处 理 来 自 N o d e M a n g e r 的 请 求 ， 主 要 包 括 两 种 请 求 ： 注 册 和 心 跳 ， 其 中 ， 注 册 上 N o d e M a n g e r 启 动 时 发 生 的 行 为 ， 请 求 包 中 包 含 节 点 I D ， 可 用 的 资 源 上 限 等 信 息 ， 而 心 跳 是 周 期 性 行 为 ， 包 含 各 个 c o n t a i n e r 运 行 状 态 ， 运 行 的 a p p l i c a t i o n 列 表 、 节 点 健 康 状 况 （ 可 通 过 一 个 脚 本 设 置 ） ， 而 R e s o u r c e T r a c k e r S e r v i c e 则 为 N M 返 回 释 放 的 C o n t a i n e r 列 表 、 A p p l i c a t i o n 列 表 等 。 A p p l i c a t i o n M a s t e r 管 理 A M L i v e L i n e s s M o n i t o r : 监 控 A M 是 否 活 着 ， 如 果 一 个 A p p l i c a t i o n m a s t e r 在 一 定 时 间 （ 默 认 1 0 m i n ） 内 未 汇 报 心 跳 信 息 ， 则 认 为 它 死 掉 了 ， 它 上 面 所 有 正 在 运 行 的 C o n t a i n e r 将 被 认 为 死 亡 ， A M 本 身 会 被 重 新 分 配 到 另 外 一 个 节 点 上 （ 用 户 可 制 定 每 个 a p p l i c a t i o n M a s t e r 的 尝 试 次 数 ， 默 认 上 1 次 ） 执 行 。 A p p l i c a t i o n M a s t e r L a u n c h e r ： 与 N o d e m a n a g e r 通 信 ， 要 求 它 为 某 个 应 用 程 序 启 动 A p p l i c a t i o n M a s t e r 。 A p p l i c a t i o n M a s t e r S e r v i c e : 处 理 来 自 A p p l i c a t i o n M a s t e r 的 请 求 ， 主 要 包 括 两 种 请 求 ： 注 册 和 心 跳 ， 其 中 ， 注 册 上 A p p l i c a t i o n M a s t e r 启 动 时 发 生 的 行 为 ， 包 括 请 求 包 中 包 含 的 所 有 节 点 ， R P C 端 口 号 和 t r a c k i n g U R L 等 信 息 ； 而 心 跳 是 周 期 性 行 为 ， 包 含 请 求 资 源 的 类 型 描 述 、 待 释 放 的 C o n t a i n e r 列 表 等 ， 而 A M S 则 为 之 返 回 新 分 配 的 C o n t a i n e r 、 失 败 的 c o n t a i n e r 等 信 息 。 A p p l i c a t i o n 管 理 A p p l i c a t i o n A C L s M a n a g e r : 管 理 应 用 程 序 访 问 权 限 ， 保 护 两 部 分 权 限 ， 查 看 和 修 改 ， 查 看 主 要 指 查 看 应 用 程 序 基 本 信 息 ， 而 修 改 则 主 要 上 修 改 应 用 程 序 优 先 级 ， 杀 死 应 用 程 序 等 。 R M A p p M a n a g e r : 管 理 应 用 程 序 的 启 动 和 关 闭 c o n t a i n e r A l l o c a t i o n E x p i r e r : Y A R N 不 允 许 A M 获 得 C o n t a i n e r 后 长 时 间 不 对 其 使 用 ， 因 为 这 会 降 低 整 个 集 群 的 利 用 率 ， 当 A M 收 到 R M 新 分 配 的 一 个 C o n t a i n e r 后 ， 必 须 在 一 定 时 间 ( 默 认 为 1 0 m i n ) 内 在 对 应 用 的 N M 上 启 动 该 C o n t a i n e r ， 否 则 ， R M 会 回 收 该 C o n t a i n e r 。 3 、 A p p l i c a t i o n M a s t e r * * * * 一 个 a p p l i c a t i o n 运 行 在 Y A R N 之 上 ： 主 控 程 序 （ A M ： T L ） + 任 务 程 序 （ T a s k ） 应 用 程 序 管 理 器 A p p l i c a t i o n M a s t e r 负 责 管 理 整 个 系 统 中 所 有 应 用 程 序 ， 包 括 应 用 程 序 提 交 、 与 调 度 器 协 商 资 源 以 启 动 M R A p p M a s t e r 、 监 控 M R A P P M a s t e r 运 行 状 态 并 在 失 败 时 重 新 启 动 它 等 整 体 职 责 解 析 ： – 每 个 运 行 在 Y A R N 内 部 的 A p p l i c a t i o n 都 会 启 动 一 个 A p p l i c a t i o n M a s t e r ， 负 责 向 R e s o u r c e M a n a g e r 注 册 A p p l i c a t i o n 和 申 请 C o n t a i n e r – A p p l i c a t i o n M a s t e r 就 是 运 行 在 Y A R N 集 群 中 的 N o d e M a n a g e r 中 ， 相 比 R M v 1 ， 不 会 对 R e s o u c e M a n a g e r 造 成 较 大 的 负 担 – 负 责 整 个 应 用 程 序 的 管 理 ， 跟 N o d e M a n a g e r 通 信 启 动 或 者 停 止 T a s k ， 监 控 / 收 集 T a s k 执 行 进 度 结 果 ， 或 者 进 行 T a s k 的 容 错 R e s o u c e M a n a g e r 、 A p p l i c a t i o n M a s t e r 、 T a s k 之 间 的 关 系 – 客 户 端 提 交 J o b 到 R e s o u c e M a n a g e r ， R e s o u c e M a n a g e r 会 为 该 J o b 启 动 一 个 A p p l i c a t i o n M a s t e r 来 负 责 这 个 J o b 中 的 所 有 的 T a s k 的 执 行 ， 所 以 R e s o u c e M a n a g e r 负 责 管 理 A p p l i c a t i o n M a s t e r – 启 动 的 A p p l i c a t i o n M a s t e r 专 门 负 责 一 个 J o b 的 所 有 的 T a s k 的 启 动 ， 执 行 ， 生 命 周 期 管 理 ， 状 态 跟 踪 ， 容 错 等 等 4 、 M R A P P M a s t e r * * * * M R A p p M a s t e r 就 是 M a p R e d u c e 的 一 个 A p p l i c a t i o n 应 用 程 序 运 行 在 Y A R N 之 上 的 A p p l i c a t i o n M a s t e r 。 M R A P P M a s t e r 负 责 管 理 M a p R e d u c e 作 业 的 生 命 周 期 ， 当 客 户 端 提 交 一 个 M a p R e d u c e J o b 到 Y A R N 的 时 候 ， R e s o u c e M a n a g e r 会 指 派 一 个 N o d e M a n a g e r 来 启 动 一 个 M R A P P M a s t e r 主 控 程 序 ， 来 主 持 这 个 M a p R e d u c e J o b 的 所 有 T a s k 的 执 行 。 5 、 S c h e d u l e r Y A R N 的 资 源 调 度 服 务 ： 根 据 应 用 程 序 的 需 要 的 资 源 请 求 以 及 集 群 的 资 源 情 况 ， 为 应 用 程 序 分 配 对 应 的 资 源 ， 他 不 会 关 系 你 申 请 到 的 C o n t a i n e r 资 源 去 做 什 么 。 调 度 器 就 是 根 据 容 量 、 队 列 一 些 限 制 条 件 ， 将 系 统 中 的 资 源 分 配 给 各 个 正 在 运 行 的 应 用 程 序 ， 调 度 器 就 是 一 个 纯 调 度 器 ， 就 是 它 只 管 资 源 分 配 ， 不 参 与 具 体 应 用 程 序 相 关 的 工 作 。 Y A R N 内 部 有 3 种 资 源 调 度 策 略 的 实 现 ： F I F O S c h e d u l e r 、 F a i r S c h e d u l e r 、 C a p a c i t y S c h e d u l e r ， 其 中 默 认 是 C a p a c i t y S c h e d u l e r 。 – F I F O S c h e d u l e r ： 先 进 先 出 ， 不 考 虑 应 用 程 序 本 身 的 优 先 级 和 资 源 使 用 情 况 – C a p a c i t y S c h e d u l e r ： 将 资 源 分 成 队 列 ， 共 享 集 群 资 源 但 需 要 保 证 队 列 的 最 小 资 源 使 用 需 求 – F a i r S c h e d u l e r ： 公 平 的 将 资 源 分 给 应 用 ， 保 证 应 用 使 用 的 资 源 是 均 衡 的 。 C a p a c i t y S c h e d u l e r 实 现 了 资 源 更 加 细 粒 度 的 分 配 ， 可 以 设 置 多 级 队 列 ， 每 个 队 列 都 有 一 定 的 容 量 ， 即 对 队 列 设 置 资 源 上 限 和 下 限 ， 然 后 对 每 一 级 别 队 列 分 别 再 来 用 合 适 的 调 度 策 略 进 行 调 度 6 、 N o d e M a n a g e r N o d e M a n a g e r 是 Y A R N 集 群 当 中 真 正 资 源 的 拥 有 者 ， 是 真 正 执 行 应 用 程 序 的 容 器 的 提 供 者 ， 监 控 应 用 程 序 的 资 源 使 用 情 况 ( C P U 、 内 存 、 硬 盘 、 网 络 ) ， 并 通 过 心 跳 向 集 群 资 源 调 度 器 R e s o u c e M a n a g e r 进 行 汇 报 以 更 新 自 己 的 健 康 状 态 ， 同 时 其 也 会 监 督 C o n t a i n e r 的 生 命 周 期 管 理 ， 监 控 每 个 C o n t a i n e r 的 资 源 使 用 情 况 。 追 踪 节 点 健 康 状 况 ， 管 理 日 志 和 不 同 应 用 程 序 用 到 的 附 属 服 务 整 体 职 责 ： – 管 理 自 身 的 资 源 – 处 理 来 自 R e s o u c e M a n a g e r 的 命 令 – 处 理 来 自 A p p l i c a t i o n M a s t e r 的 命 令 所 有 这 些 S e r v i c e 都 会 经 历 三 个 步 骤 ： – S e r v i c e 实 例 的 创 建 ， 创 建 好 了 以 后 ， 放 在 C o m p o s i t e S e r v i c e 的 s e r v i c e L i s t 这 个 成 员 变 量 集 合 中 – 然 后 遍 历 这 个 S e r v i c e L i s t 集 合 ， 取 出 每 个 s e r v i c e 调 用 s e r v i c e I n i t ( ) 方 法 – 然 后 遍 历 这 个 S e r v i c e L i s t 集 合 ， 取 出 每 个 s e r v i c e 调 用 s e r v i c e S t a r t ( ) 方 法 7 、 C o n t a i n e r F l i n k S l o t = Y A R N C o n t a i n e r 逻 辑 资 源 管 理 单 位 C o n t a i n e r 容 器 是 一 个 抽 象 出 来 的 逻 辑 资 源 单 位 ， C o n t a i n e r 容 器 是 由 R e s o u c e M a n a g e r S c h e d u l e r 服 务 动 态 分 配 的 资 源 构 成 ， 它 包 含 了 该 节 点 上 的 一 定 量 C P U 、 内 存 、 磁 盘 、 网 络 等 信 息 ， M a p R e d u c e 程 序 的 所 有 T a s k 都 是 在 一 个 容 器 里 执 行 完 成 的 ， 容 器 的 大 小 是 可 以 动 态 调 整 的 。 一 个 N o d e M a n a g e r 节 点 会 运 行 多 个 C o n t a i n e r ， 但 一 个 C o n t a i n e r 不 会 跨 节 点 ， 任 何 一 个 J o b 或 A p p l i c a t i o n 必 须 有 运 行 在 一 个 或 多 个 C o n t a i n e r 中 ， 在 Y A R N 框 架 中 ， R e s o u c e M a n a g e r 只 负 责 告 诉 A p p l i c a t i o n M a s t e r 哪 些 C o n t a i n e r 可 以 用 ， A p p l i c a t i o n M a s t e r 还 需 要 去 找 N o d e M a n a g e r 请 求 分 配 具 体 的 C o n t a i n e r 。 作 者 a d m i n 发 布 于 2 0 2 2 年 7 月 1 5 日 分 类 H a d o o p 文 章 导 航 页 1 页 2 … 页 3 5 下 一 页 搜 索 ： 搜 索 近 期 文 章 Y A R N 核 心 组 件 功 能 特 性 分 析 Y A R N 的 产 生 背 景 和 架 构 剖 析 C l i c k h o u s e 表 引 擎 日 志 系 列 C l i c k h o u s e 的 数 据 类 型 ( 一 ) C l i c k h o u s e 的 单 机 安 装 近 期 评 论 匿 名 发 表 在 《 数 据 治 理 数 据 质 量 数 据 治 理 管 理 的 复 杂 性 》 匿 名 发 表 在 《 数 据 治 理 数 据 生 命 周 期 管 理 大 数 据 整 合 》 归 档 2 0 2 2 年 7 月 2 0 2 2 年 3 月 2 0 2 1 年 9 月 2 0 2 1 年 8 月 2 0 2 1 年 7 月 2 0 2 1 年 6 月 2 0 2 1 年 5 月 2 0 2 1 年 3 月 2 0 2 1 年 2 月 2 0 2 0 年 1 0 月 2 0 2 0 年 8 月 2 0 2 0 年 7 月 2 0 2 0 年 6 月 分 类 C l i c k h o u s e H a d o o p h i v e l i n u x p y t h o n 图 数 据 库 常 用 命 令 数 据 思 维 数 据 治 理 未 分 类 阿 里 产 品 归 档 2 0 2 2 年 7 月 2 0 2 2 年 3 月 2 0 2 1 年 9 月 2 0 2 1 年 8 月 2 0 2 1 年 7 月 2 0 2 1 年 6 月 2 0 2 1 年 5 月 2 0 2 1 年 3 月 2 0 2 1 年 2 月 2 0 2 0 年 1 0 月 2 0 2 0 年 8 月 2 0 2 0 年 7 月 2 0 2 0 年 6 月 2 0 2 4 年 2 月 一 二 三 四 五 六 日   1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9   « 7 月     近 期 文 章 Y A R N 核 心 组 件 功 能 特 性 分 析 Y A R N 的 产 生 背 景 和 架 构 剖 析 C l i c k h o u s e 表 引 擎 日 志 系 列 C l i c k h o u s e 的 数 据 类 型 ( 一 ) C l i c k h o u s e 的 单 机 安 装 x l u c a s 分 享 站 自 豪 地 采 用 W o r d P r e s s

站点概括

关于www.xlucas.com说明：
www.xlucas.com由网友主动性提交被0401导航库整理收录的，0401导航库仅提供www.xlucas.com的基础信息并免费向大众网友展示，www.xlucas.com的是IP地址：120.79.216.206 [中国广东深圳 阿里云]，www.xlucas.com的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.xlucas.com的备案号是粤ICP备20056062号、备案人叫许璐、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建10年5月1天。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.dhk0401.com/wangluodh/101225.html，复制请保留版权链接！

---