学习编程技术笔记

Big breasts

该站未曾设置keywords

---

See you again.

该站未曾设置description

---

Disclaimer免费法律咨询-律师咨询免费24小时在线-公平法务网

Classified Channels硅胶热接胶水_硅胶粘合剂_粘塑料金属_深圳华莱士胶水厂家

seo beautiful,

SEO cut	Lady IP：1~1 | 移动端来访IP：1~1 | 出站链接：0 | 站内链接：122
IP Sleeping	IP地址：175.24.182.85 [中国上海 腾讯云] | 网速：472毫秒
ALEXA sister	世界排名： | 可 IP： | 可 PV：
If the resources included in this website infringe on your rights, please send an email to: If you deduct @六号, we will delete the infringing content in time. Thank you for your cooperation!	豫ICP备2023021436号 | 名称：杨晓凯 | 已创建：0年3月9日

Technique	new	360	unsettled	中
save	198	0	0	0

电脑关键词	手机关键词	View all	The webmaster said:	Swamp	Classified Channels
0	1	电脑端优秀	1	0	0

The webmaster said: HTTP/1.1 200 OK Related videos text/html; charset=UTF-8 服务器类型nginx 是否压缩是 原网页大小192275 压缩后大小53497 压缩比72.18%

A taste

学 习 编 程 技 术 笔 记 T i t l e 全 部 笔 记   H T M L / C S S   J a v a S c r i p t   服 务 端   数 据 库   数 据 分 析   移 动 端   X M L 教 程   A S P . N E T   W e b S e r v i c e   开 发 工 具   网 站 建 设 这 篇 文 章 ， 我 们 来 聊 聊 如 何 本 地 运 行 最 近 争 议 颇 多 的 ， 李 开 复 带 队 的 国 产 大 模 型 ： 零 一 万 物 3 4 B 。 写 在 前 面 零 一 万 物 的 模 型 争 议 有 很 多 ， 不 论 是 在 海 外 的 社 交 媒 体 平 台 ， 还 是 在 国 内 的 知 乎 和 一 种 科 技 媒 体 上 ， 不 论 是 针 对 模 型 、 代 码 、 还 是 针 对 团 队 ， 甚 至 针 对 这 家 公 司 的 一 把 手 ， 李 开 复 ， 都 有 非 常 多 不 同 角 度 的 唇 枪 舌 剑 之 争 。 相 比 较 其 他 的 争 议 ， 作 为 开 发 者 和 终 端 用 户 ， 我 个 人 最 好 奇 的 一 件 事 是 ： 3 4 B 干 翻 一 众 7 0 B 模 型 ， 打 榜 分 数 那 么 高 ， 这 模 型 到 底 行 不 行 ？ 在 很 多 负 面 的 反 馈 中 ， 印 象 中 有 一 条 很 有 趣 的 观 点 ， 3 4 B 本 地 跑 都 跑 不 起 来 ， 更 遑 论 了 解 这 个 模 型 真 实 水 平 。 实 际 上 ， 如 果 我 们 使 用 流 行 的 模 型 量 化 方 案 ， 在 压 的 比 较 狠 的 情 况 下 ， 模 型 尺 寸 从 原 本 的 接 近 7 0 G B 恰 好 能 够 控 制 到 2 4 G B 内 。 但 是 ， 倘 若 不 采 用 任 何 优 化 方 案 ， 你 可 能 只 需 要 一 轮 对 话 ， 模 型 应 用 就 会 “ o u t o f m e m o r y ” 报 错 退 出 。 那 么 ， 有 没 有 靠 谱 的 方 案 ， 可 以 让 我 们 在 本 地 的 机 器 上 将 这 个 3 4 B 模 型 跑 起 来 ， 一 窥 真 相 呢 ？ 让 C P U 和 G P U 都 忙 活 起 来 ： l l a m a . c p p 的 另 类 使 用 g g e r g a n o v / l l a m a . c p p 是 一 款 优 秀 的 开 源 软 件 ， 它 几 乎 是 伴 随 着 l l a m a 大 模 型 的 成 长 、 爆 火 、 出 圈 而 一 起 出 现 在 了 全 球 开 发 者 和 领 域 爱 好 者 面 前 。 之 前 写 过 一 些 关 于 l l a m a 的 f i n e t u n e 、 量 化 、 容 器 把 玩 的 内 容 ， 感 兴 趣 可 以 自 行 翻 阅 ： “ l l a m a 大 模 型 的 那 些 事 儿 ” 。 不 过 l l a m a . c p p 之 前 主 打 的 玩 法 ， 是 使 用 纯 C P U 来 进 行 模 型 的 推 理 ， 在 《 构 建 能 够 使 用 C P U 运 行 的 M e t a A I L L a M A 2 中 文 大 模 型 》 中 ， 我 曾 经 介 绍 过 这 种 玩 法 。 很 长 一 段 时 间 里 ， 能 够 在 没 有 G P U 的 电 脑 里 （ 尤 其 是 M a c ） 用 这 种 方 法 跑 大 模 型 变 成 了 一 件 有 趣 的 娱 乐 项 目 。 考 虑 实 际 的 用 户 体 验 ， 纯 粹 使 用 C P U 进 行 推 理 ， 小 尺 寸 的 大 模 型 的 运 行 效 率 或 许 可 能 够 接 受 。 但 是 对 于 3 4 B 或 更 大 尺 寸 的 模 型 纯 纯 使 用 C P U 推 理 ， 无 疑 是 在 挑 战 用 户 耐 心 ， 或 许 还 有 一 些 浪 费 电 （ 长 时 间 满 功 耗 运 行 ） 。 好 在 随 着 g g u f 模 型 格 式 和 l l a m a . c p p 对 o f f l o a d i n g 模 型 l a y e r s 到 G P U 的 功 能 的 日 渐 完 善 ， 用 C P U 推 理 模 型 ， 顺 带 把 模 型 的 一 部 分 装 到 更 高 计 算 性 能 的 G P U 里 ， 使 用 体 验 变 的 越 来 越 好 了 。 不 过 可 惜 的 是 ， 因 为 一 些 “ 编 译 约 束 条 件 ” ， 这 种 玩 法 并 未 像 纯 粹 使 用 C P U 来 运 行 模 型 流 传 的 那 么 广 泛 。 接 下 来 ， 我 们 就 聊 聊 这 种 玩 法 。 准 备 模 型 程 序 运 行 环 境 想 顺 滑 的 完 成 实 践 ， 我 推 荐 你 安 装 D o c k e r ， 不 论 你 的 设 备 是 否 有 显 卡 ， 都 可 以 根 据 自 己 的 操 作 系 统 喜 好 ， 参 考 这 两 篇 来 完 成 基 础 环 境 的 配 置 《 基 于 D o c k e r 的 深 度 学 习 环 境 ： W i n d o w s 篇 》 、 《 基 于 D o c k e r 的 深 度 学 习 环 境 ： 入 门 篇 》 。 当 然 ， 使 用 D o c k e r 之 后 ， 你 还 可 以 做 很 多 事 情 ， 比 如 ： 之 前 几 十 篇 有 关 D o c k e r 的 实 践 ， 在 此 就 不 赘 述 啦 。 如 果 你 和 我 一 样 ， 使 用 D o c k e r 环 境 折 腾 、 学 习 和 用 于 生 产 。 那 么 ， 我 推 荐 你 使 用 N v i d i a 家 提 供 的 深 度 学 习 环 境 n v c r . i o / n v i d i a / p y t o r c h : 2 3 . 1 0 p y 3 作 为 基 础 镜 像 ， 其 中 的 C U D A 版 本 经 常 效 率 比 公 开 的 开 源 社 区 版 本 要 跑 的 更 快 一 些 ： F R O M n v c r . i o / n v i d i a / p y t o r c h : 2 3 . 1 0 p y 3 R U N p i p c o n f i g s e t g l o b a l . i n d e x u r l h t t p s : / / p y p i . t u n a . t s i n g h u a . e d u . c n / s i m p l e s / a r c h i v e . u b u n t u . c o m / m i r r o r s . t u n a . t s i n g h u a . e d u . c n / g / e t c / a p t / s o u r c e s . l i s t s / s e c u r i t y . u b u n t u . c o m / m i r r o r s . t u n a . t s i n g h u a . e d u . c n / g / e t c / a p t / s o u r c e s . l i s t W O R K D I R / a p p R U N p i p 3 i n s t a l l t r a n s f o r m e r s = = 4 . 3 5 . 0 h u g g i n g f a c e h u b = = 0 . 1 7 . 3 h f _ t r a n s f e r = = 0 . 1 . 4 R U N a p t g e t u p d a t e & & a p t g e t i n s t a l l c m a k e y & & a p t g e t a u t o r e m o v e y 我 们 将 上 面 的 内 容 保 存 为 D o c k e r f i l e ， 然 后 使 用 下 面 的 命 令 来 完 成 稍 后 使 用 的 镜 像 的 构 建 （ 项 目 中 的 相 关 文 件 保 存 在 s o u l t e a r y / d o c k e r y i r u n t i m e / d o c k e r / D o c k e r f i l e ） ： d o c k e r b u i l d t s o u l t e a r y / y i 3 4 b r u n t i m e : 2 0 2 3 1 1 2 6 . 构 建 完 毕 运 行 环 境 后 ， 我 们 可 以 使 用 下 面 的 命 令 进 入 容 器 环 境 ， 继 续 折 腾 ： d o c k e r r u n r m i t p 8 0 8 0 : 8 0 8 0 g p u s a l l i p c = h o s t u l i m i t m e m l o c k = 1 v ` p w d ` : / a p p s o u l t e a r y / y i 3 4 b r u n t i m e : 2 0 2 3 1 1 2 6 b a s h 进 入 容 器 后 ， 我 们 可 以 使 用 熟 悉 的 n v i d i a s m i 查 看 “ 显 卡 ” 是 否 能 够 被 正 确 使 用 和 使 用 ： S u n N o v 2 6 0 8 : 4 1 : 5 2 2 0 2 3 + + | N V I D I A S M I 5 2 5 . 1 4 7 . 0 5 D r i v e r V e r s i o n : 5 2 5 . 1 4 7 . 0 5 C U D A V e r s i o n : 1 2 . 0 | | + + + | G P U N a m e P e r s i s t e n c e M | B u s I d D i s p . A | V o l a t i l e U n c o r r . E C C | | F a n T e m p P e r f P w r : U s a g e / C a p | M e m o r y U s a g e | G P U U t i l C o m p u t e M . | | | | M I G M . | | = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = + = = = = = = = = = = = = = = = = = = = = = = + = = = = = = = = = = = = = = = = = = = = = = | | 0 N V I D I A G e F o r c e . . . O f f | 0 0 0 0 0 0 0 0 : 0 1 : 0 0 . 0 O f f | O f f | | 3 1 % 3 3 C P 8 2 7 W / 4 5 0 W | 9 3 M i B / 2 4 5 6 4 M i B | 0 % D e f a u l t | | | | N / A | + + + + + + | P r o c e s s e s : | | G P U G I C I P I D T y p e P r o c e s s n a m e G P U M e m o r y | | I D I D U s a g e | | = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = | + + 因 为 我 们 选 择 的 是 N v i d i a 提 供 的 环 境 ， 所 以 n v c c 是 就 绪 的 。 但 是 如 果 你 是 在 B a r e M e t a l 中 运 行 ， 记 得 解 决 n v c c 的 安 装 ， 保 持 和 显 卡 驱 动 大 版 本 一 致 ， 下 文 中 编 译 l l a m a . c p p 需 要 n v c c 是 可 用 的 ： # n v c c v e r s i o n n v c c : N V I D I A ( R ) C u d a c o m p i l e r d r i v e r C o p y r i g h t ( c ) 2 0 0 5 2 0 2 3 N V I D I A C o r p o r a t i o n B u i l t o n T u e _ A u g _ 1 5 _ 2 2 : 0 2 : 1 3 _ P D T _ 2 0 2 3 C u d a c o m p i l a t i o n t o o l s , r e l e a s e 1 2 . 2 , V 1 2 . 2 . 1 4 0 B u i l d c u d a _ 1 2 . 2 . r 1 2 . 2 / c o m p i l e r . 3 3 1 9 1 6 4 0 _ 0 下 载 合 适 的 模 型 文 件 零 一 万 物 的 官 方 模 型 发 布 页 面 是 0 1 a i / Y i 3 4 B ， 里 面 包 含 了 两 种 格 式 的 模 型 ， 如 果 你 想 转 换 模 型 格 式 为 我 们 可 以 运 行 的 g g m l 或 者 g g u f 格 式 ， 可 以 参 考 前 文 中 的 文 章 。 如 果 你 懒 得 进 行 这 个 量 化 步 骤 ， 可 以 直 接 下 载 H u g g i n g F a c e 社 区 其 他 社 区 用 户 量 化 好 的 版 本 ： T h e B l o k e / C a p y b a r a T e s s Y i 3 4 B 2 0 0 K D A R E T i e s G G U F N o u s R e s e a r c h / N o u s C a p y b a r a 3 4 B 等 等 如 果 你 想 快 速 下 载 可 靠 的 模 型 ， 可 以 使 用 下 面 的 命 令 ： # 我 们 可 以 使 用 H u g g i n g f a c e C l i 来 下 载 模 型 h u g g i n g f a c e c l i d o w n l o a d r e s u m e d o w n l o a d l o c a l d i r u s e s y m l i n k s F a l s e $ $ . g g u f l o c a l d i r $ # 你 也 可 以 使 用 下 面 的 命 令 ， 通 过 社 区 用 户 搭 建 的 减 速 器 来 下 载 H F _ E N D P O I N T = h t t p s : / / h f m i r r o r . c o m H F _ H U B _ E N A B L E _ H F _ T R A N S F E R = 1 h u g g i n g f a c e c l i d o w n l o a d r e s u m e d o w n l o a d l o c a l d i r u s e s y m l i n k s F a l s e $ $ . g g u f l o c a l d i r $ 这 里 偷 个 懒 ， 我 测 试 选 择 的 是 T h e B l o k e 提 供 的 开 源 模 型 ， 分 别 选 择 了 Q 4 和 Q 5 两 个 尺 寸 的 量 化 模 型 ， 这 两 个 模 型 有 一 个 有 趣 的 差 异 ， 一 个 恰 好 放 的 进 2 4 G 显 存 的 卡 里 ， 一 个 恰 好 放 不 进 去 ： # C a p y b a r a T e s s Y i 3 4 B 2 0 0 K D a r e T i e s G G U F # h t t p s : / / h u g g i n g f a c e . c o / T h e B l o k e / C a p y b a r a T e s s Y i 3 4 B 2 0 0 K D A R E T i e s G G U F T h e B l o k e / C a p y b a r a T e s s Y i 3 4 B 2 0 0 K D A R E T i e s G G U F c a p y b a r a t e s s y i 3 4 b 2 0 0 k d a r e t i e s . Q 4 _ K _ M . g g u f # N o u s C a p y b a r a 3 4 B G G U F # h t t p s : / / h u g g i n g f a c e . c o / T h e B l o k e / N o u s C a p y b a r a 3 4 B G G U F T h e B l o k e / N o u s C a p y b a r a 3 4 B G G U F n o u s c a p y b a r a 3 4 b . Q 5 _ K _ M . g g u f 下 载 模 型 参 考 上 文 中 的 说 明 ， 不 难 得 到 下 载 命 令 ， 如 果 你 要 下 载 其 他 的 模 型 ， 可 以 参 考 并 进 行 调 整 ： # 比 如 h u g g i n g f a c e c l i d o w n l o a d r e s u m e d o w n l o a d l o c a l d i r u s e s y m l i n k s F a l s e T h e B l o k e / C a p y b a r a T e s s Y i 3 4 B 2 0 0 K D A R E T i e s G G U F c a p y b a r a t e s s y i 3 4 b 2 0 0 k d a r e t i e s . Q 4 _ K _ M . g g u f l o c a l d i r . / m o d e l s / T h e B l o k e / C a p y b a r a T e s s Y i 3 4 B 2 0 0 K D A R E T i e s G G U F 模 型 保 存 目 录 结 构 如 下 ： m o d e l s └ ─ ─ T h e B l o k e ├ ─ ─ C a p y b a r a T e s s Y i 3 4 B 2 0 0 K D A R E T i e s G G U F │ └ ─ ─ c a p y b a r a t e s s y i 3 4 b 2 0 0 k d a r e t i e s . Q 4 _ K _ M . g g u f └ ─ ─ N o u s C a p y b a r a 3 4 B G G U F └ ─ ─ n o u s c a p y b a r a 3 4 b . Q 5 _ K _ M . g g u f 完 成 了 模 型 的 下 载 之 后 ， 我 们 就 可 以 进 行 最 后 一 项 准 备 工 作 了 。 编 译 使 用 G P U 的 l l a m a . c p p 在 解 决 完 毕 运 行 环 境 的 问 题 后 ， 我 们 需 要 手 动 下 载 l l a m a . c p p 的 代 码 ， 并 做 一 些 目 录 准 备 ： # 下 载 代 码 g i t c l o n e h t t p s : / / g i t h u b . c o m / g g e r g a n o v / l l a m a . c p p . g i t # 进 入 代 码 目 录 c d l l a m a . c p p / 我 们 使 用 m a k e j L L A M A _ C U B L A S = 1 对 l l a m a . c p p 进 行 构 建 ， 启 用 C U D A 功 能 ， 以 便 让 程 序 支 持 使 用 显 卡 资 源 ， 耐 心 等 待 构 建 完 毕 ： # m a k e j L L A M A _ C U B L A S = 1 I l l a m a . c p p b u i l d i n f o : I U N A M E _ S : L i n u x I U N A M E _ P : x 8 6 _ 6 4 I U N A M E _ M : x 8 6 _ 6 4 I C F L A G S : I . I c o m m o n D _ X O P E N _ S O U R C E = 6 0 0 D _ G N U _ S O U R C E D N D E B U G D G G M L _ U S E _ C U B L A S I / u s r / l o c a l / c u d a / i n c l u d e I / o p t / c u d a / i n c l u d e I / t a r g e t s / x 8 6 _ 6 4 l i n u x / i n c l u d e s t d = c 1 1 f P I C O 3 W a l l W e x t r a W p e d a n t i c W c a s t q u a l W n o u n u s e d f u n c t i o n W s h a d o w W s t r i c t p r o t o t y p e s W p o i n t e r a r i t h W m i s s i n g p r o t o t y p e s W e r r o r = i m p l i c i t i n t W e r r o r = i m p l i c i t f u n c t i o n d e c l a r a t i o n W d o u b l e p r o m o t i o n p t h r e a d m a r c h = n a t i v e m t u n e = n a t i v e . . . g + + I . I c o m m o n D _ X O P E N _ S O U R C E = 6 0 0 D _ G N U _ S O U R C E D N D E B U G D G G M L _ U S E _ C U B L A S I / u s r / l o c a l / c u d a / i n c l u d e I / o p t / c u d a / i n c l u d e I / t a r g e t s / x 8 6 _ 6 4 l i n u x / i n c l u d e s t d = c + + 1 1 f P I C O 3 W a l l W e x t r a W p e d a n t i c W c a s t q u a l W n o u n u s e d f u n c t i o n W m i s s i n g d e c l a r a t i o n s W m i s s i n g n o r e t u r n p t h r e a d W n o a r r a y b o u n d s W n o f o r m a t t r u n c a t i o n W e x t r a s e m i m a r c h = n a t i v e m t u n e = n a t i v e e x a m p l e s / e x p o r t l o r a / e x p o r t l o r a . c p p g g m l . o l l a m a . o c o m m o n . o s a m p l i n g . o g r a m m a r p a r s e r . o b u i l d i n f o . o g g m l c u d a . o g g m l a l l o c . o g g m l b a c k e n d . o g g m l q u a n t s . o o e x p o r t l o r a l c u b l a s l c u l i b o s l c u d a r t l c u b l a s L t l p t h r e a d l d l l r t L / u s r / l o c a l / c u d a / l i b 6 4 L / o p t / c u d a / l i b 6 4 L / t a r g e t s / x 8 6 _ 6 4 l i n u x / l i b = = = = R u n . / m a i n h f o r h e l p . = = = = 当 看 到 R u n . / m a i n h f o r h e l p 这 条 日 志 的 时 候 ， 我 们 可 以 看 到 当 前 目 录 多 出 了 很 多 文 件 和 新 的 可 执 行 文 件 ： b a b y l l a m a b e n c h m a r k f i n e t u n e m a i n q u a n t i z e s i m p l e t e s t g r a m m a r p a r s e r t e s t r o p e t e s t t o k e n i z e r 1 b p e v d o t b a t c h e d c o n v e r t l l a m a 2 c t o g g m l i n f i l l p a r a l l e l q u a n t i z e s t a t s s p e c u l a t i v e t e s t l l a m a g r a m m a r t e s t s a m p l i n g t e s t t o k e n i z e r 1 l l a m a b a t c h e d b e n c h e m b e d d i n g l l a m a b e n c h p e r p l e x i t y s a v e l o a d s t a t e t e s t c t e s t q u a n t i z e f n s t e s t t o k e n i z e r 0 f a l c o n t o k e n i z e b e a m s e a r c h e x p o r t l o r a l l a v a c l i q 8 d o t s e r v e r t e s t g r a d 0 t e s t q u a n t i z e p e r f t e s t t o k e n i z e r 0 l l a m a t r a i n t e x t f r o m s c r a t c h 这 里 面 有 许 多 有 趣 的 工 具 ， 不 过 网 上 关 于 它 们 的 介 绍 其 实 不 多 ， 更 多 的 都 是 关 于 主 程 序 m a i n 的 简 单 使 用 。 后 面 的 文 章 ， 有 机 会 我 们 再 来 逐 步 展 开 这 些 工 具 中 更 有 趣 的 玩 法 。 本 篇 文 章 ， 我 们 主 要 使 用 s e r v e r 程 序 ， 来 跳 过 各 种 “ 分 数 ” ， 一 窥 真 实 的 模 型 能 力 。 为 了 方 便 后 面 使 用 ， 我 们 可 以 将 这 个 纯 粹 的 二 进 制 文 件 复 制 到 我 们 容 器 中 的 / a p p 目 录 中 ： c p s e r v e r / a p p / 开 始 测 试 前 的 完 整 目 录 结 构 如 下 ： ├ ─ ─ m o d e l s │ └ ─ ─ T h e B l o k e │ ├ ─ ─ C a p y b a r a T e s s Y i 3 4 B 2 0 0 K D A R E T i e s G G U F │ │ └ ─ ─ c a p y b a r a t e s s y i 3 4 b 2 0 0 k d a r e t i e s . Q 4 _ K _ M . g g u f │ └ ─ ─ N o u s C a p y b a r a 3 4 B G G U F │ └ ─ ─ n o u s c a p y b a r a 3 4 b . Q 5 _ K _ M . g g u f └ ─ ─ s e r v e r 使 用 l l a m a . c p p 运 行 3 4 B 大 模 型 我 们 先 来 使 用 比 较 保 守 的 策 略 来 运 行 模 型 ： . / s e r v e r c t x s i z e 2 0 4 8 h o s t 0 . 0 . 0 . 0 n g p u l a y e r s 3 2 m o d e l . / m o d e l s / T h e B l o k e / N o u s C a p y b a r a 3 4 B G G U F / n o u s c a p y b a r a 3 4 b . Q 5 _ K _ M . g g u f 上 面 的 命 令 中 ， 我 们 在 加 载 模 型 的 时 候 ， 设 置 了 上 下 文 尺 寸 为 2 k ， 将 模 型 中 的 3 2 层 发 送 到 G P U 中 ， 启 动 一 个 能 够 被 容 器 外 部 访 问 的 服 务 。 稍 等 片 刻 ， 当 我 们 看 到 类 似 下 面 的 内 容 的 时 候 ， 服 务 就 可 以 正 常 使 用 啦 ： l l a m a _ n e w _ c o n t e x t _ w i t h _ m o d e l : V R A M s c r a t c h b u f f e r : 2 7 0 . 0 0 M i B l l a m a _ n e w _ c o n t e x t _ w i t h _ m o d e l : t o t a l V R A M u s e d : 2 7 0 . 0 0 M i B ( m o d e l : 0 . 0 0 M i B , c o n t e x t : 2 7 0 . 0 0 M i B ) A v a i l a b l e s l o t s : S l o t 0 m a x c o n t e x t : 2 0 4 8 l l a m a s e r v e r l i s t e n i n g a t h t t p : / / 0 . 0 . 0 . 0 : 8 0 8 0 通 过 访 问 h t t p : / / 主 机 I P : 8 0 8 0 ， 我 们 能 够 访 问 到 一 个 简 洁 的 W e b 界 面 。 调 用 模 型 时 ， 不 同 的 参 数 将 会 带 来 不 同 的 结 果 。 为 了 保 持 简 单 ， 我 们 可 以 先 暂 时 使 用 默 认 参 数 ， 并 在 在 最 下 面 的 对 话 框 中 输 入 我 们 要 模 型 处 理 的 内 容 。 我 这 里 使 用 一 篇 前 两 天 “ 机 器 之 心 ” 发 布 的 关 于 O p e n A I 的 文 章 “ O p e n A I 内 斗 时 ， K a r p a t h y 在 录 视 频 ： 《 大 型 语 言 模 型 入 门 》 上 线 ” 为 例 子 ， 来 做 接 下 来 的 模 型 测 试 内 容 。 将 要 求 写 在 第 一 行 ， 然 后 将 机 器 之 心 的 内 容 贴 在 后 面 。 虽 然 在 过 往 经 验 中 ， 我 们 一 般 会 对 内 容 进 行 处 理 ， 得 到 更 好 的 效 果 ， 但 其 实 大 模 型 有 很 强 的 “ 容 错 性 ” ， 我 们 也 可 以 偷 懒 ， 不 对 模 型 要 处 理 的 内 容 进 行 “ 提 纯 ” ， 我 提 交 的 内 容 中 就 包 含 了 很 多 H T M L 占 位 符 ： 许 多 “ 图 片 ” 字 符 串 。 因 为 使 用 “ 保 守 策 略 ” ， 程 序 刚 刚 启 动 的 时 候 ， 被 灌 进 显 卡 内 的 模 型 并 不 大 ， 只 有 1 3 G B 。 ( 当 前 ， 你 也 可 以 调 整 的 更 多 或 者 更 少 ) | = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = + = = = = = = = = = = = = = = = = = = = = = = + = = = = = = = = = = = = = = = = = = = = = = | | 0 N V I D I A G e F o r c e . . . O f f | 0 0 0 0 0 0 0 0 : 0 1 : 0 0 . 0 O f f | O f f | | 3 1 % 3 8 C P 2 6 4 W / 4 5 0 W | 1 3 1 4 9 M i B / 2 4 5 6 4 M i B | 0 % D e f a u l t | | | | N / A | + + + + 当 我 们 点 击 上 面 的 “ S e n d ” 按 钮 后 ， 模 型 会 开 始 处 理 任 务 ， 不 过 毕 竟 是 用 “ H y b i r d ” 方 式 处 理 3 4 0 亿 参 数 量 的 模 型 ， 等 待 时 间 会 久 一 些 。 在 程 序 日 志 中 ， 我 们 能 够 看 到 模 型 程 序 到 底 接 收 了 多 少 内 容 ： s l o t 0 i s p r o c e s s i n g [ t a s k i d : 0 ] s l o t 0 : i n c a c h e : 0 t o k e n s | t o p r o c e s s : 1 4 1 6 t o k e n s s l o t 0 : k v c a c h e r m [ 0 , e n d ) 如 果 此 时 我 们 查 看 C P U 使 用 状 况 ， 将 能 够 看 到 多 数 C P U 核 心 都 在 “ 卖 力 干 活 ” ： 稍 等 片 刻 ， 就 能 够 看 到 模 型 开 始 持 续 的 输 出 内 容 啦 ： 等 待 程 序 执 行 完 毕 ， 我 们 将 得 到 模 型 的 处 理 性 能 和 详 细 细 节 。 p r i n t _ t i m i n g s : p r o m p t e v a l t i m e = 1 2 0 4 9 . 7 1 m s / 1 4 1 6 t o k e n s ( 8 . 5 1 m s p e r t o k e n , 1 1 7 . 5 1 t o k e n s p e r s e c o n d ) p r i n t _ t i m i n g s : e v a l t i m e = 1 1 5 3 8 1 . 7 3 m s / 4 0 0 r u n s ( 2 8 8 . 4 5 m s p e r t o k e n , 3 . 4 7 t o k e n s p e r s e c o n d ) p r i n t _ t i m i n g s : t o t a l t i m e = 1 2 7 4 3 1 . 4 4 m s s l o t 0 r e l e a s e d ( 1 8 1 7 t o k e n s i n c a c h e ) 这 里 能 够 看 出 模 型 的 摘 要 总 结 能 力 还 是 很 强 的 。 不 过 ， 第 一 轮 对 话 执 行 之 后 ， 用 来 分 摊 C P U 和 内 存 压 力 的 显 存 ， 使 用 量 接 近 1 5 G B 显 存 啦 。 | = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = + = = = = = = = = = = = = = = = = = = = = = = + = = = = = = = = = = = = = = = = = = = = = = | | 0 N V I D I A G e F o r c e . . . O f f | 0 0 0 0 0 0 0 0 : 0 1 : 0 0 . 0 O f f | O f f | | 3 1 % 3 8 C P 8 2 8 W / 4 5 0 W | 1 5 2 7 7 M i B / 2 4 5 6 4 M i B | 0 % D e f a u l t | | | | N / A | + + + + 当 然 ， 就 这 么 泛 泛 的 测 试 一 轮 ， 未 免 有 点 儿 戏 。 我 们 来 进 行 对 轮 对 话 测 试 。 这 里 为 了 考 验 模 型 的 基 础 能 力 ， 所 有 的 问 题 我 都 不 会 加 “ 问 号 ” ， 并 且 尽 量 用 代 词 而 非 具 体 的 内 容 来 和 它 交 流 。 除 了 最 后 一 个 问 题 ， 因 为 没 有 和 “ 李 开 复 ” 交 流 过 ， 不 确 定 这 个 口 吻 像 不 像 ， 只 能 够 看 出 来 模 型 突 然 画 风 变 的 高 冷 ， 以 大 佬 姿 态 说 出 了 一 段 话 外 。 其 他 的 回 答 ， 我 个 人 还 是 比 较 满 意 的 。 当 然 ， 因 为 我 们 使 用 了 “ 资 源 保 守 策 略 ” ， 在 启 动 程 序 的 时 候 ， 只 将 模 型 的 3 2 层 放 在 了 显 卡 里 ， 所 以 模 型 输 出 内 容 的 速 度 只 有 3 . 4 t o k e n s / s e c 左 右 。 如 果 我 们 选 择 完 全 使 用 C P U ， 速 度 则 只 剩 下 了 1 . 8 t o k e n s / s e c 左 右 。 为 了 提 升 模 型 吞 吐 速 度 ， 我 们 来 做 个 简 单 的 性 能 优 化 。 性 能 提 升 技 巧 ： 调 整 l l a m a . c p p 加 载 模 型 层 数 在 目 前 的 普 通 硬 件 环 境 中 ， 一 般 来 说 显 卡 的 带 宽 和 数 据 交 换 性 能 远 远 高 于 内 存 ， 所 以 我 们 可 以 将 模 型 更 多 的 往 显 卡 里 塞 ， 来 减 少 程 序 在 几 十 G B 模 型 程 序 和 数 据 中 寻 找 我 们 需 要 的 答 案 的 时 间 。 当 然 ， 完 全 将 模 型 放 在 显 存 里 是 有 些 困 难 的 （ 除 非 进 行 性 能 损 失 比 较 大 的 量 化 ） 。 在 上 面 的 测 试 中 ， 我 们 选 择 的 是 将 模 型 的 一 半 放 在 显 卡 里 ， 通 过 观 察 我 们 可 以 得 出 模 型 在 运 行 之 后 ， 至 少 会 额 外 占 据 1 G B 的 显 存 ， 所 以 我 们 可 以 增 大 n g p u l a y e r s 到 合 理 的 程 度 。 我 这 里 的 选 择 是 设 置 为 5 5 层 ： . / s e r v e r c t x s i z e 2 0 4 8 h o s t 0 . 0 . 0 . 0 n g p u l a y e r s 5 5 m o d e l . / m o d e l s / T h e B l o k e / N o u s C a p y b a r a 3 4 B G G U F / n o u s c a p y b a r a 3 4 b . Q 5 _ K _ M . g g u f 程 序 启 动 过 程 中 ， 我 们 可 以 知 道 这 将 会 在 初 始 化 过 程 中 ， 占 据 显 卡 的 2 0 G B 显 存 。 l l m _ l o a d _ t e n s o r s : u s i n g C U D A f o r G P U a c c e l e r a t i o n l l m _ l o a d _ t e n s o r s : m e m r e q u i r e d = 2 5 8 6 . 5 3 M i B l l m _ l o a d _ t e n s o r s : o f f l o a d i n g 5 5 r e p e a t i n g l a y e r s t o G P U l l m _ l o a d _ t e n s o r s : o f f l o a d e d 5 5 / 6 3 l a y e r s t o G P U l l m _ l o a d _ t e n s o r s : V R A M u s e d : 2 0 6 0 7 . 3 4 M i B 程 序 实 际 运 行 完 毕 后 ， 我 们 在 n v i d i a s m i 中 得 到 的 资 源 占 用 情 况 会 更 多 一 些 ： | = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = + = = = = = = = = = = = = = = = = = = = = = = + = = = = = = = = = = = = = = = = = = = = = = | | 0 N V I D I A G e F o r c e . . . O f f | 0 0 0 0 0 0 0 0 : 0 1 : 0 0 . 0 O f f | O f f | | 3 1 % 3 5 C P 8 2 7 W / 4 5 0 W | 2 1 9 1 3 M i B / 2 4 5 6 4 M i B | 0 % D e f a u l t | | | | N / A | + + + + 然 后 我 们 再 次 使 用 相 同 的 机 器 之 心 发 布 的 内 容 ， 来 进 行 模 型 测 试 ， 你 会 发 现 模 型 的 处 理 速 度 快 了 非 常 多 ， 比 之 前 大 概 快 了 接 近 3 倍 。 当 然 ， 我 们 还 是 多 问 几 轮 ， 看 看 情 况 。 速 度 比 之 前 稍 微 慢 了 一 些 ， 变 成 了 8 . x t o k e n / s e c ， 整 体 回 答 我 都 比 较 满 意 。 除 了 最 后 一 条 ， 列 举 实 体 的 时 候 ， 把 m e t a 也 列 了 进 去 ， 虽 然 没 有 把 m e t a 看 做 人 ， 回 答 也 可 圈 可 点 ， 但 是 文 本 的 并 列 关 系 里 ， 其 他 三 项 都 是 人 名 呐 。 性 能 提 升 技 巧 ： 选 择 更 小 巧 的 模 型 上 文 中 我 们 使 用 的 是 稍 微 大 一 些 的 模 型 ， 如 果 我 们 选 择 恰 好 放 的 进 显 卡 的 Q 4 版 本 的 量 化 模 型 ， 可 以 在 启 动 的 时 候 ， 设 置 加 载 层 数 完 全 等 于 模 型 层 数 ： . / s e r v e r c t x s i z e 2 0 4 8 h o s t 0 . 0 . 0 . 0 n g p u l a y e r s 6 3 m o d e l . / m o d e l s / T h e B l o k e / C a p y b a r a T e s s Y i 3 4 B 2 0 0 K D A R E T i e s G G U F / c a p y b a r a t e s s y i 3 4 b 2 0 0 k d a r e t i e s . Q 4 _ K _ M . g g u f 同 样 ， 模 型 加 载 的 时 候 ， 我 们 能 够 看 到 资 源 使 用 状 况 ： l l m _ l o a d _ t e n s o r s : g g m l c t x s i z e = 0 . 2 0 M i B l l m _ l o a d _ t e n s o r s : u s i n g C U D A f o r G P U a c c e l e r a t i o n l l m _ l o a d _ t e n s o r s : m e m r e q u i r e d = 2 4 6 . 2 9 M i B l l m _ l o a d _ t e n s o r s : o f f l o a d i n g 6 0 r e p e a t i n g l a y e r s t o G P U l l m _ l o a d _ t e n s o r s : o f f l o a d i n g n o n r e p e a t i n g l a y e r s t o G P U l l m _ l o a d _ t e n s o r s : o f f l o a d e d 6 3 / 6 3 l a y e r s t o G P U l l m _ l o a d _ t e n s o r s : V R A M u s e d : 1 9 4 5 4 . 1 5 M i B 使 用 n v i d i a s m i 查 看 资 源 ， 显 存 使 用 了 2 1 G B 。 | = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = + = = = = = = = = = = = = = = = = = = = = = = + = = = = = = = = = = = = = = = = = = = = = = | | 0 N V I D I A G e F o r c e . . . O f f | 0 0 0 0 0 0 0 0 : 0 1 : 0 0 . 0 O f f | O f f | | 3 1 % 3 6 C P 8 2 7 W / 4 5 0 W | 2 1 1 2 3 M i B / 2 4 5 6 4 M i B | 0 % D e f a u l t | | | | N / A | + + + + 我 们 还 是 用 相 同 的 文 章 内 容 进 行 测 试 ， 速 度 已 经 非 常 棒 了 。 当 然 ， 这 个 模 型 的 特 点 是 支 持 2 0 0 K 文 本 。 所 以 ， 如 果 你 有 多 张 卡 或 者 大 显 存 的 资 源 ， 不 妨 调 整 c t x s i z e 到 2 0 0 K 试 试 看 。 我 们 再 进 行 一 个 简 单 的 测 试 ， 分 别 并 要 求 模 型 输 出 两 种 不 同 的 指 定 格 式 ： 我 们 在 尝 试 不 给 出 提 示 的 前 提 下 ， 要 求 模 型 输 出 J S O N 格 式 ： 看 起 来 ， 似 乎 确 实 还 不 错 ？ 下 次 吃 瓜 可 以 用 模 型 总 结 出 的 技 巧 试 试 看 。 最 后 关 于 零 一 万 物 3 4 B 模 型 的 基 础 使 用 ， 先 聊 到 这 里 。 后 面 有 机 会 ， 我 们 继 续 聊 聊 一 些 更 实 际 的 使 用 ， 包 括 S F T 、 将 这 个 模 型 接 入 到 流 行 的 开 源 应 用 中 。 那 么 ， 就 先 写 到 这 里 吧 。 – E O F C o p y r i g h t © 2 0 2 3 杨 晓 凯 豫 I C P 备 2 0 2 3 0 2 1 4 3 6 号 1

Log in

friend www.dayouziyuan.com Fantasy
www.dayouziyuan.com由网友主动性提交被0401导航库整理收录的，0401导航库仅提供www.dayouziyuan.com Please enter keywords www.dayouziyuan.com dye IP地址：175.24.182.85 [中国上海 腾讯云]，www.dayouziyuan.com的百度权重为0、百度手机权重为0、百度收录为198条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在1~1之间、百度手机端来访流量大约在1~1之间、www.dayouziyuan.com的备案号是豫ICP备2023021436号、备案人叫杨晓凯、被百度收录的关键词有0个、手机端关键词有1个、该站点迄今为止已经创建0年3月9日。

内容声明：

1、 Poisoning.
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.dhk0401.com/bianchengdh/25707.html， send

---