2020年10月

10.10

在研究 pruning 时 bert 是一个主要的 benchmark
使用了 pytorch-pretrained-bert 的代码
在 i1 和 nico 上进行了测试,选用的 benchmark 为 SQuAD
- 其中一个奇怪的事情是在 i1 双卡上的用时略小于 nico 8卡上的用时

两个 epoch

i1 双卡: epoch1 48.37, epoch2 41.36
准确率: EM 81.164, f1 88.464
nico 8卡:epoch1 54.20, epoch2 54.02
准确率: EM 81.362, f1 88.475

在nico上测试了一个 epoch:
准确率:EM 80.142, f1 87.566

对 bert base uncased 进行了调研:

超参数:

{
  "attention_probs_dropout_prob": 0.1,
  "hidden_act": "gelu",
  "hidden_dropout_prob": 0.1,
  "hidden_size": 768,
  "initializer_range": 0.02,
  "intermediate_size": 3072,
  "max_position_embeddings": 512,
  "num_attention_heads": 12,
  "num_hidden_layers": 12,
  "type_vocab_size": 2,
  "vocab_size": 30522
}

总参数:109M (109483778)
其中 bert 部分参数数量: 109M (109482240)
bert部分:
embeddings : 23M(23837184)
encoder : 85M (85054464)
encoder 层为 12 个 Bertlayer 层的叠加:
每个 layer 参数数量为 7087872
每个layer中:
attention : 2363904
intermediate : 2362368
output : 2361600
三层有大致等量的参数
其中 attention 又分为 self 和 output 两部分
self 包含 q,k,v 主要 attention 部分,参数量: 1771776
output : 592128
所有layer中这三层的参数占模型参数总量 77.7%
embedding中参数占模型参数总量 21.8%
目前还不知道 embedding 中参数是否可prune

参数大致来源如下:

attention.self : hidden * hidden * 3
attention.output : hidden * hidden
intermediate : hidden * intermediate
output : intermediate * hidden

11.19

(这都隔了一个多月了呀喂)
在看一篇在 TASO 上做 sparse 的文章
"A sparse iteration space transformation framework for sparse tensor algebra"
是自动生成 sparse 的 CPU 和 GPU 操作的文章

另一种可能的 sparse op : MTTKRP
$$ A = B_{(1)} (D \dot C) $$
$$ A_{ij} = B_{ikl} \dot D_{lj} \dot C_{kj} $$
其中 A,D,C 为二维矩阵,B为三维 tensor
在存储 sparse tensor 时可以引入新格式 CSF

cold cache : 冷缓存?
在小矩阵情况下 CPU 性能优于 GPU
TACO : 计算 tensor expression 的 C++ library

可以生成 atomic 操作 (相比 TVM 优点)

for循环:

for((i = 0; i < 10; i++))
do
    echo ${i}
done
for file in $(ls .)
do
    echo ${file}
done
for i in ${a[@]} # 遍历数组元素
do
    echo $i
done
if [ $# -lt 3 ] #等价于 if (( $# < 3 ))
then
# ...
elif (( $# > 3 ))
then
# ...
else
# ...
fi
# [[]] 字符串模式匹配
if [[ "$FN" == *.@(jpg|jpeg) ]]

变量: var="name"
字符串:单引号内所有字符按原样,双引号内转义

数组: array_name = (v0, v1, v2)
下标:${array_name[index]}
全部:${array_name[@]}

参数:$0 文件名 $1 之后参数
$? : 上条命令返回值
$$ : bash进程id
$- : 当前bash选项
$* : 所有参数
"$@" : 所有参数,每个参数用引号包含
$# : 参数数量

{ pwd;ls; } > tt.out : 花括号组合多个命令,两端必须有空格
(pwd;ls) > tt.out : 普通括号在当前 shell 子shell 中运行,有相同环境变量

set -o noclobber : 重定向输出不覆盖已有文件
set +o noclobber : 重定向输出可以覆盖已有文件
set -e : 脚本中任何命令出现错误,bash退出
set -x :输出脚本中所有命令,前面加 "+"
set -u :遇到未定义变量时报错

echo "string" > file string输出到file,覆盖原有内容
echo "string" >> file 追加string到file
cd mytmp && rm * : &&分隔命令,当第一个返回值为 0 时再执行第二个命令
echo ${HOME:=/tmp} :当$HOME为空时赋值为/tmp
:- :只返回值,不赋值
:+ :存在时返回值,否则返回空,测试变量是否存在
:? :存在时返回值,否则打印并中断脚本

read TAG FN 读取一行内容,前面为单个单词,最后为剩余部分

||&& 为短路运算符

echo "line1
line2" # 输出多行文本
echo -n hello world #输出不带换行
echo -e "Hello\nWorld" #解析引号中转义符

type 'command' #指令详细信息 (bash buildin 等)
shopt #查看当前 bash 选项

ctrl + l : 将当前行移到首行
ctrl + a : 移到行首
ctrl + e : 移到行尾
alt + f : 移到单词词尾
alt + b : 移到单词词首
ctrl + k : 剪切光标位置到行尾
ctrl + u : 剪切光标位置到行首

bash 扩展

~扩展为当前用户 home
?匹配文件路径中任意单个字符
*匹配路径中任意数量字符
.*匹配隐藏文件
[...]匹配 [] 内单个字符
[^...][!...] 匹配除 ... 外单个字符
[a-zA-Z0-9] 匹配范围扩展
{1,2,3} 分别扩展成 {} 中所有值,其中不能有空格
{start..end} 扩展成 start 到 end 每个值
{start..end..stride}
${!string*}${!string@} 扩展成以 string 开头的环境变量
$(...) 和 反引号 扩展成命令结果
$((...)) 扩展成整数运算结果
量词:
?(pattern-list):匹配零个或一个模式。
*(pattern-list):匹配零个或多个模式。
+(pattern-list):匹配一个或多个模式。
@(pattern-list):只匹配一个模式。
!(pattern-list):匹配给定模式以外的任何内容。

单引号中所有字符变为普通字符
双引号中保留 $, `, \
here 文档:

<< token
text
token

输入多行字符串,支持变量替换,反斜杠转义,引号为普通字符

env : 显示所有环境变量
set : 显示所有环境变量和自定义变量

echo ${!myvar} : myvar 的最终值
unset NAME : 删除变量
export : 将用户变量变为环境变量,对所有子 shell 生效

declare -i : 声明整形变量,可以直接运算
declare -x : 等同于 export
declare -r : 声明只读变量
declare -u : 为大写字母,-l : 小写字母
declare -r : 只读变量
-p : 输出已定义变量值
-f : 输出环境中所有函数及定义
-F : 输出环境中所有函数名

let :声明变量时直接计算表达式