Posts on 所以然

《Redis设计与实现》数据结构与对象小记

Mon, 09 Mar 2020 13:50:10 +0800

本文是《Redis设计与实现》的数据结构与对象部分的流水账记录。建议先阅读该书。

数据结构

简单动态字符串(SDS, simple dynamic string)

用处：

key
value
aof 缓冲区

特点：

可修改
可以直接返回长度
更安全
性能更高（空间预分配，惰性空间释放）

结构：

int free，可用空间
int len，字符串长度
char buf[]，保存字符串

链表

用处：

列表
发布与订阅
慢查询
监视器

结构：

ListNode
- listNode * pre，前置节点
- listNode * next，后置节点
- void * value，值
list
- listNode * head，列表头
- listNode * tail，列表尾
- unsigned long len,列表长度

字典

依赖算法：使用 MurmurHash2 算法计算哈希值，速度快，分布随机

用处：

整个 redis 底层就使用字典
hash

结构：

dictht
- dictEntry **table，哈希表数组
- unsigned long size，哈希表大小，table 数组大小
- unsigned long sizemask，哈希表大小掩码，用于计算索引，等于 size - 1
- unsigned long used，已有节点数
dictEntry
- void *key, 键
- union，值
- dictEntry *next，指向下一个哈希表节点（解决冲突问题）
dict
- type，提供为特定类型的键值对的函数
- private，传递给type中函数的特定参数
- dictht ht[2],一般只用 ht[0], rehash 的使用会用 ht[1]
- rehashidx, rehash 进度，没有 rehash 时为 -1

行为：

《正则表达式必知必会》读书笔记——脑图

Sun, 08 Mar 2020 23:53:47 +0800

之前读《正则表达式必知必会》整理的脑图。不记得有些功能的时候可以翻一翻。

xmind 格式下载

Golang 中字典的 Comma Ok 是如何实现的

Sat, 29 Feb 2020 14:41:14 +0800

众所周知，Golang 中函数的返回值的数量是固定的，而不是像 Python 中那样，函数的返回值数量是不固定的。

如果我们把 Golang 中对 map 的取值看作是一个函数的话，那么直接取值和用 comma ok 方式取值的实现就变得很意思。

Golang 中 map 的取值方式

v1, ok := m["test"]
v2 := m2["test"]

先看看汇编是如何实现的。

package main

import "log"

func main() {
    m1 := make(map[string]string)
    v1, ok := m1["test"]
    v2 := m1["test"]

    log.Println(v1, v2, ok)
}

保存上述文件为 map_test.go，执行go tool compile -S map_test.go，截取关键部分

...
    0x00a9 00169 (map_test.go:7)	CALL	runtime.mapaccess2_faststr(SB)
...
    0x00f8 00248 (map_test.go:8)	CALL	runtime.mapaccess1_faststr(SB)
...

可以看到，虽然都是 m1["test"]，但是却调用了 runtime 中不同的方法。可以在 go/src/runtime/map_faststr.go 文件中看到

func mapaccess2_faststr(t *maptype, h *hmap, ky string) (unsafe.Pointer, bool) {}
func mapaccess1_faststr(t *maptype, h *hmap, ky string) unsafe.Pointer {}

这样明显就对上了，但是 Golang 又是如何实现把 m["test"] 替换为 mapaccess2_faststr 或者 mapaccess1_faststr 的呢？

这就涉及 Golang 的编译过程了。查看官方文档，我们知道编译的过程包括：

Parsing，包括词法分析，语法分析，抽象语法树的生成。
Type-checking and AST transformations，包括类型检查，抽象语法树转换。
Generic SSA，中间代码生成
Generating machine code，生成机器码

现在我们就一步一步的看一看，m["test"]是如何变成mapaccess2_faststr的。（mapaccess1_faststr同理，故不赘述）

Golang 中 slice cap 增长模式小记

Mon, 13 Jan 2020 00:43:30 +0800

在 Golang 中，我们知道数组是固定长度的。一般我们在使用时，大多数情况下使用的其实都是 slice，但是 slice 的底层的数据其实还是数组。所以我们在向 slice append 数据的时候，Golang 会检查底层的数组的长度是否已经不够，如果长度不够，Golang 则会新建一个数组，把原数组的数据拷贝过去，再将 slice 中的指向数组的指针指向新的数组。

但是，新数组的长度该如何确定呢？如果每次新数组长度只增加 1，那么每次 append 数据都需要新建一个数组。但是如果每次新增数组的长度太大的，又会造成内存的浪费。先写一个简单的代码看看内存如何增长。

package main

import (
    "fmt"
)

func main() {
    slice := make([]int, 0, 0)
    lastCapSize := 0
    for i := 0; i < 100000; i++ {
        slice = append(slice, 1)
        if lastCapSize != cap(slice) {
            if i != 0 {
                fmt.Println(i, cap(slice), float32(cap(slice))/float32(i))
            }
            lastCapSize = cap(slice)
        }
    }
}

结果如下：

last	current	percent
1	2	200.00%
2	4	200.00%
4	8	200.00%
8	16	200.00%
16	32	200.00%
32	64	200.00%
64	128	200.00%
128	256	200.00%
256	512	200.00%
512	1024	200.00%
1024	1280	125.00%
1280	1696	132.50%
1696	2304	135.85%
2304	3072	133.33%
3072	4096	133.33%
4096	5120	125.00%
5120	7168	140.00%
7168	9216	128.57%
9216	12288	133.33%
12288	15360	125.00%
15360	19456	126.67%

很明显的可以看到，在 cap 长度小于 1024 之前，每次新数组的长度都是旧数组的两倍。但是在 1024 之后增长的速度，最低增长 25%，最高能达到 40%。长度在 1024 之前的很容易理解，可是为什么在 1024 之后会出现这种情况我们就需要翻翻源码了。

好书推荐《深入理解程序设计》

Wed, 08 Jan 2020 22:37:13 +0800

上周参加了深圳 Golang 的 meetup，其中一位讲师讲了关于 Golang 汇编的知识，奈何不懂汇编，听的云里雾里。在林老师的推荐下，看了《深入理解程序设计》这本书。虽说没有面面俱到，但是读完竟有一种畅快、醍醐灌顶之感，也是颇为妙哉。之前也是尝试过去读 csapp 这种硬骨头，奈何牙齿不够硬，还是没刚下来。读完一堆八进制、二进制、十六进制、补码云云，就坚持不下去了。

这本书有以下几个优点：

不整那些有的没得，简单介绍点前置知识，咱就直接写代码
正文只有 150 页，三四天就能读完
通俗易懂，读起来不会很吃力
最后一章推荐的书很棒，已按阅读顺序整理了书单，自下而上—推荐书单, 自顶而下—推荐书单, 具体语言书单，专题书单
汇编中的函数调用写的很清楚（相对 csapp）

缺点也有：

书里的 typo 比较多，看的时候需要主注意，可结合这份勘误阅读
部分例子略显复杂，自己理解的时候可以尝试写一个简单点的例子，再看书中的例子
书中的汇编都是基于 32 位操作系统的，如果你的电脑是 64 位，需要安装 32 位的虚拟机运行书中的例子，选择 Linux 镜像的时候选择 i386 的安装即可。

看完这本书，对函数调用，一个进程的内存分配，stack，heap ，系统调用，链接器，编译器等等这些知识都会有了更深的理解。看这本书之前，我知道计算机有 cpu，硬盘，内存，我也知道高级程序语言可以打开文件，编写程序。但是总觉得中间缺了一道口子，恰好，这本书就填满了这个口子。

总结的话就是，瑕不掩瑜，非常推荐这本书。

记 20200104 深圳 golang meetup

Sun, 05 Jan 2020 22:40:42 +0800

早早报名了 gocn 组织的深圳 Golang meetup，花了一整天，听了 7 个主题。简单分享如下。

1.Go在工业领域的应用实践

首先简单叙述了下现在工业领域的痛点主要是没有进行数字化。看不到数据，之后主要介绍他们公司使用 Golang 开发了系统提供给一些制造业的公司。通过对制造业的数字化，可以收集数据，帮助辅助化决策。

之后他们使用的 Golang 的原因是方便在各个平台部署。

借助 Golang 的 interface 能比较方便的对接各种底层硬件等。之后 show 了一点代码。

2.Go性能优化之路

首先提出优化是有成本的，要权衡优化的成本和价值，来决定做不做优化。

其次是什么时候停止优化，优化之前往往需要一个目标，因为优化这个过程是边际效用递减的，所以往往在优化到一定程度的时候就不需要继续优化了。

如何优化，演讲者明确的给了五步，最后一步为重复第一步，作为一个循环。具体五步如下：

基准
- 首先优化有个基准才能知道到底是正优化，还是负优化
- 满足基准测试之前，首先要满足单元测试，首先对，然后才是快
- 基准测试的工具主要是 benchmark
分析
- 主要是发现瓶颈，并定位瓶颈
- 主要工具如下：
  - GODEBUG，通过环境变量的设置，让 Golang 打印堆栈情况
  - go tool pprof，可以查看 heap, goroutine, cpu, memery 等情况的瓶颈
  - go tool trace
优化
- 定位到瓶颈之后就是优化了
校验
- 主要使用 benchstat 将基准测试的数据进行对比。
迭代
- 重复第一步。

tips：

使用 sync.Pool 复用对象
使用 atomic.Value
使用分区，减少共享数据的争用
避免使用包含指针的结构体作为 map 的 key（例如 string，可以使用 hash）
使用 strings.Builder 拼接字符串

如何为 Mac 中不支持的快捷键的菜单栏加上快捷键

Fri, 07 Dec 2018 23:10:38 +0800

介绍

AppleScript 是苹果系统内置的一门语言，主要是可以完成很多普通脚本完成不了的工作，比如打开某个软件，点击某个菜单栏等等操作。

简单学习的话，可以看少数派的这篇文章

Keyboard Maestro是一个将特定的输入和执行动作绑定的一个软件，比如在某个应用按下某个特定的快捷键执行特定的脚本。具体功能可以查看官网，使用方法在安装完软件后会有一个简短的小教程。

主要需求：为 PDF Expert 的日间操作加上快捷键功能

操作

编写 AppleScript 切换到日间模式

tell application "System Events"
    tell process "PDF Expert"
    	click menu item "日间" of menu "主题" of menu item "主题" of menu "视图" of menu bar item "视图" of menu bar 1
    end tell
end tell

在 Keyboard Maestro 给 PDF Expert 配置相应的快捷键对应的操作

可选步骤，将快捷键操作配置为制定应用而不是全局执行。在 Groups 里面新建一个 PDF Expert 的 Group，新建的时候选择 Available in these applications ，之后选中 PDF Expert，最后将上一步新建的 Macros 拖动到 PDF Expert 文件夹。

豆瓣 Alfred workflow

Thu, 06 Dec 2018 23:24:38 +0800

主要需求是因为经常挑书的时候想看看豆瓣评分是多少，可是又不想每次打开豆瓣去搜索。

之前装的 Alfred 的豆瓣的 workflow 都因为豆瓣 API 的关闭而变得不能用了。

没得办法，只能自己写一个。最开始的时候是尝试抓取电脑版页面的，结果发现豆瓣没以前那么好爬了，所以在 Chrome 里面打了半天的断点调试了半天也没解出来怎么加密数据的。

后面灵机一动，既然电脑做了加密，那么手机呢？最后还是通过手机的页面撸完了这个 workflow。

地址：https://github.com/h3l/douban-workflow

主要功能：

搜索书籍
搜索电影

截图如下：

一种低配版服务降级方法

Mon, 22 Oct 2018 20:30:02 +0800

现在微服务是潮流，大多数时候，不管基础的微服务设施有没有搭建好，大项目能拆出来一个是一个，反正拆开了就是微服务。

所以系统从原来的函数调用，变成了 http 调用或者是 rpc 的调用。

原意是为了方便管理项目，提高灵活性等等，可是变为 http 调用后，服务变得不那么可靠了。

情况一，虽然服务不可靠，但是挂了就挂了，依赖这个服务的相关服务也挂了，正常
情况了，服务不可靠，而且接口响应时间很慢，那么这个时候，本身的服务可能因为这个服务拖垮。

这个时候也没有所谓的熔断器等等的基础设施。

那么有一种低配版的服务降级方法，就是借助 redis 来实现。伪代码如下：

// 获取当前被阻塞数
unhandledCount := redis.Get("unhandledCount_FUNC_NAME")
// 大于被阻塞数，直接返回失败
if unhandledCount > MAX_UNHANDLED_COUNT{
    return fail
}else{
    redis.Incr("unhandledCount_FUNC_NAME)
    resp := http.get("http://url")
    redis.Decr("unhandledCount_FUNC_NAME")
    return resp
}

这种方法和 timeout 的方法来比的话，最大的好处就是，别的系统再怎么炸，就不会影响自己的系统。所以这种方法不仅适用与微服务的系统调用，所有依赖第三方的调用也可以通过这种方法保障自身服务稳定。

最后，这也只是一个变通的，低配版的方案，要实实在在的解决这个问题，还是要靠正统的方法。

一种通用型的权限系统设计

Wed, 19 Sep 2018 20:11:04 +0800

先简单看一下简单的表结构以及表关系。

表解释

用户相关
- User 用于存储用户信息，主要字段为 id 用户信息等
组织相关
- Organization 用于存储组织架构中的单个组织，主要字段为 id,name 等等
- Relation 用于存储组织架构中的组织间关系，主要字段为parent_id,child_id
群组相关
- Group 用于存储群组信息，主要字段为 id 群组名等
- Service 用于存储服务信息，主要字段为 id 服务名称等
- Api 用于存储接口信息，主要字段为id,url_name,app_name`等
- 另外还有两张表用于存储 Group 与 Service 的多对多关系以及 Service 与 Api 的多对多关系
将上述关系组织到一起
- UserPosition 记录一个人在哪些组织上属于什么群组，主要字段有 user_id, group_id, org_id

概述

上述的那么多表，其实只是解决了一个问题『一个人在什么范围能做什么事情』。

一个人 即用户相关的表
什么范围即组织相关的表
什么事情 即群组相关的表

用户相关

即权限系统中的用户，并无复杂概念

组织相关

现实生活中的组织架构是一个类似树形的不规则结构，如下图所示

如果是存储树形结构，第一反应可能是在每个节点记录一个 parent_id。这是最简单的做法，但是在查询某个节点的所有子节点的时候却是效率最差的做法。

这里我们采用的方法是单独拿一张关系表记录父节点到所有子节点的数据。这样做的好处是查询效率非常高，只是在插入数据的时候稍微慢一点，但是考虑到我们的应用是读大于写，所以这样做并无不妥。按照上述说法，则可以用下表表示下图。

父节点	子节点
root	mid_a
root	bottom_a
root	bottom_b
root	bottom_d
mid_a	bottom_a
mid_a	bottom_b

tip: 如果为了方便，可以为每个节点插入一条父节点和子节点均为自己的记录。