企业🤖AI Agent构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
[TOC] > [参考](https://chai2010.cn/advanced-go-programming-book/ch6-cloud/ch6-05-load-balance.html) ## 概述 1. 按顺序挑: 例如上次选了第一台,那么这次就选第二台,下次第三台,如果已经到了最后一台,那么下一次从第一台开始。这种情况下我们可以把服务节点信息都存储在数组中,每次请求完成下游之后,将一个索引后移即可。在移到尽头时再移回数组开头处。 2. 随机挑一个: 每次都随机挑,真随机伪随机均可。假设选择第 x 台机器,那么x可描述为`rand.Intn()%n`。 3. 根据某种权重,对下游节点进行排序,选择权重最大/小的那一个。 ## 基于洗牌算法的负载均衡 考虑到我们需要随机选取每次发送请求的节点,同时在遇到下游返回错误时换其它节点重试。所以我们设计一个大小和节点数组大小一致的索引数组,每次来新的请求,我们对索引数组做洗牌,然后取第一个元素作为选中的服务节点,如果请求失败,那么选择下一个节点重试 ``` var endpoints = []string { "100.69.62.1:3232", "100.69.62.32:3232", "100.69.62.42:3232", "100.69.62.81:3232", "100.69.62.11:3232", "100.69.62.113:3232", "100.69.62.101:3232", } // 重点在这个 shuffle func shuffle(slice []int) { for i := 0; i < len(slice); i++ { a := rand.Intn(len(slice)) b := rand.Intn(len(slice)) slice[a], slice[b] = slice[b], slice[a] } } func request(params map[string]interface{}) error { var indexes = []int {0,1,2,3,4,5,6} var err error shuffle(indexes) maxRetryTimes := 3 idx := 0 for i := 0; i < maxRetryTimes; i++ { err = apiRequest(params, indexes[idx]) if err == nil { break } idx++ } if err != nil { // logging return err } return nil } ``` **错误的洗牌导致的负载不均衡** 1. 没有随机种子。在没有随机种子的情况下,`rand.Intn()`返回的伪随机数序列是固定的。 2. 洗牌不均匀,会导致整个数组第一个节点有大概率被选中,并且多个节点的负载分布不均衡。 第一点比较简单,应该不用在这里给出证明了。关于第二点,我们可以用概率知识来简单证明一下。假设每次挑选都是真随机,我们假设第一个位置的节点在`len(slice)`次交换中都不被选中的概率是`((6/7)*(6/7))^7 ≈ 0.34`。而分布均匀的情况下,我们肯定希望被第一个元素在任意位置上分布的概率均等,所以其被随机选到的概率应该约等于`1/7≈0.14` ### ZooKeeper 集群的随机节点挑选问题 使用ZooKeeper时,客户端初始化从多个服务节点中挑选一个节点后,是会向该节点建立长连接的。之后客户端请求都会发往该节点去。直到该节点不可用,才会在节点列表中挑选下一个节点。在这种场景下,我们的初始连接节点选择就要求必须是“真”随机了。否则,所有客户端起动时,都会去连接同一个ZooKeeper的实例,根本无法起到负载均衡的目的。如果在日常开发中,你的业务也是类似的场景,也务必考虑一下是否会发生类似的情况。为rand库设置种子的方法 ``` rand.Seed(time.Now().UnixNano()) ``` ### 负载均衡算法效果验证 ``` ackage main import ( "fmt" "math/rand" "time" ) func init() { rand.Seed(time.Now().UnixNano()) } func shuffle1(slice []int) { for i := 0; i < len(slice); i++ { a := rand.Intn(len(slice)) b := rand.Intn(len(slice)) slice[a], slice[b] = slice[b], slice[a] } } func shuffle2(indexes []int) { for i := len(indexes); i > 0; i-- { lastIdx := i - 1 idx := rand.Intn(i) indexes[lastIdx], indexes[idx] = indexes[idx], indexes[lastIdx] } } func main() { var cnt1 = map[int]int{} for i := 0; i < 1000000; i++ { var sl = []int{0, 1, 2, 3, 4, 5, 6} shuffle1(sl) cnt1[sl[0]]++ } var cnt2 = map[int]int{} for i := 0; i < 1000000; i++ { var sl = []int{0, 1, 2, 3, 4, 5, 6} shuffle2(sl) cnt2[sl[0]]++ } fmt.Println(cnt1, "\n", cnt2) } ``` 输出: ``` map[0:224436 1:128780 5:129310 6:129194 2:129643 3:129384 4:129253] map[6:143275 5:143054 3:143584 2:143031 1:141898 0:142631 4:142527] ```