Golang 并发的 fork/join 模式
2024-6-30 11:25:42 Author: cloudsjhan.github.io(查看原文) 阅读量:15 收藏

发表于 | 分类于 | 阅读次数: |

| 字数统计: 841 | 阅读时长 ≈ 4

Golang 并发的 fork/join 模式

在软件开发领域,对更快、更高效地处理数据的需求与日俱增。并行计算技术(如 fork/join 模式)为利用多个 CPU 内核并发执行任务提供了强大的解决方案,从而大大缩短了大规模计算的执行时间。本文通过分解一个使用并发 goroutines 对数组求和的示例,探讨了 fork/join 模式在 Go 中的实现。

Fork/Join 并发模型介绍

Fork/Join 模式是一种并行技术,包括将任务分成较小的任务块,并行处理这些任务块(分叉),然后将这些任务的结果合并为最终结果(join)。这种模式尤其适用于任务相互独立,可以并发执行而互不影响的情况。

简单的示例:并发对数组求和

1. 初始化:程序初始化一个整数数组。程序还设置了数组应划分的部分数,每个部分由一个独立的程序处理。

2.并发设置:

2.1 Fork: 将数组划分为指定的部分,并为每个部分启动一个 goroutine 来计算该部分的总和。

2.2 Channel 通信:每个 “程序 “都会通过通道将计算出的总和发送回主进程,以确保同步通信。

2.3 Join: 当所有 Goroutine 完成计算后,主进程收集并汇总这些部分结果,得出总和。
2.4 Logging: 日志记录在整个过程中,程序会打印信息,显示数组的划分、每个工作者计算的总和以及收到的部分总和。

代码示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
import (
"fmt"
"sync"
)

var (
parts = 4
)

func main() {
numbers := []int{3, 1, 4, 1, 5, 9, 2, 6, 5, 3, 5} // Example array
totalSum := concurrentSum(numbers, parts) // Divide the array into 4 parts for summing
fmt.Println("Total Sum:", totalSum)
}

// sumPart sums a part of the array and sends the result to a channel.
func sumPart(workerId int, nums []int, result chan<- int, wg *sync.WaitGroup) {
defer wg.Done() // Ensure the WaitGroup counter decrements on function completion.
sum := 0
for _, num := range nums {
sum += num
}
fmt.Printf("Worker %d calculated sum: %d\n", workerId, sum)
result <- sum // Send the partial sum to the result channel.
}

// concurrentSum takes an array and the number of parts to divide it into,
// then sums the array elements using concurrent goroutines.
func concurrentSum(numbers []int, parts int) int {
n := len(numbers)
partSize := n / parts // Determine the size of each subarray
fmt.Printf("Dividing the array of size %d into %d parts of size %d\n", n,
parts, partSize)
results := make(chan int, parts) // Channel to collect results with a buffer size

var wg sync.WaitGroup
// Fork step: Launch a goroutine for each part of the array
for i := 0; i < parts; i++ {
start := i * partSize
end := start + partSize
if i == parts-1 { // Ensure the last goroutine covers the remainder of the array
end = n
}
wg.Add(1)
go sumPart(i, numbers[start:end], results, &wg)
}

// Close the results channel once all goroutines are done
go func() {
wg.Wait()
close(results)
}()

// Join step: Combine results
totalSum := 0
for sum := range results {
fmt.Printf("Received partial sum: %d\n", sum)
totalSum += sum
}

return totalSum
}

结论

上面的示例展示了使用 Go 进行并发编程时 fork/join 模式的效率。通过将数组求和的任务分给多个 Worker,程序在多核处理器上的运行速度明显加快,使用 Go 进行并发编程任务具有的强大功能和简便性。这种模式同样可应用于其他各种计算问题。


-------------The End-------------

cloud sjhan wechat

subscribe to my blog by scanning my public wechat account


文章来源: https://cloudsjhan.github.io/2024/06/30/Golang-%E5%B9%B6%E5%8F%91%E7%9A%84-fork-join-%E6%A8%A1%E5%BC%8F/
如有侵权请联系:admin#unsafe.sh