feat: perf concurrent parzer

Author: li-jin-gou

lang/golang/parser/ctx.go

@@ -34,6 +34,7 @@ var errSysImport = fmt.Errorf("sys import")
 
 // The go file's context. Used to pass information between ast node handlers
 type fileContext struct {
+	parser         *GoParser
 	repoDir        string
 	filePath       string
 	module         *Module
@@ -116,14 +117,21 @@ func (p *GoParser) referCodes(ctx *fileContext, id *Identity, depth int) (err er
 }
 
 func (p *GoParser) getFileBytes(path string) []byte {
+	p.filesMu.RLock()
 	if bs, ok := p.files[path]; ok {
+		p.filesMu.RUnlock()
 		return bs
 	}
+	p.filesMu.RUnlock()
+
 	bs, err := os.ReadFile(path)
 	if err != nil {
 		panic(fmt.Sprintf("read file %s failed: %v", path, err))
 	}
+
+	p.filesMu.Lock()
 	p.files[path] = bs
+	p.filesMu.Unlock()
 	return bs
 }
 
@@ -154,7 +162,10 @@ func (ctx *fileContext) GetMod(impt string) (string, error) {
 	// fileContext 中的 import 信息只有**当前文件的引用路径**，但是存在一种场景就是实际调用的节点在另外的一个Package，导致漏解析
 	// 常见于"链式调用"、"另一个 pkg 的全局变量的类型在另外一个 pkg 下"
 	if ctx.module != nil && ctx.module.Packages != nil {
-		if _, exist := ctx.module.Packages[impt]; exist {
+		ctx.parser.repoMu.Lock()
+		_, exist := ctx.module.Packages[impt]
+		ctx.parser.repoMu.Unlock()
+		if exist {
 			return ctx.module.Name, nil
 		}
 	}

lang/golang/parser/file.go

@@ -100,6 +100,8 @@ func (p *GoParser) newVar(mod string, pkg string, name string, isConst bool) *Va
 		IsConst:    isConst,
 		IsExported: isUpperCase(name[0]),
 	}
+	p.repoMu.Lock()
+	defer p.repoMu.Unlock()
 	return p.repo.SetVar(ret.Identity, ret)
 }
 
@@ -276,12 +278,16 @@ func (p *GoParser) newFunc(mod, pkg, name string) *Function {
 	}
 
 	ret := &Function{Identity: NewIdentity(mod, pkg, name), Exported: exported}
+	p.repoMu.Lock()
+	defer p.repoMu.Unlock()
 	return p.repo.SetFunction(ret.Identity, ret)
 }
 
 // newType allocate a struct in the repo
 func (p *GoParser) newType(mod, pkg, name string) *Type {
 	ret := &Type{Identity: NewIdentity(mod, pkg, name), Exported: isUpperCase(name[0])}
+	p.repoMu.Lock()
+	defer p.repoMu.Unlock()
 	return p.repo.SetType(ret.Identity, ret)
 }
 
@@ -619,7 +625,9 @@ func (p *GoParser) parseType(ctx *fileContext, typDecl *ast.TypeSpec, doc *ast.C
 		// check if it implements any parser.interfaces
 		if obj, ok := ctx.pkgTypeInfo.Defs[typDecl.Name]; ok {
 			if t := obj.Type(); t != nil {
+				p.typesMu.Lock()
 				p.types[t] = st.Identity
+				p.typesMu.Unlock()
 			}
 		}
 	}
@@ -661,7 +669,9 @@ func (p *GoParser) parseStruct(ctx *fileContext, struName string, name *ast.Iden
 				st.SubStruct = InsertDependency(st.InlineStruct, dep)
 			}
 			// remove the anonymous struct from the repo
+			p.repoMu.Lock()
 			delete(p.repo.GetPackage(as.ModPath, as.PkgPath).Types, as.Name)
+			p.repoMu.Unlock()
 		} else {
 			p.collectTypes(ctx, fieldDecl.Type, st, inlined)
 		}
@@ -671,7 +681,9 @@ func (p *GoParser) parseStruct(ctx *fileContext, struName string, name *ast.Iden
 		// check if it implements any parser.interfaces
 		if obj, ok := ctx.pkgTypeInfo.Defs[name]; ok {
 			if t := obj.Type(); t != nil {
+				p.typesMu.Lock()
 				p.types[t] = st.Identity
+				p.typesMu.Unlock()
 			}
 		}
 	}
@@ -734,7 +746,9 @@ func (p *GoParser) parseInterface(ctx *fileContext, name *ast.Ident, decl *ast.I
 			iface := named.Underlying().(*types.Interface)
 			// exclude empty interface
 			if !iface.Empty() {
+				p.typesMu.Lock()
 				p.interfaces[iface] = st.Identity
+				p.typesMu.Unlock()
 			}
 		}
 	}