Merge pull request #142 from itmisx/fix/codegraph-skip-generated-140

🐛 fix: codegraph-skip-generated

Author: itmisx

codegraph/generated_skip_test.go

@@ -0,0 +1,96 @@
+package codegraph
+
+import (
+	"os"
+	"path/filepath"
+	"strings"
+	"testing"
+)
+
+// issue #140:自动生成的源码(EF Core 模型快照、protoc / go generate 产物等)按头部标记跳过,
+// 不喂给 tree-sitter、不进图谱 —— 避免大型 .NET 仓把子进程顶过内存上限(exit 75)。
+func TestIsGeneratedSource(t *testing.T) {
+	gen := []string{
+		"// <auto-generated />\npublic class Foo {}\n",                     // EF Core / .NET
+		"// <auto-generated>\n//   由工具生成\n// </auto-generated>\nclass F{}", // 带换行的 .NET 头
+		"// Code generated by protoc-gen-go. DO NOT EDIT.\npackage pb\n",   // Go / protoc
+		"/* @generated */\nexport const x = 1\n",                           // @generated 约定
+	}
+	for _, s := range gen {
+		if !isGeneratedSource([]byte(s)) {
+			t.Errorf("应判定为生成文件:\n%s", s)
+		}
+	}
+	normal := []string{
+		"package x\n\nfunc RealFunc() {}\n",
+		"public class Service {\n  // do not edit lightly, but hand-written\n", // 注:不含 DO NOT EDIT 全大写连写
+		"",
+	}
+	for _, s := range normal {
+		if isGeneratedSource([]byte(s)) {
+			t.Errorf("正常源码不该判定为生成文件:\n%q", s)
+		}
+	}
+
+	// 标记在 1KB 头部之外 → 不判定(只扫头部,省时且避免误伤正文里偶然出现的字样)。
+	deep := strings.Repeat("x\n", 2000) + "// <auto-generated />\n"
+	if isGeneratedSource([]byte(deep)) {
+		t.Error("超出头部扫描窗口的标记不应触发判定")
+	}
+}
+
+// TestMigrationsDirSkipped:`Migrations/` 目录(EF Core / Django 约定)整体跳过。
+func TestMigrationsDirSkipped(t *testing.T) {
+	for _, n := range []string{"migrations", "Migrations", "MIGRATIONS"} {
+		if !shouldSkipDir(n) {
+			t.Errorf("%q 应被跳过", n)
+		}
+	}
+}
+
+// TestAssembleSkipsGeneratedAndMigrations:端到端验证收紧后的行为(issue #140):
+//   - 手写文件入图;
+//   - **大**生成文件跳过(内存元凶 + 低导航价值);
+//   - **小**生成文件**保留**(常含被引用的类型定义,且不撑内存);
+//   - Migrations 目录整体跳过。
+func TestAssembleSkipsGeneratedAndMigrations(t *testing.T) {
+	root := t.TempDir()
+	mk := func(rel, content string) {
+		p := filepath.Join(root, rel)
+		if err := os.MkdirAll(filepath.Dir(p), 0o755); err != nil {
+			t.Fatal(err)
+		}
+		if err := os.WriteFile(p, []byte(content), 0o644); err != nil {
+			t.Fatal(err)
+		}
+	}
+	const genHeader = "// Code generated by tool. DO NOT EDIT.\npackage x\n\n"
+	// 大生成文件:头部标记 + ≥128KiB 短注释行填充(不触发超长行)+ 一个符号。
+	pad := strings.Repeat("// padding line to inflate file size\n", 4000) // ~148 KiB
+	mk("real.go", "package x\n\nfunc RealFunc() {}\n")                    // 手写,入图
+	mk("gen_small.go", genHeader+"func GeneratedSmall() {}\n")            // 生成但小 → 保留
+	mk("gen_big.go", genHeader+pad+"func GeneratedBig() {}\n")            // 生成且大 → 跳过
+	mk("Migrations/mig.go", "package x\n\nfunc MigFunc() {}\n")           // Migrations 目录 → 跳过
+
+	ix := &Index{root: root}
+	g, _, err := ix.assemble(nil, false)
+	if err != nil {
+		t.Fatal(err)
+	}
+	names := map[string]bool{}
+	for _, s := range g.Symbols {
+		names[s.Name] = true
+	}
+	if !names["RealFunc"] {
+		t.Error("手写文件的 RealFunc 应入图")
+	}
+	if !names["GeneratedSmall"] {
+		t.Error("小生成文件的 GeneratedSmall 应保留入图(收紧后只跳大文件)")
+	}
+	if names["GeneratedBig"] {
+		t.Error("大生成文件的 GeneratedBig 不该入图")
+	}
+	if names["MigFunc"] {
+		t.Error("Migrations 目录的 MigFunc 不该入图")
+	}
+}

codegraph/index.go

@@ -1,6 +1,7 @@
 package codegraph
 
 import (
+	"bytes"
 	"fmt"
 	"io/fs"
 	"os"
@@ -52,6 +53,9 @@ var skipDirs = map[string]bool{
 	"bower_components": true, "pods": true, "__pycache__": true,
 	"venv": true, "site-packages": true, ".nuxt": true,
 	"out": true, "obj": true, "coverage": true, "__snapshots__": true,
+	// 自动生成的迁移代码(EF Core / Django 等约定 `migrations/` 目录):体量大(EF Core 模型快照
+	// 单文件可达数 MB)、对代码导航价值低,大仓里会把建图顶过子进程内存上限(issue #140)。
+	"migrations": true,
 }
 
 // shouldSkipDir 判断遍历时是否跳过该目录:命中 skipDirs(**大小写不敏感**)或以 "." 开头。
@@ -69,6 +73,42 @@ const maxFileSize = 1 << 20 // 1 MiB
 // (遗弃的 runaway 会持续吃内存直到 OOM)→ 只能从源头不喂这类文件。用 var 便于测试调小。
 var maxLineBytes = 40 << 10 // 40 KiB
 
+// generatedMarkers:出现在文件头部即判定为"自动生成的源码"的标记(语言无关)。
+// 覆盖 EF Core 的 *.Designer.cs / *ModelSnapshot.cs(`<auto-generated/>`)、Go generate /
+// protoc 产物(`Code generated … DO NOT EDIT`)、以及 `@generated` 约定(部分工具 / Meta)。
+var generatedMarkers = [][]byte{
+	[]byte("<auto-generated"), // C# / VB / 各类 .NET 代码生成器
+	[]byte("DO NOT EDIT"),     // Go「Code generated … DO NOT EDIT.」及多数代码生成工具
+	[]byte("@generated"),      // 部分工具 / Meta 约定
+}
+
+// generatedScanPrefix:只在文件头这么多字节里找生成标记 —— 标记总在顶部,扫全文件没必要也更慢。
+const generatedScanPrefix = 1 << 10 // 1 KiB
+
+// generatedSkipMinBytes:只有"带生成标记 **且** 体量 ≥ 此阈值"的文件才跳过(issue #140)。
+// 取舍依据是"低导航价值 + 大体量"的交集,而非单纯"是否生成":
+//   - 大的生成文件(EF Core 模型快照、ANTLR 产物等)既是内存元凶、又几乎没人导航进去 → 跳;
+//   - 小的生成文件(多数 protobuf/gRPC/mock 的类型定义,几十 KB)往往**定义了被手写代码引用的符号**,
+//     留在图里才能正确"跳转定义 / 查找引用",且本就不撑内存 → 保留。
+//
+// 用 var 便于测试调小。
+var generatedSkipMinBytes = 128 << 10 // 128 KiB
+
+// isGeneratedSource 报告 src 是否为自动生成的源码(按头部标记判定,语言无关,issue #140)。
+// 注意:这只判"是不是生成的";要不要跳过还要叠加大小门槛(generatedSkipMinBytes),见 assemble。
+func isGeneratedSource(src []byte) bool {
+	head := src
+	if len(head) > generatedScanPrefix {
+		head = head[:generatedScanPrefix]
+	}
+	for _, m := range generatedMarkers {
+		if bytes.Contains(head, m) {
+			return true
+		}
+	}
+	return false
+}
+
 // hasOverlongLine 报告 src 是否含超过 max 字节的行(O(n) 扫一遍,不分配)。
 func hasOverlongLine(src []byte, max int) bool {
 	start := 0
@@ -453,6 +493,12 @@ func (ix *Index) assemble(preciseGoCalls []Edge, usePrecise bool) (_ *Graph, deg
 		if hasOverlongLine(src, maxLineBytes) {
 			return nil
 		}
+		// 大体量的自动生成源码(EF Core 模型快照 / ANTLR 产物等):内存元凶且几乎无导航价值,
+		// 解析前跳过(issue #140)。只跳"生成 + 够大"的:小的生成类型定义(protobuf/mock 等)
+		// 常被手写代码引用,留下才能正确跳转/查引用,且本就不撑内存。
+		if len(src) >= generatedSkipMinBytes && isGeneratedSource(src) {
+			return nil
+		}
 		rel, relErr := filepath.Rel(ix.root, path)
 		if relErr != nil {
 			rel = path