indexer-spec.md

Indexer Spec v1

Purpose

Indexer будує lightweight представлення knowledge graph на основі memory/ і допомагає retrieval, validation та cleanup.

Input

• усі memory docs у memory/

Required outputs

1. ID map

Карта:

• id -> file_path

2. Type index

Карта:

• type -> [ids]

3. Tag index

Карта:

• tag -> [ids]

4. Link graph

Потрібно вміти отримати:

• outbound links для документа
• inbound links для документа

5. Derived signals

Indexer має вміти обчислювати:

• orphan candidates
• exact duplicate IDs
• duplicate titles всередині одного type
• near-duplicates за title overlap і link overlap

Near-duplicate heuristic v1

Документи є near-duplicate candidates, якщо:

• мають однаковий type;
• titles дуже схожі;
• ділять більшість tags або links;
• не пов'язані через supersedes.

Output consumers

Indexer використовується для:

• retrieval bootstrap
• validator warnings
• consolidation candidates
• підтримки vault-index

Non-goals for v1

• semantic embeddings
• ranking by vector similarity
• автоматичне merge-рішення без участі агента