RAG: источники для русского ассистента-бухгалтера (УСН 6% / 15% — юрлица)

[ShaerWare]

Контекст

Нужны новые коллекции для RAG/Vector Search, аналогично DigiTax (Ireland), но для юрлиц на УСН (6% доходы / 15% доходы минус расходы). Будет отдельный ассистент-бухгалтер на русском.

Существующая инфраструктура reusable:

• scrape/parse/upload pipeline в scripts/scrape_digitax/ (рефактор под RU-сайты)
• parse.py content-hash dedup (#729)
• wiki-pages// + автосинк в VS (через slug — #727)
• диагностика качества: scripts/rag_quality_diagnostic.py (адаптировать под RU-запросы)

---

Источники по слотам

🥇 Gold — первоисточники

Источник	URL	Покрытие	Scrape
ФНС — УСН для юрлиц	nalog.gov.ru/rn77/taxation/taxes/usn/	Ставки, региональные, декларация, КУДиР, лимиты	HTML, без JS
Консультант — НК РФ гл. 26.2	consultant.ru/document/cons_doc_LAW_28165/	Закон + структура статей	HTML, открыто
Гарант — НК РФ	base.garant.ru/10900200/	Дубль НК РФ, иногда свежее	HTML
Минфин — письма по УСН	minfin.gov.ru/ru/document/ (фильтр)	Официальные разъяснения	HTML, нужен throttle

🥈 Solid — практические гайды

Источник	URL	Почему полезен	Scrape
Контур.Эльба справочник	e-kontur.ru/enquiry/, kontur.ru/articles	Пошаговые гайды: доходы на УСН, расходы 15%, мин. налог, авансы	HTML
Главкнига	glavkniga.ru/situations/, /consult/	Разборы ситуаций + писем Минфина/ФНС	HTML, частично login-wall
Клерк	klerk.ru/buh/articles/	Статьи, разборы изменений 2025-2026	HTML
Моё Дело — блог	moedelo.org/club/	УСН 6% vs 15% для ООО, принимаемые расходы	HTML
nalog-nalog.ru	nalog-nalog.ru/usn/	Статьи с примерами расчётов	HTML
buh.ru	buh.ru/articles/	Новости и комментарии по изменениям	HTML

🥉 Forum — Q&A (noisy)

Источник	URL	Scrape
BuhOnline форум	buhonline.ru/forum/ (УСН, ООО)	JS-тяжёлый; дубликаты тем → нужен дедуп
Клерк форум	klerk.ru/forum/	Дубликаты постов (thread+permalink — фикс #729 применим)
Pravoved	pravoved.ru/questions/ (тэг «УСН»)	HTML

📋 Кроме сайтов — отдельный контент

• Закон № 402-ФЗ (бухучёт) — через consultant/garant
• ПБУ 1/2008 «Учётная политика» — нужна ООО даже на УСН
• Приказ Минфина № 135н — КУДиР (форма + порядок)
• Региональные законы о пониженных ставках УСН — base.garant.ru по регионам

---

Query baseline (под РФ/юрлиц/УСН)

Для rag_quality_diagnostic.py — первый драфт 15 запросов:

1. Лимит доходов для УСН в 2026 году для ООО
2. Пониженные региональные ставки УСН
3. Переход с УСН на ОСНО при превышении лимита
4. Закрытый перечень расходов на УСН 15%
5. Минимальный налог 1% на УСН 15% — когда платить
6. Авансовые платежи по УСН — сроки и расчёт
7. Декларация по УСН для ООО — сроки сдачи
8. КУДиР — обязательна ли на УСН 6%
9. Страховые взносы — вычет из налога на УСН 6%
10. НДС на УСН с 2025 года при доходе > 60 млн
11. НДФЛ как налоговый агент на УСН
12. Дивиденды учредителю ООО на УСН — налог на прибыль?
13. Учётная политика для ООО на УСН — что включить
14. Бухучёт ООО на УСН — упрощённый или полный
15. Совмещение УСН с патентом — можно ли ООО

---

План работ

1. MVP — 3 коллекции:
   • ru-fns-usn (ФНС — страница УСН)
   • ru-nk-rf-glava-26-2 (consultant/garant — гл. 26.2 НК)
   • ru-kontur-elba-usn (справочник Эльбы)
2. Адаптировать scripts/scrape_digitax/ под RU (config + site-specific селекторы)
3. Прогнать pipeline: scrape → parse (с dedup fix(scraper): drop byte-identical pages via content-hash in parse.py #729) → upload в wiki-pages → sync VS
4. Адаптировать rag_quality_diagnostic.py под 15 RU-запросов выше
5. Замер baseline качества, отчёт в docs/rag-quality-ru-usn-baseline-YYYY-MM-DD.md
6. Расширение: ru-minfin-pisma-usn, ru-glavkniga-usn, ru-klerk-usn
7. Форумы — отдельной итерацией после MVP (дедуп обязателен)

Риски

• consultant.ru / garant.ru: открыт только базовый текст НК, полные письма — за paywall. Нужен план: либо только открытое, либо лицензия
• Минфин: медленный сервер — нужен throttle + кэш raw HTML
• Региональные ставки — 89 регионов × закон, большой объём, не всегда в машиночитаемом виде
• НДС на УСН 2025: свежее изменение, часть гайдов устарели → предпочитать материалы после 2024-12

Definition of Done

• MVP (3 коллекции) в проде, VS группы заполнены
• rag_quality_diagnostic.py показывает avg top-1 ≥ 0.65 на ru-fns-usn и ru-nk-rf-glava-26-2
• Базовые 15 запросов возвращают релевантные чанки через retrieve_multi_async
• docs/ обновлён с baseline
• Расширение до 6 коллекций и форумы в follow-up ticket

[ShaerWare]

Pre-flight check:

• ✅ nalog.gov.ru — robots.txt дружелюбный, USN-раздел открыт
• ✅ consultant.ru — открытый user-agent *, публичная часть НК не в disallow
• ❌ e-kontur.ru / kontur.ru — 403 cloud-wall по IP/country
• ✅ moedelo.org/club — 200, robots.txt открыт
• ✅ glavkniga.ru — 200, открыт
• ✅ klerk.ru/buh/articles — 200
• ✅ nalog-nalog.ru — 200

Корректировка MVP: ru-kontur-elba-usn → ru-moedelo-usn (равноценный solid-слот). Остальные 2 источника без изменений.

[ShaerWare]

MVP (шаг 1 из плана) отгружен в #732 и задеплоен на прод.

Собрано:

• коллекция 18 ru-fns-usn — 271 md / 1135 секций
• коллекция 19 ru-nk-rf-glava-26-2 — 61 md
• коллекция 20 ru-moedelo-usn — 334 md / 3002 секции

Попутно вылезло и пофиксено:

• _normalize_url терял trailing slash → nalog.gov.ru 404 на seed'ах
• filter_icaew не учитывал регистр в stay_under → consultant.ru давал только seed
• _split_md_by_headers возвращал [] на flat markdown (H1 + параграфы) → НК РФ индексировался как 0 секций. Добавлен fallback.

Замена Контур.Эльбы на МоеДело — потому что e-kontur.ru/kontur.ru отдают 403 на IP/country.

Следующие шаги (не в этом PR):

• Baseline 15 RU-USN запросов против коллекций 18/19/20 → docs/rag-quality-ru-usn-baseline-YYYY-MM-DD.md
• Expansion: ru-minfin-pisma-usn, ru-glavkniga-usn, ru-klerk-usn