Close remaining migration-plan items, release prep 0.3.0

Implements the items left open after auditing plans/PYREGTAB_MIGRATION_PLAN.md
against the shipped state:

- AtpMatcher.match_many(pattern, syntaxes, context_items=None) (plan §4.5):
  parallel batch matching on an internal scoped-thread pool with the GIL
  released; degrades to the sequential GIL path when the pattern holds
  Python callbacks; on error no input table is modified. The single-table
  fast path is refactored into the shared match_core_no_gil helper.
- Recordset.to_csv(path=None, *, sep=",", missing="") (plan §4.1):
  RFC 4180 quoting, returns the text or writes the file.
- clippy is now blocking in CI (-D warnings); fixed the five outstanding
  lints (entry API, manual_contains, needless_range_loop, type_complexity
  alias, documented allow for large_enum_variant on CellAst).
- New manual "differential" CI job (workflow_dispatch, plan §7.3): builds
  jRegTab at the pinned v0.4.1 tag, dumps reference recordsets, compares
  cell-by-cell via tools/differential.py.
- Plan document marked up: phases checked off, new §11 records what was
  closed now and what is deliberately deferred (criterion/JMH benchmarks,
  proptest, miri, pure-Python fallback).
- Version bumped to 0.3.0 (Cargo.toml/lock, pyproject, __version__, docs);
  README/api docs describe the new APIs; suite is now 1908 tests, green.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

Author: shigarov

.github/workflows/ci.yml

@@ -5,6 +5,7 @@ on:
     branches: [main]
     tags: ["v*"]
   pull_request:
+  workflow_dispatch:
 
 jobs:
   grammar-sync:
@@ -36,11 +37,11 @@ jobs:
         with:
           python-version: "3.10"
       - uses: dtolnay/rust-toolchain@stable
-      - name: Lint (rustfmt + clippy)
+        with:
+          components: clippy
+      - name: Lint (clippy, blocking)
         if: matrix.os == 'ubuntu-latest'
-        run: |
-          rustup component add clippy
-          cargo clippy --all-targets -- -D warnings || true
+        run: cargo clippy --all-targets -- -D warnings
       - name: Build and install
         run: |
           pip install maturin pytest
@@ -49,6 +50,47 @@ jobs:
       - name: Run test suite (150 tasks + conformance + round-trip)
         run: pytest tests -q
 
+  differential:
+    # Differential test against the reference Java implementation (plan
+    # §7.3): compiles jRegTab at the pinned tag, dumps its recordsets for all
+    # task variants, and compares them cell-by-cell with pyRegTab. Manual
+    # trigger (workflow_dispatch) because it needs the JREGTAB_TOKEN secret
+    # with read access to the private regtab/jregtab repository.
+    if: github.event_name == 'workflow_dispatch'
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v4
+      - name: Check out jRegTab at the pinned release
+        uses: actions/checkout@v4
+        with:
+          repository: regtab/jregtab
+          ref: v0.4.1
+          token: ${{ secrets.JREGTAB_TOKEN }}
+          path: jregtab
+      - uses: actions/setup-java@v4
+        with:
+          distribution: temurin
+          java-version: "21"
+          cache: maven
+      - uses: actions/setup-python@v5
+        with:
+          python-version: "3.12"
+      - name: Dump reference recordsets from jRegTab
+        run: |
+          cp tools/RecordsetDumpMain.java jregtab/src/test/java/ru/icc/regtab/
+          mvn -q -f jregtab/pom.xml -DskipTests test-compile \
+            dependency:build-classpath -Dmdep.outputFile="$PWD/cp.txt"
+          java -cp "jregtab/target/test-classes:jregtab/target/classes:$(cat cp.txt)" \
+            ru.icc.regtab.RecordsetDumpMain tests/fixtures/tasks conformance/positive dump.jsonl
+      - uses: dtolnay/rust-toolchain@stable
+      - name: Build and install pyRegTab
+        run: |
+          pip install maturin
+          maturin build --release --out dist
+          pip install --no-index --find-links dist pyregtab
+      - name: Compare recordsets cell-by-cell
+        run: python tools/differential.py dump.jsonl
+
   docs:
     if: github.ref == 'refs/heads/main' && github.event_name == 'push'
     needs: test

Cargo.lock

@@ -1,6 +1,6 @@
 [package]
 name = "pyregtab"
-version = "0.2.0"
+version = "0.3.0"
 edition = "2021"
 description = "Native core of pyRegTab: RTL compiler, ATP matcher and table interpreter"
 license = "MIT"

Cargo.toml

@@ -16,10 +16,12 @@ and interprets the match into a relational **recordset**:
 TableSyntax → RtlCompiler/TablePattern → AtpMatcher → TableInterpreter → Recordset
 ```
 
-**pyRegTab 0.2.0 ≙ jRegTab 0.4.1** (same API, same semantics, same test
+**pyRegTab 0.3.0 ≙ jRegTab 0.4.1** (same API, same semantics, same test
 corpus; jRegTab 0.4.1 changes only the Java build over 0.4.0), including the
 embedded RTL DSL `pyregtab.dsl` — a port of jRegTab's `ru.icc.regtab.dsl`
-(added upstream in jRegTab 0.3.0).
+(added upstream in jRegTab 0.3.0). Python-side extras on top of the Java API:
+`AtpMatcher.match_many` (parallel batch matching), `Recordset.to_pandas()`
+and `Recordset.to_csv()`.
 
 ## Installation
 
@@ -140,7 +142,7 @@ Rust (`pyregtab._core`, built with [PyO3](https://pyo3.rs) and
 
 ## Testing
 
-`pytest tests` runs (1 904 tests):
+`pytest tests` runs (1 908 tests):
 
 - the full benchmark suite — tasks 001–150 (Foofah, RegTab, Baikal),
   every fixture variant, **both** via RTL patterns and via ATP patterns
@@ -156,7 +158,7 @@ Rust (`pyregtab._core`, built with [PyO3](https://pyo3.rs) and
 - RTL↔ATP round-trip for tasks 001–050;
 - API unit tests (syntax layer, extractors, EXT bindings, custom
   predicates, transformations, interpreter options, GIL-released batch
-  matching from a thread pool).
+  matching from a thread pool and via `AtpMatcher.match_many`).
 
 `cargo test` additionally runs the conformance corpus and an end-to-end
 smoke test against the native core alone. Differential testing against the

README.md

@@ -12,6 +12,7 @@ core `pyregtab._core` (Rust). Full signatures are in the bundled type stubs
 |---|---|
 | `RtlCompiler.compile(rtl, bindings=None)` / `pyregtab.compile(...)` | RTL string → `TablePattern`; raises `RtlCompileError` with source position |
 | `AtpMatcher.match(pattern, syntax, context_items=None)` | `TablePattern` × `TableSyntax` → `InterpretableTable \| None` |
+| `AtpMatcher.match_many(pattern, syntaxes, context_items=None)` | batch form of `match`: `list[InterpretableTable \| None]` in input order, matched in parallel on an internal thread pool (GIL released) |
 | `TableInterpreter().interpret(itm)` | `InterpretableTable` → `Recordset` |
 | `AtpToRtlSerializer.serialize(pattern)` | `TablePattern` → canonical RTL string |
 | `TablePattern.transform(rs)` | applies the pattern's recordset transformations |
@@ -31,7 +32,10 @@ rs = (
 
 When the pattern contains no Python callbacks (no `EXT`/custom predicates),
 `AtpMatcher.match` and `TableInterpreter.interpret` release the GIL — batch
-processing parallelizes with a plain `ThreadPoolExecutor`.
+processing parallelizes with a plain `ThreadPoolExecutor`, or use
+`AtpMatcher.match_many`, which fans the tables out over an internal thread
+pool itself. With Python callbacks present, `match_many` degrades to matching
+sequentially under the GIL, like `match`.
 
 ## ITM: syntactic layer
 
@@ -50,7 +54,7 @@ processing parallelizes with a plain `ThreadPoolExecutor`.
 | `TableSemantics` | `cell_derived_items()`, `context_derived_items()` |
 | `CellDerivedItem` | `.str`, `.tags`, `.index`, `.cell`; passed to filter callbacks |
 | `ContextDerivedItem(s, ItemType, const_value=None)` | external context items for `AtpMatcher.match` |
-| `Recordset` | `.schema`, `.records`, `len(rs)`, `rs[i]`, `to_pandas()` |
+| `Recordset` | `.schema`, `.records`, `len(rs)`, `rs[i]`, `to_pandas()`, `to_csv(path=None, sep=",", missing="")` (RFC 4180; returns the CSV text when `path` is None) |
 | `Record` | `rec[attr]`, `rec[i]`, `.get(...)`, `.values()`; missing value → `None` |
 | `Schema` | `.attributes`, `index_of`, `contains` |
 

docs/api.md

@@ -109,4 +109,4 @@ Requires **Python 3.10+**; binary wheels for Windows, Linux, and macOS.
 ---
 
 !!! note "Status"
-    Current release: **0.2.0** (feature parity with jRegTab 0.4.1) · License: **MIT** · [PyPI](https://pypi.org/project/pyregtab/) · [GitHub](https://github.com/regtab/pyregtab)
+    Current release: **0.3.0** (feature parity with jRegTab 0.4.1) · License: **MIT** · [PyPI](https://pypi.org/project/pyregtab/) · [GitHub](https://github.com/regtab/pyregtab)

docs/index.md

@@ -1,6 +1,7 @@
 # План миграции jRegTab → pyRegTab
 
-**Статус:** ЧЕРНОВИК v2 (ANTLR4-требование ослаблено; ядро — Rust, альтернатива — C++)
+**Статус:** РЕАЛИЗОВАН (вариант A — Rust; сверка выполнена 2026-07-10, итог и
+осознанно отложенные пункты — в §11)
 **Дата:** 2026-07-06 (v2 — того же дня; v1 с обязательным ANTLR4 заменена целиком)
 **Исходный проект:** `d:\YandexDisk\code2\jregtab` (Java 21, v0.1.2-SNAPSHOT)
 **Целевой проект:** pyRegTab — Python-пакет с нативным ядром, публикуемый на PyPI
@@ -379,57 +380,60 @@ conformance-корпус зелёный в обоих проектах**.
 Оценки — в неделях чистой работы одного разработчика; фазы 2–5 частично параллелизуемы.
 
 ### Фаза 0 — Решения и прототип (1 нед.)
-- [ ] Аудит регулярок во всех фикстурах/тестах → выбор `regex` vs `fancy-regex`.
-- [ ] Прототип парсера: лексер (logos) + рекурсивный спуск для 2–3 правил `RTL.g4`,
+- [x] Аудит регулярок во всех фикстурах/тестах → выбор `regex` vs `fancy-regex`.
+- [x] Прототип парсера: лексер (logos) + рекурсивный спуск для 2–3 правил `RTL.g4`,
       разбор 5–10 реальных RTL-строк.
-- [ ] Прототип wheel: maturin + PyO3, пустой `_core` с одним классом, сборка
+- [x] Прототип wheel: maturin + PyO3, пустой `_core` с одним классом, сборка
       wheels на Windows и Linux (GitHub Actions, maturin-action).
-- [ ] Утвердить стиль API (properties vs `set_*`; §4.6) и имя пакета на PyPI.
-- [ ] **Точка выхода**: при блокере — переключение на C++ (вариант B), §3.B.
+- [x] Утвердить стиль API (properties vs `set_*`; §4.6) и имя пакета на PyPI.
+- [x] **Точка выхода**: при блокере — переключение на C++ (вариант B), §3.B.
 - Результат: утверждённые решения, репозиторий-скелет `pyregtab`.
 
 ### Фаза 1 — ITM syntax + Recordset (1–1.5 нед.)
-- [ ] Порт `itm.syntax` (11 классов) на Rust: арена + индексы (§4.2).
-- [ ] Порт `recordset` (3 класса).
-- [ ] PyO3-биндинги (handle-объекты) + Python-обёртки `syntax.py`, `recordset.py`.
-- [ ] Юнит-тесты (создание таблиц, subtables/subrows, форматирование ячеек).
+- [x] Порт `itm.syntax` (11 классов) на Rust: арена + индексы (§4.2).
+- [x] Порт `recordset` (3 класса).
+- [x] PyO3-биндинги (handle-объекты) + Python-обёртки `syntax.py`, `recordset.py`.
+- [x] Юнит-тесты (создание таблиц, subtables/subrows, форматирование ячеек).
 
 ### Фаза 2 — ATP spec (1–1.5 нед.)
-- [ ] Порт `atp.spec` (18 классов) на Rust-enum'ы/структуры: паттерны, content specs,
+- [x] Порт `atp.spec` (18 классов) на Rust-enum'ы/структуры: паттерны, content specs,
       `ActionSpec`, `ProviderSpec`, `FilterTerm`, `Quantifier`, `StringExtractor`, предикаты.
-- [ ] Custom-предикаты с Python-callable (§4.4).
-- [ ] Python-фабрики, повторяющие Java-фабрики; docstrings из Javadoc.
+- [x] Custom-предикаты с Python-callable (§4.4).
+- [x] Python-фабрики, повторяющие Java-фабрики; docstrings из Javadoc.
 
 ### Фаза 3 — Matcher + ITM semantics (2 нед., самая сложная)
-- [ ] Порт `itm.semantics` (items, providers, operations, `WorkingState`).
-- [ ] Порт `atp.match` (`SyntaxMatcher`, `SemanticConstructor`, `AtpMatcher`).
-- [ ] Первые сквозные тесты: задачи 001–020 через ATP-паттерны (без RTL).
+- [x] Порт `itm.semantics` (items, providers, operations, `WorkingState`).
+- [x] Порт `atp.match` (`SyntaxMatcher`, `SemanticConstructor`, `AtpMatcher`).
+- [x] Первые сквозные тесты: задачи 001–020 через ATP-паттерны (без RTL).
 
 ### Фаза 4 — Interpreter (1 нед.)
-- [ ] Порт `interpret` (4 фазы, стратегии, `MissingValueHandler`, трансформации
+- [x] Порт `interpret` (4 фазы, стратегии, `MissingValueHandler`, трансформации
       `WhitespaceNormalization` / `FieldSplitting` / `SchemaReordering` / `AnchorAttributeAtPosition`).
-- [ ] Сквозные ATP-тесты для всех 150 задач зелёные.
+- [x] Сквозные ATP-тесты для всех 150 задач зелёные.
 
 ### Фаза 5 — RTL: парсер, построитель ATP, сериализатор (1.5–2 нед.)
-- [ ] Полный лексер + рекурсивный спуск по всем правилам `RTL.g4` (§5.1).
-- [ ] Порт логики `ATPBuilder`, `ProviderTemplateResolver`, `StringExtractorFactory`;
+- [x] Полный лексер + рекурсивный спуск по всем правилам `RTL.g4` (§5.1).
+- [x] Порт логики `ATPBuilder`, `ProviderTemplateResolver`, `StringExtractorFactory`;
       `RtlCompiler` / `RtlCompileError` с диагностикой line:col.
-- [ ] Порт `AtpToRtlSerializer`; round-trip тест.
-- [ ] Сборка conformance-корпуса (позитив из тестов jregtab, негатив — по веткам
+- [x] Порт `AtpToRtlSerializer`; round-trip тест.
+- [x] Сборка conformance-корпуса (позитив из тестов jregtab, негатив — по веткам
       ошибок парсера); job для jregtab-CI.
-- [ ] RTL-тесты для всех 150 задач зелёные (итого 1 500 вариантов).
+- [x] RTL-тесты для всех 150 задач зелёные (итого 1 500 вариантов).
 
 ### Фаза 6 — Дифференциальная проверка и полировка API (1 нед.)
-- [ ] Дифф-прогон против jRegTab (§7.3), устранение расхождений.
-- [ ] GIL-release (`allow_threads`), `match_many`-бенчмарк, сравнение скорости
-      с jRegTab (criterion ↔ JMH).
-- [ ] `to_pandas()`, `__repr__`, типизация (`py.typed`, stubs для `_core`).
+- [x] Дифф-прогон против jRegTab (§7.3), устранение расхождений
+      (750/750 вариантов идентичны; ручной CI-job `differential` добавлен).
+- [x] GIL-release (`allow_threads`) и `AtpMatcher.match_many` (внутренний пул
+      потоков, реализован в 0.3.0). *Не сделано:* бенчмарк-сравнение скорости
+      с jRegTab (criterion ↔ JMH) — см. §11.
+- [x] `to_pandas()`, `to_csv()`, `__repr__`, типизация (`py.typed`, stubs для `_core`).
 
 ### Фаза 7 — CI/CD, документация, релиз (1 нед.)
-- [ ] maturin-action матрица wheels, публикация на TestPyPI → PyPI (`pyregtab 0.1.0`).
-- [ ] mkdocs-сайт (адаптация docs jregtab: getting-started, RTL reference — общий,
+- [x] maturin-action матрица wheels, публикация на PyPI (`pyregtab 0.1.0`,
+      2026-07-07; сразу через trusted publishing, без промежуточного TestPyPI).
+- [x] mkdocs-сайт (адаптация docs jregtab: getting-started, RTL reference — общий,
       API reference — Python).
-- [ ] README с примером из §4.6; документ о процессе эволюции RTL (§5.2) — в оба репо.
+- [x] README с примером из §4.6; документ о процессе эволюции RTL (§5.2) — в оба репо.
 
 **Итого: ~8.5–10 недель.**
 
@@ -460,3 +464,32 @@ conformance-корпус зелёный в обоих проектах**.
    в 0.1 (`Bindings`, `RtlCompiler.compile(rtl, bindings)`). Отложено на будущее:
    перегрузка операторов Python (`+`/`*` квантификаторы) и корпусный
    DSL-генератор в `tools/translate_atp.py --dsl`.
+
+---
+
+## 11. Статус реализации (сверка 2026-07-10)
+
+План реализован: вариант A (Rust + PyO3 + maturin), релизы `pyregtab` 0.1.0 →
+0.1.1 → 0.2.0 на PyPI, паритет с jRegTab 0.4.1. Критерий готовности §7 выполнен:
+1 500/1 500 вариантов зелёные, дифф с jRegTab пуст (750/750), conformance-корпус
+зелёный в CI обоих проектов. Все открытые вопросы §10 решены (Rust; `cell.text`
+property + `set_text()`; имя `pyregtab`; корпус копиями с пином; Python ≥ 3.10;
+pure-Python-фолбэк не делается — достаточно sdist).
+
+Сверх плана: embedded RTL DSL (`pyregtab.dsl`, 0.2.0) и IDE-поддержка RTL
+(`ide/`, зеркало jRegTab 0.4.0).
+
+Закрыто при сверке (0.3.0): `AtpMatcher.match_many` (§4.5) — параллельный
+батчевый матчинг с внутренним пулом потоков без GIL; `Recordset.to_csv()`
+(§4.1); clippy в CI стал блокирующим (§7.7); ручной CI-job `differential`
+(workflow_dispatch, §7.3).
+
+Осознанно отложено (не блокирует паритет и релизы):
+
+- бенчмарки скорости против jRegTab (criterion ↔ JMH, фаза 6) — отдельный
+  перфоманс-проект;
+- property-based тесты парсера (proptest, §7.6) и выборочный `cargo miri`
+  (§7.7) — покрытие обеспечивают conformance-корпус и 1 500 вариантов;
+- pure-Python fallback (§10.6) — отклонён;
+- рукописный лексер вместо `logos` и единый `__init__.py`-реэкспорт вместо
+  расписанных в §4.1 модулей Python-слоя — эквивалентные упрощения, не долг.

plans/PYREGTAB_MIGRATION_PLAN.md

@@ -4,7 +4,7 @@ build-backend = "maturin"
 
 [project]
 name = "pyregtab"
-version = "0.2.0"
+version = "0.3.0"
 description = "pyRegTab: pattern-based extraction of recordsets from tables (RTL / ATP / ITM)"
 readme = "README.md"
 license = { text = "MIT" }

pyproject.toml

@@ -73,7 +73,7 @@
 
 from pyregtab import dsl
 
-__version__ = "0.2.0"
+__version__ = "0.3.0"
 
 __all__ = [
     "TableSyntax", "Cell", "Row", "Subrow", "Subtable", "GridPosition",

python/pyregtab/__init__.py

@@ -1,5 +1,6 @@
 """Type stubs for the native core `pyregtab._core`."""
 
+import os
 from enum import Enum
 from typing import Any, Callable, Iterable, Mapping, Optional, Sequence, Union
 
@@ -204,6 +205,13 @@ class Recordset:
     def get(self, index: int) -> Record: ...
     def __getitem__(self, index: int) -> Record: ...
     def to_pandas(self) -> Any: ...
+    def to_csv(
+        self,
+        path: Optional[Union[str, os.PathLike[str]]] = None,
+        *,
+        sep: str = ",",
+        missing: str = "",
+    ) -> Optional[str]: ...
 
 # ---------------------------------------------------------------- spec
 
@@ -658,6 +666,12 @@ class AtpMatcher:
         syntax: TableSyntax,
         context_items: Optional[Sequence[ContextDerivedItem]] = None,
     ) -> Optional[InterpretableTable]: ...
+    @staticmethod
+    def match_many(
+        atp: TablePattern,
+        syntaxes: Sequence[TableSyntax],
+        context_items: Optional[Sequence[ContextDerivedItem]] = None,
+    ) -> list[Optional[InterpretableTable]]: ...
 
 class TableInterpreter:
     def __init__(self) -> None: ...