add playwright support (#19)

* add playwright support

Co-authored-by: denis-vlasov <denis-vlasov@yandex-team.ru>

Author: wd055

README.md

@@ -159,7 +159,32 @@ trees:
 
 ## Автоматическое определение признака automationState
 
-Вместе с информацией о функциональных требованиях можно выгружать информацию о том, что их проверка автоматизирована. Для некоторых видов автотестов реализовано автоматическое вычисление признака `automationState`. На текущий момент поддерживаются `jest` и `storybook`.
+Вместе с информацией о функциональных требованиях можно выгружать информацию о том, что их проверка автоматизирована. Для некоторых видов автотестов реализовано автоматическое вычисление признака `automationState` на основе json отчета, полученного из инструмента тестирования. На текущий момент поддерживаются `storybook`, `jest`, `testplane` и `playwright`. Для каждого автоматизированного теста и теста из YML конфига формируется идентификатор для их сопастовления.
+
+#### Идентификаторы тестов
+
+Для каждого ФТ, описанного в yml файлах проекта, будет сформирован уникальный идентификатор на основе поля `"keys"`. Если в отчете есть тест, полное имя которого совпадает с идентификатором ФТ, то считается, что проверка этого ФТ — автоматизирована.
+
+Например, если в проекте есть yml файл с содержимым, [указанным выше](#формат-yml) и поле `"keys"` в разделе `"storybook"`, `"jest"`, `"testplane"` или `"playwright"` конфигурационного файла имеет значение `["featureTitle", "groupTitle", "assertionTitle"]`, то указанная ниже история будет сопоставлена с ФТ `"Отображается количество и общая стоимость товаров в корзине"`:
+
+```js
+describe('Главная страница', () => {
+    describe('Блок корзины', () => {
+        it('Отображается количество и общая стоимость товаров в корзине', async ({ browser }) => {
+            // ...
+        });
+    });
+});
+```
+В качестве частей идентификатора допустимо указывать следующие значения:
+- `"featureTitle"` — название фичи
+- `"featureCode"` — уникальный код фичи
+- `"groupTitle"` — название группы ФТ
+- `"assertionTitle"` — название ФТ
+- `"filePath"` — путь к yml файлу, относительно корня проекта
+- `"fileName"` — название yml файла без расширения (от начала до первого символа `.`)
+- `@<attribute>` — значение указанного атрибута (идентификатор значения)
+- `$<attribute>` — значение указанного атрибута (человеко-понятное название)
 
 ### Jest
 
@@ -183,30 +208,41 @@ jest --json --outputFile=jest-report.json
     }
 ```
 
-Для каждого ФТ, описанного в yml файлах проекта, будет сформирован уникальный идентификатор на основе поля `"keys"`. Если в отчете jest есть тест, полное имя которого совпадает с идентификатором ФТ, то считается, что проверка этого ФТ — автоматизирована.
+### Testplane
 
-Например, если в проекте есть yml файл с содержимым, [указанным выше](#формат-yml) и поле `"keys"` в разделе `"jest"` конфигурационного файла имеет значение `["featureTitle", "groupTitle", "assertionTitle"]`, то указанный ниже тест будет сопоставлен с ФТ `"Отображается количество и общая стоимость товаров в корзине"`:
+Отчет о выполнении тестов можно сформировать, запустив testplane с плагином [json-reporter](https://www.npmjs.com/package/json-reporter)
+
+Чтобы добавить в выгрузку ФТ информацию из отчета testplane, добавьте в корень [конфигурационного файла](#формат-конфига) секцию `"testplane"`:
 
 ```js
-describe('Главная страница', () => {
-    describe('Блок корзины', () => {
-        test('Отображается количество и общая стоимость товаров в корзине', () => {
-            // ...
-        });
-    });
-});
+{
+    // ...
+    "testplane": {
+        // путь к файлу с отчетом о выполнении тестов
+        "reportPath": "testplane-report.json",
+
+        // сегменты идентификатора для сопоставления автотестов с ФТ
+        "keys": ["featureTitle", "groupTitle", "assertionTitle"]
+    }
 ```
 
-В качестве частей идентификатора допустимо указывать следующие значения:
+### Playwright
 
-- `"featureTitle"` — название фичи
-- `"featureCode"` — уникальный код фичи
-- `"groupTitle"` — название группы ФТ
-- `"assertionTitle"` — название ФТ
-- `"filePath"` — путь к yml файлу, относительно корня проекта
-- `"fileName"` — название yml файла без расширения (от начала до первого символа `.`)
-- `@<attribute>` — значение указанного атрибута (идентификатор значения)
-- `$<attribute>` — значение указанного атрибута (человеко-понятное название)
+Отчет о выполнении тестов можно сформировать, запустив playwright с [json отчетом](https://playwright.dev/docs/test-reporters#json-reporter)
+
+Чтобы добавить в выгрузку ФТ информацию из отчета playwright, добавьте в корень [конфигурационного файла](#формат-конфига) секцию `"playwright"`:
+
+```js
+{
+    // ...
+    "playwright": {
+        // путь к файлу с отчетом о выполнении тестов
+        "reportPath": "playwright-report.json",
+
+        // сегменты идентификатора для сопоставления автотестов с ФТ
+        "keys": ["featureTitle", "groupTitle", "assertionTitle"]
+    }
+```
 
 ### Storybook
 
@@ -226,10 +262,6 @@ describe('Главная страница', () => {
     }
 ```
 
-Поле `"keys"` работает таким же образом, как и для [конфигурации jest](#jest). Если в `index.json` есть стори, путь до которой в дереве сторей совпадает с идентификатором ФТ, то считается, что проверка этого ФТ — автоматизирована.
-
-Например, если в проекте есть yml файл с содержимым, [указанным выше](#формат-yml) и поле `"keys"` в разделе `"storybook"` конфигурационного файла имеет значение `["featureTitle", "groupTitle", "assertionTitle"]`, то указанная ниже история будет сопоставлена с ФТ `"Отображается количество и общая стоимость товаров в корзине"`:
-
 ```js
 import type { Meta, StoryObj } from '@storybook/react';
 import { Cart } from './Cart';
@@ -247,49 +279,6 @@ export const Default: StoryObj<typeof Cart> = {
 
 Если вы укажете в настройках поле `publicUrl`, то для каждого ФТ, для которого в сторибуке написана история, будет прикреплена ссылка на эту историю.
 
-### Testplane
-
-Отчет о выполнении тестов можно сформировать, запустив testplane с плагином [json-reporter](https://www.npmjs.com/package/json-reporter)
-
-Чтобы добавить в выгрузку ФТ информацию из отчета testplane, добавьте в корень [конфигурационного файла](#формат-конфига) секцию `"testplane"`:
-
-```js
-{
-    // ...
-    "testplane": {
-        // путь к файлу с отчетом о выполнении тестов
-        "reportPath": "testplane-report.json",
-
-        // сегменты идентификатора для сопоставления автотестов с ФТ
-        "keys": ["featureTitle", "groupTitle", "assertionTitle"]
-    }
-```
-
-Для каждого ФТ, описанного в yml файлах проекта, будет сформирован уникальный идентификатор на основе поля `"keys"`. Если в отчете testplane есть тест, полное имя которого совпадает с идентификатором ФТ, то считается, что проверка этого ФТ — автоматизирована.
-
-Например, если в проекте есть yml файл с содержимым, [указанным выше](#формат-yml) и поле `"keys"` в разделе `"testplane"` конфигурационного файла имеет значение `["featureTitle", "groupTitle", "assertionTitle"]`, то указанный ниже тест будет сопоставлен с ФТ `"Отображается количество и общая стоимость товаров в корзине"`:
-
-```js
-describe('Главная страница', () => {
-    describe('Блок корзины', () => {
-        it('Отображается количество и общая стоимость товаров в корзине', async ({ browser }) => {
-            // ...
-        });
-    });
-});
-```
-
-В качестве частей идентификатора допустимо указывать следующие значения:
-
-- `"featureTitle"` — название фичи
-- `"featureCode"` — уникальный код фичи
-- `"groupTitle"` — название группы ФТ
-- `"assertionTitle"` — название ФТ
-- `"filePath"` — путь к yml файлу, относительно корня проекта
-- `"fileName"` — название yml файла без расширения (от начала до первого символа `.`)
-- `@<attribute>` — значение указанного атрибута (идентификатор значения)
-- `$<attribute>` — значение указанного атрибута (человеко-понятное название)
-
 ## Формат конфига
 
 Ниже указаны все возможные параметры конфигурационного файла:
@@ -351,5 +340,15 @@ describe('Главная страница', () => {
             "assertionTitle"
         ]
     }
+    // настройки для сопоставления ФТ с отчетами playwright
+    "playwright": {
+        "reportPath": "playwright-report.json", // путь к файлу с отчетом о выполнении тестов
+        "keys": [ // сегменты идентификатора для сопоставления автотестов с ФТ
+            "$component"
+            "featureTitle",
+            "groupTitle",
+            "assertionTitle"
+        ]
+    }
 }
 ```

src/commands/sync.ts

@@ -10,6 +10,7 @@ import { CommonOptions } from '../lib/utils';
 import { Validator } from '../lib/validators';
 import { loadStorybookIndex, applyStorybookIndex } from '../lib/storybook';
 import { applyTestplaneReport, loadTestplaneReport } from '../lib/testplane';
+import { applyPlaywrightReport, loadPlaywrightReport } from '../lib/playwright';
 
 export interface SyncOptions extends CommonOptions {
   message?: string;
@@ -19,7 +20,16 @@ export const cmdSync: CommandModule<{}, SyncOptions> = {
   command: 'sync',
   handler: async (args) => {
     console.log('SYNC');
-    const { yml, api, jest, storybook, testplane, validation = {}, projectPath } = await loadConfig(args.config);
+    const {
+      yml,
+      api,
+      jest,
+      storybook,
+      testplane,
+      playwright,
+      validation = {},
+      projectPath,
+    } = await loadConfig(args.config);
     const validationContext = new Validator(validation);
 
     const meta = await loadMeta(validationContext, yml.metaPath, projectPath);
@@ -50,6 +60,12 @@ export const cmdSync: CommandModule<{}, SyncOptions> = {
       applyTestplaneReport(validationContext, projectData, testplaneReport, testplane.keys);
     }
 
+    if (playwright) {
+      const playwrightReport = await loadPlaywrightReport(playwright.reportPath, projectPath);
+
+      applyPlaywrightReport(validationContext, projectData, playwrightReport, playwright.keys);
+    }
+
     validationContext.printReport();
     if (validationContext.hasCriticalErrors) {
       throw Error('Выгрузка невозможна из-за наличия критических ошибок');

src/commands/validate-only.ts

@@ -9,13 +9,14 @@ import { CommonOptions } from '../lib/utils';
 import { Validator } from '../lib/validators';
 import { applyStorybookIndex, loadStorybookIndex } from '../lib/storybook';
 import { applyTestplaneReport, loadTestplaneReport } from '../lib/testplane';
+import { applyPlaywrightReport, loadPlaywrightReport } from '../lib/playwright';
 
 export const cmdValidateOnly: CommandModule<{}, CommonOptions> = {
   command: 'validate',
   handler: async (args) => {
     console.log('VALIDATION');
 
-    const { yml, jest, storybook, testplane, validation = {}, projectPath } = await loadConfig(args.config);
+    const { yml, jest, storybook, testplane, playwright, validation = {}, projectPath } = await loadConfig(args.config);
     const validationContext = new Validator(validation);
     const meta = await loadMeta(validationContext, yml.metaPath, projectPath);
 
@@ -47,6 +48,12 @@ export const cmdValidateOnly: CommandModule<{}, CommonOptions> = {
       applyTestplaneReport(validationContext, projectData, testplaneReport, testplane.keys);
     }
 
+    if (playwright) {
+      const playwrightReport = await loadPlaywrightReport(playwright.reportPath, projectPath);
+
+      applyPlaywrightReport(validationContext, projectData, playwrightReport, playwright.keys);
+    }
+
     validationContext.printReport();
     if (validationContext.hasCriticalErrors) {
       throw Error('При валидации были обнаружены критические ошибки');

src/lib/config/models.ts

@@ -92,6 +92,11 @@ export const testplaneConfigDecoder = d.struct({
   keys: d.array(d.union(literalKeyPartDecoder, attributeKeyPartDecoder)),
 });
 
+export const playwrightConfigDecoder = d.struct({
+  reportPath: d.string,
+  keys: d.array(d.union(literalKeyPartDecoder, attributeKeyPartDecoder)),
+});
+
 export const configDecoder = d.intersect(
   d.struct({
     api: apiConfigDecoder,
@@ -104,6 +109,7 @@ export const configDecoder = d.intersect(
     jest: jestConfigDecoder,
     storybook: storybookConfigDecoder,
     testplane: testplaneConfigDecoder,
+    playwright: playwrightConfigDecoder,
   }),
 );
 
@@ -113,6 +119,7 @@ export type YmlConfig = d.TypeOf<typeof ymlConfigDecoder>;
 export type JestConfig = d.TypeOf<typeof jestConfigDecoder>;
 export type StorybookConfig = d.TypeOf<typeof storybookConfigDecoder>;
 export type TestplaneConfig = d.TypeOf<typeof testplaneConfigDecoder>;
+export type PlaywrightConfig = d.TypeOf<typeof playwrightConfigDecoder>;
 export type ValidationConfig = d.TypeOf<typeof validationConfigDecoder>;
 export type ValidationSeverity = d.TypeOf<typeof validationSeverityDecoder>;
 

src/lib/playwright/index.ts

@@ -0,0 +1,87 @@
+import { ProjectData, getAssertionContext, getAttributesContext, getKey } from '../domain';
+import { AutomationState } from '../domain/models';
+import { parseObject, readTextFile } from '../utils';
+import { Validator } from '../validators';
+import { PlaywrightReport, playwrightReportDecoder } from './models';
+
+export const getFullName = (...parts: string[]) => parts.join(' / ');
+
+export const applyPlaywrightReport = (
+  validationContext: Validator,
+  { features, attributes }: ProjectData,
+  report: PlaywrightReport,
+  keyParts: string[],
+) => {
+  const names = new Map<string, string[]>();
+
+  const state = new Map<string, AutomationState>();
+
+  const calcReverse = (prevSuites: PlaywrightReport['suites'], paths: string[]) => {
+    for (let { file: path, suites, specs, title } of prevSuites) {
+      if (suites) {
+        calcReverse(suites, [...paths, title]);
+      }
+
+      if (!specs.length) {
+        continue;
+      }
+
+      // На первом уровне playwrite-report в title название файла,
+      // которого не должно быть в названии теста.
+      // Поэтому име генерируем со второго элемента
+      const parts = paths.concat(title).slice(1);
+      for (let { tests, title: testTitle } of specs) {
+        const name = getFullName(...parts, testTitle);
+
+        // Добавление в мапу для ошибки тестов без описания
+        const pathes = names.get(name) || [];
+        pathes.push(path);
+        names.set(name, pathes);
+
+        const automated = tests.find(({ expectedStatus }) => expectedStatus == 'passed');
+
+        if (automated) {
+          state.set(name, 'Automated');
+        } else {
+          state.set(name, 'Problem');
+        }
+      }
+    }
+  };
+
+  calcReverse(report.suites, []);
+
+  const attributesCtx = getAttributesContext(attributes);
+
+  // заполняем поле isAutomated
+  for (let feature of features) {
+    for (let group of feature.groups || []) {
+      for (let assertion of group.assertions || []) {
+        const assertionCtx = getAssertionContext(feature, group, assertion);
+
+        const parts = getKey(keyParts, assertionCtx, attributesCtx);
+        const fullName = getFullName(...parts);
+
+        const automationState = state.get(fullName);
+        if (automationState) {
+          assertion.automationState = automationState;
+        }
+
+        names.delete(fullName);
+      }
+    }
+  }
+  Array.from(names.keys()).forEach((name) => {
+    const pathes = names.get(name);
+    pathes?.forEach((path) => validationContext.registerPlaywrightUnusedTests(name, path));
+  });
+};
+
+export const loadPlaywrightReport = async (path: string, basePath?: string) => {
+  const json = await readTextFile(path, basePath);
+  const data: unknown = JSON.parse(json);
+
+  const entity = parseObject(data, playwrightReportDecoder);
+
+  return entity;
+};