feat: transl

Author: FedoseevSM

README.md

@@ -2,3 +2,22 @@
 
 1. Run `npm install`
 2. Run `npm run dev`
+
+## Особенности
+
+### Поддержка русского языка
+
+Приложение полностью поддерживает создание постов и топиков на русском языке с автоматической транслитерацией:
+
+- ✅ Создание топиков на русском языке
+- ✅ Создание постов с русским текстом
+- ✅ Автоматическая транслитерация названий (русский → латиница)
+- ✅ Сохранение оригинального текста и транслитерированной версии
+
+**Пример:**
+```
+Заголовок: "Как использовать фреймворк?"
+Транслитерация: "kak-ispolzovat-freymuork"
+```
+
+Подробное описание: см. [TRANSLITERATION.md](./TRANSLITERATION.md)

TRANSLITERATION.md

@@ -0,0 +1,98 @@
+# Транслитерация русского языка
+
+Проект теперь поддерживает автоматическую транслитерацию русского языка при создании постов и топиков.
+
+## Возможности
+
+### 1. Функция `transliterate()`
+
+Функция преобразует русский текст в латиницу (ГОСТ 16876-71):
+
+```typescript
+import { transliterate } from './lib/utils';
+
+// Примеры:
+transliterate('Привет мир') // 'privet-mir'
+transliterate('Как дела?') // 'kak-dela'
+transliterate('РУССКИЙ ЯЗЫК') // 'russkiy-yazyk'
+transliterate('Ёлка, ёж и ёлочка') // 'yolka-yozh-i-yolochka'
+```
+
+### 2. Использование при создании топиков
+
+При создании топика на русском языке автоматически сохраняется транслитерированная версия заголовка:
+
+```typescript
+await createTopic({
+  title: 'Как использовать фреймворк?',
+  forumSlug: 'javascript',
+  author: 'username',
+  body: 'Содержание топика...'
+});
+
+// Генерируемый файл будет содержать:
+// ---
+// title: Как использовать фреймворк?
+// titleTranslit: kak-ispolzovat-freymuork
+// forumSlug: javascript
+// author: username
+// createdAt: 2026-05-03T12:34:56.789Z
+// ---
+// 
+// Содержание топика...
+```
+
+### 3. Хранение транслитерации
+
+Транслитерация хранится в поле `titleTranslit` frontmatter-данных каждого топика:
+
+- **Исходный текст**: сохраняется в поле `title`
+- **Транслитерированный текст**: сохраняется в поле `titleTranslit`
+
+Это позволяет:
+- ✅ Использовать оригинальный русский текст для отображения
+- ✅ Генерировать читаемые URL'ы (slug'и)
+- ✅ Улучшить поиск и индексацию
+- ✅ Обеспечить совместимость с системами, требующими латиницы
+
+## Особенности транслитерации
+
+### Поддерживаемые символы
+
+- Все русские буквы (строчные и прописные)
+- Двойные буквы (ж→zh, ц→ts, ч→ch, ш→sh, щ→sch, х→kh)
+- Специальные буквы (ё→yo, ю→yu, я→ya)
+- Слогообразующие символы (ы→y, э→e)
+
+### Обрабатка текста
+
+- Пробелы преобразуются в дефисы (`-`)
+- Текст переводится в нижний регистр
+- Специальные символы удаляются (кроме дефиса)
+- Множественные дефисы объединяются в один
+- Дефисы в начале и конце удаляются
+
+## Примеры
+
+| Исходный текст | Результат транслитерации |
+|---|---|
+| Привет мир | privet-mir |
+| JavaScript для начинающих | javascript-dlya-nachinayushchikh |
+| Что нового? | chto-novogo |
+| Первая программа | pervaya-programma |
+| Ёлка на праздник | yolka-na-prazdnik |
+
+## Интеграция
+
+Функция `transliterate()` автоматически используется:
+
+1. ✅ **При создании топиков** - сохраняет `titleTranslit`
+2. 📋 **Готово для использования в:**
+   - Генерации URL slug'ов
+   - Полнотекстовом поиске
+   - Метаданных страниц
+   - Фильтрации и сортировке
+
+## Примечание
+
+При обновлении существующих топиков (не используется `createTopic`), поле `titleTranslit` может отсутствовать. Это нормально - приложение будет работать без ошибок благодаря опциональности поля.

src/lib/__tests__/transliterate.test.ts

@@ -0,0 +1,70 @@
+import { transliterate } from '../lib/utils';
+
+describe('transliterate', () => {
+  it('should transliterate basic Russian text', () => {
+    expect(transliterate('Привет')).toBe('privet');
+    expect(transliterate('мир')).toBe('mir');
+  });
+
+  it('should handle spaces as dashes', () => {
+    expect(transliterate('привет мир')).toBe('privet-mir');
+    expect(transliterate('как дела')).toBe('kak-dela');
+  });
+
+  it('should handle mixed case', () => {
+    expect(transliterate('Привет МИР')).toBe('privet-mir');
+    expect(transliterate('РУССКИЙ язык')).toBe('russkiy-yazyk');
+  });
+
+  it('should handle special Russian letters', () => {
+    expect(transliterate('жизнь')).toBe('zhizn');
+    expect(transliterate('цифра')).toBe('tsifra');
+    expect(transliterate('человек')).toBe('chelovek');
+    expect(transliterate('шум')).toBe('shum');
+    expect(transliterate('щека')).toBe('scheka');
+    expect(transliterate('ёл')).toBe('yol');
+    expect(transliterate('юг')).toBe('yug');
+    expect(transliterate('ястреб')).toBe('yastreb');
+  });
+
+  it('should handle Cyrillic characters', () => {
+    expect(transliterate('химия')).toBe('khimiya');
+    expect(transliterate('сыр')).toBe('syr');
+    expect(transliterate('эхо')).toBe('ekho');
+  });
+
+  it('should remove special characters', () => {
+    expect(transliterate('Как дела?')).toBe('kak-dela');
+    expect(transliterate('Привет, мир!')).toBe('privet-mir');
+    expect(transliterate('Вопрос: ответ')).toBe('vopros-otvet');
+  });
+
+  it('should normalize multiple spaces and dashes', () => {
+    expect(transliterate('привет   мир')).toBe('privet-mir');
+    expect(transliterate('  привет мир  ')).toBe('privet-mir');
+  });
+
+  it('should handle real use cases', () => {
+    expect(transliterate('Как использовать фреймворк?'))
+      .toBe('kak-ispolzovat-freymuork');
+    expect(transliterate('JavaScript для начинающих'))
+      .toBe('javascript-dlya-nachinayushchikh');
+    expect(transliterate('Первая программа на Python'))
+      .toBe('pervaya-programma-na-python');
+  });
+
+  it('should return empty string for empty input', () => {
+    expect(transliterate('')).toBe('');
+    expect(transliterate('   ')).toBe('');
+  });
+
+  it('should preserve Latin characters', () => {
+    expect(transliterate('Hello мир')).toBe('hello-mir');
+    expect(transliterate('Python and Rust')).toBe('python-and-rust');
+  });
+
+  it('should preserve numbers', () => {
+    expect(transliterate('Версия 3.14')).toBe('versiya-314');
+    expect(transliterate('2024 год')).toBe('2024-god');
+  });
+});

src/lib/forum.ts

@@ -1,5 +1,5 @@
 import { getFile, putFile, listFiles } from './github';
-import { parseFrontmatter, stringifyFrontmatter, generateId } from './utils';
+import { parseFrontmatter, stringifyFrontmatter, generateId, transliterate } from './utils';
 
 export interface Forum {
   slug: string;
@@ -13,6 +13,7 @@ export interface Forum {
 export interface Topic {
   id: string;
   title: string;
+  titleTranslit: string;
   forumSlug: string;
   author: string;
   createdAt: string;
@@ -90,10 +91,12 @@ export async function getTopic(id: string): Promise<Topic | null> {
   return { ...data, id, body: content };
 }
 
-export async function createTopic(data: Omit<Topic, 'id' | 'createdAt'>) {
+export async function createTopic(data: Omit<Topic, 'id' | 'createdAt' | 'titleTranslit'>) {
   const id = generateId();
+  const titleTranslit = transliterate(data.title);
   const frontmatterData = {
     title: data.title,
+    titleTranslit: titleTranslit,
     forumSlug: data.forumSlug,
     author: data.author,
     createdAt: new Date().toISOString()

src/lib/utils.ts

@@ -31,4 +31,32 @@ export function stringifyFrontmatter(data: any, content: string): string {
 
 export function generateId(): string {
   return Date.now().toString(36) + Math.random().toString(36).substring(2, 7);
+}
+
+export function transliterate(text: string): string {
+  const russianToLatin: Record<string, string> = {
+    // Прописные буквы
+    'А': 'A', 'Б': 'B', 'В': 'V', 'Г': 'G', 'Д': 'D', 'Е': 'E', 'Ё': 'Yo', 
+    'Ж': 'Zh', 'З': 'Z', 'И': 'I', 'Й': 'Y', 'К': 'K', 'Л': 'L', 'М': 'M', 
+    'Н': 'N', 'О': 'O', 'П': 'P', 'Р': 'R', 'С': 'S', 'Т': 'T', 'У': 'U', 
+    'Ф': 'F', 'Х': 'Kh', 'Ц': 'Ts', 'Ч': 'Ch', 'Ш': 'Sh', 'Щ': 'Sch', 
+    'Ъ': '', 'Ы': 'Y', 'Ь': '', 'Э': 'E', 'Ю': 'Yu', 'Я': 'Ya',
+    // Строчные буквы
+    'а': 'a', 'б': 'b', 'в': 'v', 'г': 'g', 'д': 'd', 'е': 'e', 'ё': 'yo', 
+    'ж': 'zh', 'з': 'z', 'и': 'i', 'й': 'y', 'к': 'k', 'л': 'l', 'м': 'm', 
+    'н': 'n', 'о': 'o', 'п': 'p', 'р': 'r', 'с': 's', 'т': 't', 'у': 'u', 
+    'ф': 'f', 'х': 'kh', 'ц': 'ts', 'ч': 'ch', 'ш': 'sh', 'щ': 'sch', 
+    'ъ': '', 'ы': 'y', 'ь': '', 'э': 'e', 'ю': 'yu', 'я': 'ya'
+  };
+
+  return text
+    .split('')
+    .map(char => russianToLatin[char] || char)
+    .join('')
+    .toLowerCase()
+    .trim()
+    .replace(/\s+/g, '-')
+    .replace(/[^a-z0-9-]/g, '')
+    .replace(/-+/g, '-')
+    .replace(/^-+|-+$/g, '');
 }