Расширено количество таблиц для индивидуального ЛК. без индексов

Author: EEnota

README.md

@@ -70,7 +70,7 @@ copy .env.example .env
 
 #### запустить код
 ```bash
-python main.py --keyword your_key_word --category your_category --limit your_articles_limit --page_size your_page_size
+python main.py --keyword your_key_word --limit your_articles_limit --page_size your_page_size
 ```
 
 ### пример .env

config/config.py

@@ -29,6 +29,12 @@ class Settings:
     db_admin_db: str = os.getenv("DB_ADMIN_DB", "postgres")
 
     db_news: str = os.getenv("DB_NEWS","news_db")
+    db_app_users: str = os.getenv("DB_APP_USERS", "db_app_users")
+    db_search_requests: str = os.getenv("DB_SEARCH_REQUESTS", "DB_SEARCH_REQUESTS")
+    db_articles: str = os.getenv("DB_ARTICLES", "db_articles")
+    db_user_news: str = os.getenv("DB_USER_NEWS", "db_user_news")
+    db_request_stats: str = os.getenv("DB_REQUEST_STATS", "db_request_stats")
+    
 
     KEY_API: str = os.getenv("NEWSAPI_KEY", "NO")
     NEWS_URL = "https://newsapi.org/v2/everything"

notebooks/01_eda.ipynb

@@ -12,10 +12,10 @@
    "outputs": [],
    "source": [
     "import json\n",
-    "import os\n",
     "from pathlib import Path \n",
     "import pandas as pd \n",
-    "import mathplotlib.pyplot as plt \n"
+    "import matplotlib.pyplot as plt \n",
+    "import sqlalchemy\n"
    ]
   },
   {
@@ -24,17 +24,57 @@
    "metadata": {},
    "source": [
     "В чем поинт происходящего. Помимо очевидного сбора новостей, мне захотелось собрать некую статистику. \n",
-    "Как много статей от общего числа не проходят фильтр?\n",
-    "По каким критериям они не проходят?\n",
-    "Что является первичной причиной отброса?\n",
-    "Как часто по каждому ключевому слову попадаются одинаковые ссылки?\n",
+    "- Как много статей от общего числа не проходят фильтр?\n",
+    "- По каким критериям они не проходят?\n",
+    "- Что является первичной причиной отброса?\n",
+    "- Как часто по выбранному ключевому слову попадаются одинаковые ссылки?\n",
+    "- Какие ключевые слава имеют меньше всего повторов?\n",
+    "- Какие ключевые слова имеют меньший разры между Published и Fetched?\n",
+    "- Размер самого длинного и короткого заголовка и описания \n",
     "и главный вопрос, кто такой E_nota?\n",
     "\n",
     "Что будет происходить у меня далее?\n",
     "Я буду считывать статистику из data/clean/stats скорее всего я буду после этого чистить папки data/clean и data/raw чтобы избегать использования лишней памяти. После чего я буду строить графики на тему:\n",
-    "А что является чаще всего причиной отброса в целом?\n",
-    "А что явяется чаще всего причиной по каждой теме?\n",
-    "А какое ключивое слово имеет больше всего одинаковых ссылок?"
+    "- А что является чаще всего причиной отброса в целом?\n",
+    "- А что явяется чаще всего причиной по выбранной теме?\n",
+    "- А какое ключивое слово имеет меньше всего одинаковых ссылок?\n",
+    "- У каких слов получается меньше разрыв между публикацией и стягиванием ланных?\n",
+    "- минимальная максимальная длинна заголовка и описания "
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "ff607dfe",
+   "metadata": {
+    "vscode": {
+     "languageId": "plaintext"
+    }
+   },
+   "outputs": [],
+   "source": [
+    "stats = {\n",
+    "}\n",
+    "BASE_DIR = Path(__file__).resolve().parent.parent\n",
+    "stats_dir = BASE_DIR / \"data\" / \"clean\" / \"stats\"\n",
+    "\n",
+    "total_data = []\n",
+    "\n",
+    "for file in stats_dir.glob(\"stats_*.json\"):\n",
+    "    keyword = file.stem.split('_')[1]\n",
+    "    with open(file, \"r\", encoding='utf-8') as f:\n",
+    "        data.json.load(f)\n",
+    "    data_frame = pd.DataFrame(data)\n",
+    "    data_frame['key_word'] = keyword\n",
+    "    total_data.append(data_frame)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "2e5e1a9d",
+   "metadata": {},
+   "source": [
+    "Собственно выше мы стягиваем и обновляем данные. теперь будем их \n"
    ]
   }
  ],

src/db.py

@@ -70,6 +70,92 @@ def create_database_if_not_exists(db_name: str) -> None:
 def init_database() -> None:
     create_database_if_not_exists(settings.db_news)
 
+def create_search_requests_table() -> None:
+    query = """
+            CEATE TABLE IF NOT EXISTS search_requests (
+            id BIGSERIAL PRIMARY KEY,
+            user_id BIGINT NOT NULL REFERENCES app_users(id) ON DELETE CASCADE,
+            keyword TEXT NOT NULL,
+            language VARCHAR(10) NOT NULL DEFAULT 'ru',
+            limit_count INTEGER NOT NULL CHECK (limit_count > 0),
+            page_size INTEGER NOT NULL CHECK (page_size > 0),
+            status VARCHAR(20) NOT NULL, CHECK (status IN ('queued', 'running', 'success', 'failed')),
+            error_text TEXT,
+            created_at TIMESTAMP NOT NULL DEFAULT NOW(),
+            stated_at TIMESTAMP,
+            finished_at TIMESTAMP
+            );
+        """
+    with get_cursor(settings.db_search_requests) as (conn, cur):
+        cur.execute(query)
+        conn.commit()
+
+def create_articles_table() -> None:
+    query = """
+            CEATE TABLE IF NOT EXISTS articles (
+            id BIGSERIAL PRIMARY KEY,
+            url TEXT NOT NULL UNIQUE,
+            source_name TEXT,
+            author TEXT,
+            title TEXT NOT NULL,
+            description TEXT,
+            published_at TIMESTAMP NOT NULL,
+            created_at TIMESTAMP NOT NULL DEFAULT NOW()
+            );
+        """
+    with get_cursor(settings.db_articles) as (conn, cur):
+        cur.execute(query)
+        conn.commit()
+
+def create_user_news_table() -> None:
+    query = """
+            CEATE TABLE IF NOT EXISTS user_news (
+            id BIGSERIAL PRIMARY KEY,
+            user_id BIGINT NOT NULL REFERENCES app_users(id) ON DELETE CASCADE,
+            search_request_id BIGINT NOT NULL REFERENCES search_requests(id) ON DELETE CASCADE,
+            article_id BIGINT NOT NULL REFERENCES articles(id) ON DELETE CASCADE,
+            keyword TEXT NOT NULL,
+            fetched_at TIMESTAMP NOT NULL DEFAULT NOW(),
+            UNIQUE (user_id, article_id, search_request_id)
+            );
+        """
+    with get_cursor(settings.db_user_news) as (conn, cur):
+        cur.execute(query)
+        conn.commit()
+
+def create_request_stats_table() -> None:
+    query = """
+            CEATE TABLE IF NOT EXISTS request_stats (
+            id BIGSERIAL PRIMARY KEY,
+            search_request_id BIGINT NOT NULL REFERENCES search_requests(id) ON DELETE CASCADE,
+            income_articles INTEGER NOT NULL DEFAULT 0,
+            accepted_articles INTEGER NOT NULL DEFAULT 0,
+            rejected_articles INTEGER NOT NULL DEFAULT 0,
+            reasons_counts JSONB NOUT NULL DEFAULT '{}'::jsonb,
+            prime_reasons JSONB NOUT NULL DEFAULT '{}'::jsonb,
+            created_at TIMESTAMP NOT NULL DEFAULT NOW()
+            );
+        """
+    with get_cursor(settings.db_request_stats) as (conn, cur):
+        cur.execute(query)
+        conn.commit()
+
+def create_app_users_table() -> None:
+    query = """
+            CEATE TABLE IF NOT EXISTS app_users (
+            id BIGSERIAL PRIMARY KEY,
+            google_sub TEXT NOT NULL UNIQOE,
+            email TEXT NOT NULL UNIQUE,
+            name TEXT,
+            image_url TEXT,
+            created_at TIMESTAMP NOT NULL DEFAULT NOW(),
+            last_login_at TIMESTAMP NOT NULL DEFAULT NOW()
+            );
+        """
+    with get_cursor(settings.db_app_users) as (conn, cur):
+        cur.execute(query)
+        conn.commit()
+                
 def create_news_tables() -> None:
     query = """
             CREATE TABLE IF NOT EXISTS bad_news_bears (