gemini.tsをlibに移動、質問生成スクリプトを作成

Author: na-trium-144

app/actions/chatActions.ts

@@ -1,7 +1,7 @@
 "use server";
 
 // import { z } from "zod";
-import { generateContent } from "./gemini";
+import { generateContent } from "@/lib/gemini";
 import { DynamicMarkdownSection } from "../[lang]/[pageId]/pageContent";
 import { ReplCommand, ReplOutput } from "@my-code/runtime/interface";
 import { addChat, ChatWithMessages } from "@/lib/chatHistory";

app/actions/questionExample.ts

@@ -24,18 +24,25 @@ export interface PagePath {
 }
 export type SectionId = Brand<string, "SectionId">;
 
-export interface MarkdownSection {
-  /**
-   * セクションのmdファイル名
-   */
-  file: string;
+export interface SectionFrontMatter {
   /**
    * frontmatterに書くセクションid
    * (データベース上の sectionId)
    */
   id: SectionId;
   level: number;
   title: string;
+  /**
+   * そのセクションに対する質問例
+   * scripts/questionExample.ts で生成する
+   */
+  question?: string[];
+}
+export interface MarkdownSection extends SectionFrontMatter {
+  /**
+   * セクションのmdファイル名
+   */
+  file: string;
   /**
    * frontmatterを除く、見出しも含めたもとのmarkdownの内容
    */
@@ -253,11 +260,7 @@ function parseFrontmatter(content: string, file: string): MarkdownSection {
   if (endIdx === -1) {
     throw new Error(`File ${file} has invalid frontmatter`);
   }
-  const fm = yaml.load(content.slice(4, endIdx)) as {
-    id: SectionId;
-    title: string;
-    level: number;
-  };
+  const fm = yaml.load(content.slice(4, endIdx)) as SectionFrontMatter;
   // TODO: validation of frontmatter using zod
   // replコードブロックにはセクションidをターミナルidとして与える。
   const rawContent = content
@@ -268,6 +271,7 @@ function parseFrontmatter(content: string, file: string): MarkdownSection {
     id: fm.id,
     title: fm.title,
     level: fm.level,
+    question: fm.question,
     rawContent,
     md5: crypto.createHash("md5").update(rawContent).digest("base64"),
   };

app/lib/docs.ts

@@ -0,0 +1,132 @@
+import {
+  getMarkdownSections,
+  getPagesList,
+  SectionFrontMatter,
+  SectionId,
+} from "@/lib/docs";
+import { generateContent } from "@/lib/gemini";
+import { readFile, writeFile } from "node:fs/promises";
+import { join } from "node:path";
+import yaml from "js-yaml";
+import "dotenv/config";
+
+const langEntries = await getPagesList();
+
+if (process.argv.length < 3) {
+  console.error(
+    "Geminiへの最大リクエスト数をコマンドライン引数で指定してください。"
+  );
+  process.exit(1);
+}
+const geminiMaxRequest = Number(process.argv[2]);
+let requestCount = 0;
+
+for (const lang of langEntries) {
+  for (const page of lang.pages) {
+    const sections = await getMarkdownSections(lang.id, page.slug);
+    if (sections.slice(1).some((s) => s.question === undefined)) {
+      const prompt: string[] = [];
+      prompt.push(
+        `以下の${lang.name}チュートリアルのドキュメントに対して、想定される初心者のユーザーからの質問の例を箇条書きで複数挙げてください。`
+      );
+      prompt.push(
+        `それぞれのセクションidに対していくつかの質問を出力してください。`
+      );
+      prompt.push(`1行ごとに1つずつ、`);
+      prompt.push(`section-id: 質問文`);
+      prompt.push(`の形式で出力してください。`);
+      prompt.push(``);
+      prompt.push(`# ドキュメント`);
+      prompt.push(``);
+      for (const section of sections.slice(1)) {
+        // introを除く。
+        prompt.push(`[セクションid: ${section.id}]`);
+        prompt.push(section.rawContent.trim());
+        prompt.push(``);
+      }
+      console.log(prompt);
+
+      const result = await generateContent(prompt.join("\n"));
+      const text = result.text;
+      if (!text) {
+        throw new Error("AIからの応答が空でした");
+      }
+      console.log(text);
+
+      for (const section of sections) {
+        section.question = [];
+      }
+      for (const q of text.split("\n")) {
+        if (q.trim() === "") continue;
+        const match = q.trim().match(/^([\w-]+):\s*(.+)$/);
+        if (match) {
+          const id = match[1] as SectionId;
+          const question = match[2];
+          const section = sections.find((s) => s.id === id);
+          if (section) {
+            section.question!.push(question);
+          } else {
+            console.warn(
+              `セクションid ${id} に対応するセクションが見つかりませんでした`
+            );
+          }
+        } else {
+          console.warn(`質問の形式が正しくありません: ${q}`);
+        }
+      }
+
+      for (const section of sections.slice(1)) {
+        // introを除く。frontmatterがないので
+        const raw = await readFile(
+          join(
+            process.cwd(),
+            "public",
+            "docs",
+            lang.id,
+            page.slug,
+            section.file
+          ),
+          "utf-8"
+        );
+        if (!raw.startsWith("---\n")) {
+          throw new Error(`File ${section.file} is missing frontmatter`);
+        }
+        const endIdx = raw.indexOf("\n---\n", 4);
+        if (endIdx === -1) {
+          throw new Error(`File ${section.file} has invalid frontmatter`);
+        }
+        const body = raw.slice(endIdx + 5);
+        const newRaw =
+          `---\n` +
+          yaml.dump({
+            id: section.id,
+            title: section.title,
+            level: section.level,
+            question: section.question,
+          } satisfies SectionFrontMatter) +
+          `---\n` +
+          body;
+        await writeFile(
+          join(
+            process.cwd(),
+            "public",
+            "docs",
+            lang.id,
+            page.slug,
+            section.file
+          ),
+          newRaw,
+          "utf-8"
+        );
+      }
+
+      requestCount++;
+      if (requestCount >= geminiMaxRequest) {
+        console.log(
+          `Geminiへのリクエスト数が${geminiMaxRequest}に達したため、処理を終了します。`
+        );
+        process.exit(1);
+      }
+    }
+  }
+}