enhance(backend): bundle backend using Rolldown

[kakkokari-gtyih]

What

• rolldownでバックエンドをバンドル（e2e用のみswcから移行していない）
• production build時はsourcemapを生成しないように
• バックエンドの開発サーバーのファイルwatch・サーバー起動/終了をrolldownで行うようにし、nodemonを削除
  • rolldown内部でネイティブにwatchするためより効率的
  • ビルドステップに統合されるpluginとしてサーバーの起動制御を実装しているため、より安定してサーバーの起動終了制御が可能に
• 起動速度の改善 enhance: 起動からlistenまでかかる時間を減らす MisskeyIO/misskey#1410
• パスが絡む処理において、絶対パスの解決をconfig.tsで一回だけ行い、引き回すように
• パスが絡む処理でconfigから来た絶対パスを使用するように

Why

Fix #16852

Additional info (optional)

Checklist

• Read the contribution guide
• Test working in a local environment
• (If needed) Add story of storybook
• (If needed) Update CHANGELOG.md
• (If possible) Add tests

[github-actions]

このPRによるapi.jsonの差分
差分はありません。
Get diff files from Workflow Page

[kakkokari-gtyih]

コード54.4MBになった（が、起動には成功してない）

[syuilo]

謎

[syuilo]

通常ならその直後に InstanceLoader: EndpointsModule dependencies initialized が出るからEndpointsModuleに原因がある可能性がある

[syuilo]

どっちかというと EndpointsModule というよりは EndpointsModule に依存している ServerModule かも

[samunohito]

関係あるかわからないけど…

クラス名は維持しておかないとDI周りが死ぬので、バンドルの過程でクラス名などが変わっているのであれば維持するようにしてみるといいかも…？

[syuilo]

どっちかというと EndpointsModule というよりは EndpointsModule に依存している ServerModule かも

いやさらに ServerModule に依存している CoreModule かも
CoreModule が含んでいる何らかの Service のどれかに問題がありそう(SearchServiceのログは出てるから最低でもそこまでは読み込めていることは判る)

[syuilo]

いかのどれかに問題があることは絞り込めた

		AbuseUserReportEntityService,
		AnnouncementEntityService,
		AbuseReportNotificationRecipientEntityService,
		AntennaEntityService,
		AppEntityService,
		AuthSessionEntityService,
		BlockingEntityService,
		ChannelEntityService,
		ChatEntityService,
		ClipEntityService,
		DriveFileEntityService,
		DriveFolderEntityService,
		EmojiEntityService,
		FollowingEntityService,
		FollowRequestEntityService,
		GalleryLikeEntityService,
		GalleryPostEntityService,
		HashtagEntityService,
		InstanceEntityService,
		InviteCodeEntityService,
		ModerationLogEntityService,
		MutingEntityService,
		RenoteMutingEntityService,
		NoteEntityService,
		NoteFavoriteEntityService,
		NoteReactionEntityService,
		NoteDraftEntityService,
		NotificationEntityService,
		PageEntityService,
		PageLikeEntityService,
		SigninEntityService,
		UserEntityService,
		UserListEntityService,
		FlashEntityService,
		FlashLikeEntityService,
		RoleEntityService,
		ReversiGameEntityService,
		MetaEntityService,

[kakkokari-gtyih]

クラス名は維持しておかないとDI周りが死ぬ

keepNamesしてるのでそれはなさそう

[syuilo]

NoteEntityService に問題があることが判った

[syuilo]

NoteEntityServiceは循環参照があり、読み込み順的にはModuleRefを使用する初めてのサービスであるので、ModuleRefを使用していることが原因ということで間違いないと思われる

[codecov]

Codecov Report

❌ Patch coverage is 72.72727% with 24 lines in your changes missing coverage. Please review.
✅ Project coverage is 62.42%. Comparing base (a18c909) to head (24bd03a).
⚠️ Report is 33 commits behind head on develop.

Files with missing lines	Patch %	Lines
packages/backend/src/boot/common.ts	36.36%	7 Missing ⚠️
...ages/backend/src/server/web/ClientServerService.ts	80.00%	7 Missing ⚠️
...ages/backend/src/server/web/HtmlTemplateService.ts	50.00%	6 Missing ⚠️
packages/backend/src/boot/entry.ts	0.00%	3 Missing ⚠️
packages/backend/src/server/FileServerService.ts	87.50%	1 Missing ⚠️

Additional details and impacted files

@@             Coverage Diff             @@
##           develop   #17068      +/-   ##
===========================================
- Coverage    63.65%   62.42%   -1.23%     
===========================================
  Files         1161     1162       +1     
  Lines       116313   116557     +244     
  Branches      8407     9080     +673     
===========================================
- Hits         74042    72764    -1278     
- Misses       40063    41601    +1538     
+ Partials      2208     2192      -16     

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

🚀 New features to boost your workflow:

• ❄️ Test Analytics: Detect flaky tests, report on failures, and find test suite problems.
• 📦 JS Bundle Analysis: Save yourself from yourself by tracking and limiting bundle sizes in JS merges.

[syuilo]

NoteEntityServiceは循環参照があり、読み込み順的にはModuleRefを使用する初めてのサービスであるので、ModuleRefを使用していることが原因ということで間違いないと思われる

いや嘘かも

[syuilo]

InstanceEntityServiceだけ読み込まれてないかも

[syuilo]

謎ということが判った

[syuilo]

とはいえ循環参照周りが原因な気はする

[anatawa12]

バンドルでesmoduleそのままだと発生しない循環参照問題が発生するなら minify だけにしたい気がしてます。今後devなら問題ないのにbuildすると謎フリーズが今後増えるのはあまりうれしくないと思います

[syuilo]

ApAudienceService も正常に読み込まれていないserviceのひとつだけど、以下のように極限にシンプルな実装に書き換えると読み込まれるようになる

before

import { Injectable } from '@nestjs/common';
import promiseLimit from 'promise-limit';
import type { MiRemoteUser, MiUser } from '@/models/User.js';
import { concat, unique } from '@/misc/prelude/array.js';
import { bindThis } from '@/decorators.js';
import { getApIds } from './type.js';
import { ApPersonService } from './models/ApPersonService.js';
import type { ApObject } from './type.js';
import type { Resolver } from './ApResolverService.js';

type Visibility = 'public' | 'home' | 'followers' | 'specified';

type AudienceInfo = {
	visibility: Visibility,
	mentionedUsers: MiUser[],
	visibleUsers: MiUser[],
};

type GroupedAudience = Record<'public' | 'followers' | 'other', string[]>;

@Injectable()
export class ApAudienceService {
	constructor(
		private apPersonService: ApPersonService,
	) {
	}

	@bindThis
	public async parseAudience(actor: MiRemoteUser, to?: ApObject, cc?: ApObject, resolver?: Resolver): Promise<AudienceInfo> {
		const toGroups = this.groupingAudience(getApIds(to), actor);
		const ccGroups = this.groupingAudience(getApIds(cc), actor);

		const others = unique(concat([toGroups.other, ccGroups.other]));

		const limit = promiseLimit<MiUser | null>(2);
		const mentionedUsers = (await Promise.all(
			others.map(id => limit(() => this.apPersonService.resolvePerson(id, resolver).catch(() => null))),
		)).filter(x => x != null);

		if (toGroups.public.length > 0) {
			return {
				visibility: 'public',
				mentionedUsers,
				visibleUsers: [],
			};
		}

		if (ccGroups.public.length > 0) {
			return {
				visibility: 'home',
				mentionedUsers,
				visibleUsers: [],
			};
		}

		if (toGroups.followers.length > 0 || ccGroups.followers.length > 0) {
			return {
				visibility: 'followers',
				mentionedUsers,
				visibleUsers: [],
			};
		}

		return {
			visibility: 'specified',
			mentionedUsers,
			visibleUsers: mentionedUsers,
		};
	}

	@bindThis
	private groupingAudience(ids: string[], actor: MiRemoteUser): GroupedAudience {
		const groups: GroupedAudience = {
			public: [],
			followers: [],
			other: [],
		};

		for (const id of ids) {
			if (this.isPublic(id)) {
				groups.public.push(id);
			} else if (this.isFollowers(id, actor)) {
				groups.followers.push(id);
			} else {
				groups.other.push(id);
			}
		}

		groups.other = unique(groups.other);

		return groups;
	}

	@bindThis
	private isPublic(id: string): boolean {
		return [
			'https://www.w3.org/ns/activitystreams#Public',
			'as:Public',
			'Public',
		].includes(id);
	}

	@bindThis
	private isFollowers(id: string, actor: MiRemoteUser): boolean {
		return id === (actor.followersUri ?? `${actor.uri}/followers`);
	}
}

after

import { Injectable } from '@nestjs/common';
import type { MiRemoteUser } from '@/models/User.js';
import { bindThis } from '@/decorators.js';
import type { ApObject } from './type.js';
import type { Resolver } from './ApResolverService.js';

@Injectable()
export class ApAudienceService {
	constructor(
	) {
		console.log('ApAudienceService initialized');
	}

	@bindThis
	public async parseAudience(actor: MiRemoteUser, to?: ApObject, cc?: ApObject, resolver?: Resolver) {
		return {
			visibility: 'specified',
		};
	}
}

[kakkokari-gtyih]

InstanceEntityServiceだけ読み込まれてないかも

コードに出てないわけでなさそう（ビルド成果物を検索したらヒットした）

[kakkokari-gtyih]

バンドルでesmoduleそのままだと発生しない循環参照問題が発生するなら minify だけにしたい気がしてます。今後devなら問題ないのにbuildすると謎フリーズが今後増えるのはあまりうれしくないと思います

そもそもnestjsはバンドルされた環境で動かすことは想定されてるのかしら

[syuilo]

そもそもnestjsはバンドルされた環境で動かすことは想定されてるのかしら

Webpackを使用する場合の設定方法が書いてあったからされてそう

https://docs.nestjs.com/fundamentals/lazy-loading-modules

[kakkokari-gtyih]

backendの開発サーバーをrolldown制御に変更した

[syuilo]

👍🏻👍🏻

[syuilo]

pnpm devでエラー出るかも

[kakkokari-gtyih]

Nodeがv24で起動してそうだけどv22にしても発生するかしら

[kakkokari-gtyih]

ちなみにこちらの環境だと正常に起動している

[syuilo]

Windows?

[anatawa12]

windows native環境でだけ発生する問題化も？(wsl linux macosじゃ発生しないかも

[kakkokari-gtyih]

rolldown.config.ts の backendProcess = execaNode('./built/entry.js', { となっているところを backendProcess = execaNode('./built/entry.js', [], { に変えてみていけるか見てほしい

[syuilo]

変わらなかった

[kakkokari-gtyih]

なにがだめかわかったかも