feat(frontend): Skip consent manager scripts for search engine bots

[Copilot]

content="noindex" is not valid on <script> tags and Googlebot executes JavaScript regardless of custom attributes. The correct SEO mitigation is to detect crawlers by User-Agent and skip delivering the consent manager output entirely.

Changes

lib/Utility.php — new Utility::isBot() static method:

• Matches against a curated list of known crawler UA patterns (Googlebot, Bingbot, BaiduSpider, YandexBot, SemrushBot, AhrefsBot, etc.)
• Uses preg_quote() to safely escape each pattern before regex assembly
• Accepts an optional $userAgent string; falls back to HTTP_USER_AGENT
• Marked @api

fragments/ConsentManager/box_cssjs.php — early return for bots:

if (Utility::isBot()) {
    return;
}

Placed after the existing guard checks, this skips all CSS/JS output — including Google Consent Mode scripts — when the visitor is identified as a crawler.

Original prompt

---

This section details on the original issue you should resolve

<issue_title>noindex für interne scripts</issue_title>
<issue_description>

consent_manager/fragments/ConsentManager/box_cssjs.php

Line 174 in eda5b54

$consentparams['outputjs'] .= ' <script nonce="' . rex_response::getNonce() . '" src="' . rex_url::frontendController($_params) . '" id="consent_manager_script" defer></script>' . PHP_EOL;

Kunde hat sich hier für SEO noindex gewünscht. Nach Anpassung:

$consentparams['outputjs'] .= ' <script nonce="' . rex_response::getNonce() . '" src="' . rex_url::frontendController($_params) . '" id="consent_manager_script" defer content="noindex"></script>' . PHP_EOL;

vielleicht kann das in Zukunft mit einfließen.</issue_description>

Comments on the Issue (you are @copilot in this section)

@skerbis content="noindex" ist nicht gültig für script

Einige Entwickler denken fälschlicherweise, man könne damit gezielt verhindern, dass Google den Inhalt eines Skripts "liest". Aber:

Crawler führen JavaScript aus: Googlebot führt Skripte aus, um den finalen Inhalt der Seite zu sehen. Ein erfundenes Attribut hält ihn nicht davon ab.

@thielpeter > content="noindex" ist nicht gültig für script > > Einige Entwickler denken fälschlicherweise, man könne damit gezielt verhindern, dass Google den Inhalt eines Skripts "liest". **Aber:** > > Crawler führen JavaScript aus: Googlebot führt Skripte aus, um den finalen Inhalt der Seite zu sehen. Ein erfundenes Attribut hält ihn nicht davon ab.

Danke für den Hinweis @skerbis Gibt es eine Alternative?</comment_new>
<comment_new>@skerbis
Nein ... oder kein Consent Manager oder kein JS ... hmm checken ob bot und nicht ausliefern

@thielpeter Hm und inline ist hier auch nicht möglich?

• Fixes noindex für interne scripts #477

---

⚡ Quickly spin up Copilot coding agent tasks from anywhere on your macOS or Windows machine with Raycast.