User-agent: * #указывает, для каких роботов установлены директивы
Disallow: /bin/ # запрещает ссылки из "Корзины с товарами".
Disallow: /search/ # запрещает ссылки страниц встроенного на сайте поиска
Disallow: /admin/ # запрещает ссылки из панели администратора
Sitemap: http://example.com/sitemap # указывает роботу на файл Sitemap для сайта
Clean-param: ref /some_dir/get_book.pl

<urlset xmlns="http://sitemaps.org" xmlns:xsi="http://w3.org" xsi:schemaLocation="http://sitemaps.org http://sitemaps.org/sitemap.xsd">

if (pathname === '/yandex_700ec9d3e17fe342.html') {
  const fileName = pathname.replace(/^\//, '')
  const filePath = join(process.cwd(), 'public', fileName)
  return nextApp.serveStatic(req, res, filePath)
}

let currentYandexId = null;

self.onmessage = function(event) {
  const { type, payload } = event.data || {};

  switch (type) {
    case 'init':
      if (payload && payload.yandexId) {
        currentYandexId = payload.yandexId;
        console.log(`📻 [Yandex Worker]: Успешно инициализирован для ID: ${currentYandexId}`);
      }
      break;

    case 'track_pageview':
      if (currentYandexId && payload) {
        sendYandexHit({
          yandexId: currentYandexId,
          url: payload.url,
          referrer: payload.referrer,
          title: payload.title,
          screenResolution: payload.screenResolution,
          userLanguage: payload.userLanguage
        });
      }
      break;

    default:
      break;
  }
};

function sendYandexHit(data) {
  try {
    // Формируем эталонную строку метаданных браузера
    // ar:1 -> Авторизованное действие (Критично! Сигнал роботу YandexBot для мгновенного SEO-обхода страниц)
    // v:265 -> Версия протокола ядра Метрики
    const timestamp = Math.floor(Date.now() / 1000);
    const browserInfo = `ar:1:v:265:la:${data.userLanguage || 'ru'}:s:${data.screenResolution || '1920x1080x24'}:st:${timestamp}`;
    const __url = [
      'https://mc.yandex.ru',
      'watch',
      data.yandexId,
    ].join('/')
    const url = new URL(__url);
    
    // Наполняем Query-параметры согласно HTTP-протоколу Яндекса
    url.searchParams.set('page-url', data.url);
    url.searchParams.set('page-ref', data.referrer || '');
    url.searchParams.set('browser-info', browserInfo);
    url.searchParams.set('t', data.title || '');
    url.searchParams.set('rn', Math.floor(Math.random() * 1000000000));

    // Важно: Отправляем чистый fetch без кастомных заголовков Headers.
    // Это исключает preflight OPTIONS-запросы и полностью обходит блокировки CORS.
    fetch(url.toString(), { method: 'GET' })
      .then(() => console.log('✅ [Yandex Worker]: Хит Метрики успешно доставлен.'))
      .catch(err => console.error('❌ [Yandex Worker]: Ошибка сети (CORS/Блокировщик):', err.message));
  } catch (e) {
    console.error('❌ [Yandex Worker]: Ошибка сборки пакета:', e);
  }
}

import React, { useEffect, useRef } from 'react'
import { metrics } from '~/constants'

function AppWithRedux(props: MyAppProps) {
  const { Component, pageProps } = props;
  const router = useRouter()
  const workerRef = useRef<Worker | null>(null);
  const yandexWorkerRef = useRef<Worker | null>(null);

  useEffect(() => {
    const GA_ID = metrics.GA_TRACKING_ID;
    const YANDEX_ID = metrics.YANDEX_COUNTER_ID || '112502329';
    
    if (process.env.NODE_ENV !== 'production' || typeof window === 'undefined') return;

    // 1. Инициализируем фоновые потоки
    const gaWorker = new Worker(`/static/common/min/analytics/metrics-worker.google.js?t=${Date.now()}`);
    workerRef.current = gaWorker;
    gaWorker.postMessage({ type: 'init', payload: { gaId: GA_ID, gaApiSecret: 'changeit', isDebug: false } });

    const yandexWorker = new Worker(`/static/common/min/analytics/metrics-worker.yandex.js?t=${Date.now()}`);
    yandexWorkerRef.current = yandexWorker;
    yandexWorker.postMessage({ type: 'init', payload: { yandexId: YANDEX_ID } });

    let clientId = localStorage.getItem('blog_ga_client_id');
    if (!clientId) {
      clientId = Math.random().toString(36).substring(2) + Date.now().toString(36);
      localStorage.setItem('blog_ga_client_id', clientId);
    }

    // Метод динамического сбора параметров окружения
    const getBrowserPayload = (url: string) => {
      const screenRes = `${window.screen.width}x${window.screen.height}x${window.screen.colorDepth}`;
      const userLang = (window.navigator.language || (window.navigator as any).userLanguage || 'ru').toLowerCase().split('-')[0];
      return {
        url: window.location.origin + url,
        title: window.document.title,
        referrer: window.document.referrer,
        screenResolution: screenRes,
        userLanguage: userLang,
        clientId
      };
    };

    // 2. Распределительный мост событий
    const handleAnalyticsEvent = (e: Event) => {
      const customEvent = e as CustomEvent;
      const { type, payload } = customEvent.detail || {};

      if (type === 'pageview') {
        const browserPayload = getBrowserPayload(payload.url);
        if (gaWorker) gaWorker.postMessage({ type: 'track_pageview', payload: browserPayload });
        if (yandexWorker) yandexWorker.postMessage({ type: 'track_pageview', payload: browserPayload });
      }

      if (type === 'event' && gaWorker) {
        gaWorker.postMessage({
          type: 'track_event',
          payload: { action: payload.action, params: payload.params, clientId }
        });
      }
    };
    window.addEventListener('blog_analytics_event', handleAnalyticsEvent);

    // Первичный трекинг холодного старта и SPA роутинга
    pageview(window.location.pathname);
    const handleRouteChange = (url: string) => setTimeout(() => pageview(url), 70);
    router.events.on('routeChangeComplete', handleRouteChange);

    // NOTE: ИНЖЕКТОР ДИАГНОСТИКИ (0ms Main Thread Overhead):
    // Позволяет успешно проходить проверки Яндекс.Вебмастера и кабинета Метрики.
    // Внедряет tag.js строго при наличии служебных query-параметров.
    const urlParams = new URLSearchParams(window.location.search);
    const isYandexDebug = urlParams.get('_ym_debug') === '2' || urlParams.get('_ym_debug') === '1';
    const isYandexStatusCheck = urlParams.get('_ym_status-check') === String(YANDEX_ID);

    let yandexScript: HTMLScriptElement | null = null;

    // NOTE: Включаем нативный тег, если сработал ХОТЬ ОДИН из диагностических параметров Яндекса
    if ((isYandexDebug || isYandexStatusCheck) && !!window) {
      // 1. Создаем официальный тег скрипта Яндекса на лету
      yandexScript = window.document.createElement('script');
      yandexScript.type = 'text/javascript';
      yandexScript.async = true;
      yandexScript.src = ['https://mc.yandex.ru', 'metrika', 'tag.js'].join('/');
      
      // 2. Инициализируем его в браузере
      window.ym = window.ym || function() { 
        if (window.ym) {
          window.ym.a = window.ym.a || [];
          window.ym.a.push(arguments);
        }
      };
      window.ym.l = Date.now();
      window.ym(YANDEX_COUNTER_ID, 'init', { clickmap: true, trackLinks: true, accurateTrackBounce: true });

      window.document.head.appendChild(yandexScript);
      console.log('📻 [Yandex Debug Mode]: Официальный tag.js временно внедрен в Main Thread для проверки кабинета.');
    }

    return () => {
      router.events.off('routeChangeComplete', handleRouteChange);
      window.removeEventListener('blog_analytics_event', handleAnalyticsEvent);
      if (gaWorker) gaWorker.terminate();
      if (yandexWorker) yandexWorker.terminate();
      if (yandexScript && window.document.head.contains(yandexScript)) {
        window.document.head.removeChild(yandexScript);
      }
    };
  }, [router.events, router.query]);