# robots.txt pentru rdndata.ro, varianta de după lansare.
#
# NU e fișierul servit acum: cât ține pre-lansarea, site/robots.txt spune
# „Disallow: /". Ăsta se pune în locul lui cu:
#
#     scripts/indexare.sh fisiere-on
#
# Ce s-a scos față de varianta venită din WordPress: regulile de filtrare
# WooCommerce (magazinul s-a mutat pe shop.rdndata.ro, care are robots-ul
# lui), /portfolio-items/ și /?mailpoet_page= (nu mai există nicio pagină
# acolo) și sitemap-ul de produse (fișierul a fost șters).

User-agent: *
Allow: /

# Panoul WordPress nu e pe site-ul static, dar regula rămâne: dacă într-o zi
# ajunge ceva în spate pe același domeniu, nu vrem să fie cutreierat.
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Rezultatele căutării interne n-au ce căuta în index: sunt pagini fără
# conținut propriu, care se înmulțesc la nesfârșit.
Disallow: /*?s=
Disallow: /*&s=

# Roboți care iau lățime de bandă fără să aducă vizitatori. Regula a venit
# din exportul vechi; o ținem.
User-agent: 008
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: AhrefsBot
Disallow: /

Sitemap: https://www.rdndata.ro/sitemap.xml