# Bloqueio de rastreadores específicos conhecidos por práticas não desejadas
User-agent: Yandex
User-agent: YandexImages
User-agent: EasouSpider
User-agent: SMTBot
User-agent: Pcore-HTTP
User-agent: BUbiNG
User-agent: Companybook-Crawler
User-agent: Wotbox/2.01
User-agent: CCBot/2.0
User-agent: EbiBot
User-agent: Vegi bot
User-agent: istellabot/t.1
User-agent: ltx71
User-agent: MJ12bot
User-agent: MauiBot
User-agent: VelenPublicWebCrawler
Disallow: /

# Permissão para Googlebot e Bingbot
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /

# Bloqueia rastreadores de acessar áreas administrativas e scripts internos
User-agent: *
Disallow: /painel/
Disallow: /_next/
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

# Permite o acesso ao sitemap e a páginas específicas
Allow: /sitemap.xml
Allow: /busca-vaga/
Allow: /vagas/

# Bloqueia parâmetros de busca desnecessários
Disallow: /*?*lat=
Disallow: /*?*long=
Disallow: /*?*sort=

# Especifica a localização do sitemap
Sitemap: https://msqualifica.ms.gov.br/sitemap.xml