User-agent: * Disallow: /bin/ Disallow: /App_Data/ Disallow: /App_Code/ Disallow: /Global.asax Disallow: /Web.config Disallow: /api/ # Query strings - sprjecava duplicate content (filter params, tracking utm_*, fbclid, gclid) # HCU politika #5: linkovi unutar portala NIKAD ne smiju imati ?, ali eksterni linkovi (Google Ads, FB) # i dalje mogu doci -> Googlebot prati i indexira -> duplicate content rizik. # 28-09-2026: stil i skripte portala nose ?v=verzija; duze pravilo pobjeduje, pa ih Google smije dohvatiti. Allow: /css/ Allow: /js/ Disallow: /*? # Print/preview varijante (ako postoje legacy varijante) Disallow: /*/print/ Disallow: /*/preview/ # ============================================================================ # STRANICE OZNAKA (tagListing) - ZABRANJENO ROBOTIMA 09-08-2026 # # Razlog (izmjereno na produkciji, monitor servera + DMV-ovi): # Te stranice trose oko 68.000 CPU-sekundi, sto je ~90 % ukupnog opterecenja # baze. Tri upita, sve tri s iste stranice: # - ulaznice po oznaci (spaja 10 tablica) ~25.100 CPU-s # - clanci po oznaci (LIKE nad 1,4 GB tablicom) ~23.350 CPU-s # - popis TAGS_* ~19.400 CPU-s # Promet je gotovo iskljucivo robotski: 08-08 u 16 sati broj poziva upita za # ulaznice narastao je s 289 na 19.192 (x65). Ljudskih posjeta je 5-10 na sat. # Kesiranje 30 min (06-08) NIJE pomoglo jer roboti traze previse razlicitih # oznaka pa kes rijetko pogada. # # Ovo je privremena mjera dok se upiti ne poprave (TODO 1.d + 1.g): # clanak<->oznaka u zasebnu tablicu s indeksom, umjesto LIKE po tekstu. # Kad to bude gotovo, ove retke se moze ukloniti. # # Stranice OSTAJU dostupne ljudima - ovo blokira samo indeksiranje/obilazak. # Slugovi provjereni u Web-urlRewriteRules.config (redci 960-1007). # ============================================================================ # ZABRANA UKLONJENA 10-08-2026. Uzrok opterecenja je uklonjen: podudaranje oznaka # ide preko spojne tablice tblOznakeVeza s indeksom umjesto LIKE po tekstu # (86,1 ms -> 2,2 ms procesora po pozivu, 3.668 -> 398 logickih citanja). # Prije uklanjanja provjereno na produkciji: osam stranica oznaka na 6 jezika # paralelno za 4,7 s, sve 200. Procesor baze pao s ~44 % na 10-26 %. # Ako se opterecenje vrati, vratiti ovih sest redaka: # Disallow: /oznaka/ /en/tag/ /de/schlagwort/ /pl/tag/ /fr/mot-cle/ /es/etiqueta/ # ============================================================================ # GRABILICE KOJE NE DONOSE POSJETITELJA - ZABRANJENE 30-08-2026 # # Razlog (izmjereno iz zapisnika posluzitelja 24.-28-08-2026, 3.692.568 zahtjeva # u cetiri dana): programi koji se sami predstavljaju kao grabilice nose 65,5 % # svega prometa. Najveci: ClaudeBot 512.367, Amazonbot 282.196, AhrefsBot 213.418. # Nijedan ne salje posjetitelja, a svi trose posluzitelj i okidaju odlazne # poveznice prema prodavateljima. # # Zasto je hitno: omjer prodaja na tisucu klikova pao je s 4,3 (lipanj 2026.) na # 0,30 (srpanj) i 0,59 (kolovoz). Partnerski program gleda bas taj omjer i na toj # razini otvara provjeru racuna - a to je jedini izvor prihoda. # # NAMJERNO NISU ZABRANJENI: Googlebot, bingbot, Applebot, DuckDuckBot i # OAI-SearchBot (donose posjetitelje iz trazilica) te ChatGPT-User i Claude-User # (dohvat koji pokrece covjek kad otvori nasu poveznicu - to je pravi posjetitelj). # Zabranjeni su samo skupljaci gradiva za ucenje i alati za analizu veza. # # Lazni "Safari 8.0.2" s Amazonova oblaka (135.988 zahtjeva) ovime se NE hvata - # ne predstavlja se i ne postuje robots.txt; za njega treba zabrana po mrezi. # Ucinak se mjeri za tjedan dana: broj klikova i omjer prodaja na tisucu klikova. # ============================================================================ User-agent: ClaudeBot Disallow: / User-agent: Amazonbot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: GPTBot Disallow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: / User-agent: meta-externalagent Disallow: / User-agent: SemrushBot Disallow: / User-agent: DotBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DataForSeoBot Disallow: / User-agent: PetalBot Disallow: / User-agent: Applebot-Extended Disallow: / # ============================================================================ # DODANO 26-09-2026 (nalog korisnika) — izmjereno vlastitim zapisom obilaska # (Global.asax -> App_Data/obilazak-trazilica.txt), 13.129 dohvata u 37 minuta, # sto je oko pola milijuna na dan: # PerplexityBot 36,6 % svega robotskog prometa (oko 187.000 dnevno), # sest puta vise od Googlebota, koji je 6,3 %. # SERankingBacklinksBot 2,8 % — alat za analizu poveznica, isti soj kao # AhrefsBot i SemrushBot vec zabranjeni 30-08-2026. # Baiduspider 3,4 % s inacicom za prikaz — kineska trazilica, a # ulaznice prodajemo za Europu i Ameriku. # Nijedan od njih nije okinuo nijedan odlazni klik prema prodavatelju (0 od 13.129), # pa razlog zabrane nije omjer prodaja nego cisto opterecenje posluzitelja. # NIJE zabranjen Perplexity-User: to nije obilazitelj nego dohvat koji pokrene # covjek kad otvori nasu poveznicu — isto pravilo kao za ChatGPT-User i Claude-User. # ============================================================================ User-agent: PerplexityBot Disallow: / User-agent: SERankingBacklinksBot Disallow: / User-agent: Baiduspider Disallow: / User-agent: Baiduspider-render Disallow: / # ============================================================================ # DODANO 27-09-2026 (nalog korisnika) — izmjereno punim imenima u vlastitom zapisu # (Global.asax -> App_Data/obilazak-trazilica.txt), zadnja 2,5 sata = 32.683 dohvata: # Reflectionbot 7.981 (24,4 %) — najveci od svih, veci od Bingbota # Amzn-SearchBot 2.050 (6,3 %) # meta-webindexer 1.368 (4,2 %) # ExaSearchBot 570 (1,7 %) # mediaboardbot 231 (0,7 %) # QlyzeBot 100 (0,3 %) # AionBot 83 (0,3 %) # Zajedno 38 % svega robotskog prometa, a nijedan ne salje posjetitelje ni ne # navodi nas kao izvor. NIJESU zabranjeni Googlebot, Bingbot, Applebot, YandexBot, # ChatGPT-User, OAI-SearchBot i Claude-SearchBot. # 🔴 Ovdje je do danas stajao redak „Allow: /" bez svoje skupine, pa je pripadao # skupini Baiduspider-render i time joj ponistavao zabranu. Uklonjen. # ============================================================================ User-agent: Reflectionbot Disallow: / User-agent: Amzn-SearchBot Disallow: / User-agent: meta-webindexer Disallow: / User-agent: ExaSearchBot Disallow: / User-agent: mediaboardbot Disallow: / User-agent: QlyzeBot Disallow: / User-agent: AionBot Disallow: / # Sitemap index -> child sitemaps (events / articles / static). Sitemap: https://karlobag.eu/sitemap-portal.xml