ChatGPT već posećuje vaš sajt. Evo kako da to vidite.

Otvorite access log svog servera i potražite "ChatGPT". Na skoro svakom sajtu koji proverim, tu je. Tu su i Claude, Perplexity i nekoliko crawlera za koje niste ni čuli. Većina vlasnika sajtova pojma nema, jer se ništa od toga ne vidi u Google Analyticsu.

Evo ko su ti botovi, šta koji hoće, kako da ih nađete za pet minuta i kako da odlučite ko ulazi.

Tri vrste AI poseta

Nije svaka AI poseta ista, a kad sve strpate pod "AI skrejpovanje", donosite loše odluke. Postoje tri posla:

• Treniranje. Crawler skuplja strane koje mogu da se koriste za treniranje budućih modela. Direktno ne dobijate ništa. Na ovo većina ljudi misli kad kaže da hoće da blokira AI.
• Indeks za pretragu. Crawler pravi indeks koji AI pretraživač koristi da nađe i citira izvore. Blokirajte ga i nema vas u odgovorima tog proizvoda.
• Odgovori uživo. Korisnik postavi pitanje, a asistent baš tada povuče vašu stranu da bi odgovorio. Ovo je najbliže pravom posetiocu i ovo donosi klikove.

Veliki igrači sada koriste poseban user agent za svaki posao, što znači da prema svakom možete da se ponašate drugačije.

Ko kuca na vrata

Svako ime ispod sam u novembru 2026. proverio u zvaničnoj dokumentaciji proizvođača. User agenti se menjaju, pa proverite ponovo pre nego što prepišete pravila sa bilo kog bloga, uključujući i ovaj.

User agent	Firma	Posao	Poštuje robots.txt
GPTBot	OpenAI	Treniranje	Da
OAI-SearchBot	OpenAI	Indeks za ChatGPT pretragu	Da
ChatGPT-User	OpenAI	Preuzimanje uživo kad korisnik pita	Ne nužno, pokreće ga korisnik
ClaudeBot	Anthropic	Treniranje	Da
Claude-SearchBot	Anthropic	Kvalitet i indeks pretrage	Da
Claude-User	Anthropic	Preuzimanje uživo kad korisnik pita	Da
PerplexityBot	Perplexity	Indeks za pretragu, ne koristi se za treniranje	Da
Perplexity-User	Perplexity	Preuzimanje uživo kad korisnik pita	Uglavnom ne
CCBot	Common Crawl	Otvorena arhiva weba, široko korišćena za treniranje	Da
Bytespider	ByteDance	Crawler vezan za treniranje	Prijavljeno kao nedosledno

Dva imena koja ćete videti u vodičima za robots.txt uopšte nisu crawleri. Google-Extended je token u robots.txt: Google indeksira svojim običnim botovima, a token odlučuje da li taj sadržaj sme da se koristi za treniranje Geminija i za grounding. Blokiranje ne utiče na Google pretragu. Applebot-Extended radi isto za Apple: Applebot indeksira, Extended token kontroliše korišćenje za treniranje Apple-ovih modela i takođe ne utiče na pretragu.

Nađite ih u logovima servera

Alati za analitiku kao što je GA4 rade u pregledaču. Botovi ne pokreću vaš JavaScript, pa ih tamo nikad nema. Istina je u access logu servera. Na nginx-u je obično /var/log/nginx/access.log, na Apache-u /var/log/apache2/access.log. Na deljenom hostingu u cPanelu potražite "Raw Access Logs".

Prebrojte AI zahteve po botu:

grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider" \
  /var/log/nginx/access.log | sort | uniq -c | sort -rn

Pogledajte koje je strane ChatGPT povukao da bi odgovorio na prava pitanja. U podrazumevanom combined formatu, putanja je sedmo polje:

grep "ChatGPT-User" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Logovi se rotiraju, pa uključite i starije sa zgrep ... /var/log/nginx/access.log*. Ta druga komanda je najzanimljiviji izveštaj koji većina mojih klijenata nikad nije videla: spisak strana koje je AI pročitao dok je neko odlučivao da li da kupi.

Jedno upozorenje. Svako može da upiše "GPTBot" u user agent. Ako vas neki bot zatrpava zahtevima, proverite ga prema IP opsezima koje proizvođač objavljuje. OpenAI, na primer, objavljuje JSON liste za GPTBot, OAI-SearchBot i ChatGPT-User.

Ako ste na Cloudflare-u

Cloudflare-ov AI Crawl Control, ranije AI Audit, pokazuje koji AI servisi pristupaju sajtu, grupisani po firmi, sa dozvolom i zabranom za svaki crawler. Radi na svim paketima. Brojke o preporukama, deo koji vam kaže da li vam crawler ikad nekog pošalje nazad, traže plaćeni paket. Ovo je najbrži pregled koji možete da dobijete bez terminala.

Pustite AI pretragu, blokirajte treniranje

Ovo je moje podrazumevano podešavanje za klijente koji žele da budu u AI odgovorima, ali ne žele da im sadržaj završi u skupovima za treniranje:

# AI pretraga i odgovori uživo: dobrodošli
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Treniranje: hvala, ne
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

Četiri stvari koje treba da znate pre nego što ovo nalepite:

• robots.txt je molba, ne zid. Ozbiljni proizvođači ga poštuju. Za one koji ne poštuju, blokirajte na serveru ili CDN-u.
• Za preuzimanje uživo važe druga pravila. OpenAI kaže da se pravila iz robots.txt možda ne primenjuju na ChatGPT-User, a Perplexity kaže da ih Perplexity-User uglavnom ignoriše, jer je stranu zatražio čovek.
• Ne blokirajte botove za pretragu slučajno. Zabranite OAI-SearchBot i nema vas u odgovorima ChatGPT pretrage. Opšta zabrana pod User-agent: * radi upravo to.
• Blokiranje treniranja je poslovna odluka. Za izdavača sa plaćenim sadržajem, blokirajte. Za lokalnog stomatologa koji želi da svaki model zna da postoji, treniranje obično ostavljam otvoreno. OpenAI navodi da, ako dozvolite i GPTBot i OAI-SearchBot, može da iskoristi jedno indeksiranje za oba.

Zašto vam se chatgpt.com pojavljuje u analitici

Novac je u odgovorima uživo. Kad ChatGPT citira vašu stranu i korisnik klikne, poseta stiže sa chatgpt.com kao izvorom, obično označena sa utm_source=chatgpt.com. Perplexity i Claude se pojavljuju na isti način, pod svojim domenima.

U GA4 otvorite Reports, pa Acquisition, pa Traffic acquisition, i filtrirajte session source na "chatgpt", "perplexity" i "claude". Brojke su često male. Kvalitet obično nije. Neko ko klikne izvor u AI odgovoru već je pročitao sažetak o vama i i dalje hoće još.

Ono što GA4 ne može da vam pokaže je korak pre toga: preuzimanje. Red u logu gde je ChatGPT-User pročitao vašu stranu sa cenama je trenutak kad ste bili razmatrani. Poseta je trenutak kad ste pobedili.

Kako to prikazujemo u Xagio-u

Zbog te rupe smo u Xagio-u napravili Traffic & Analytics. Čita svaki zahtev na serveru i deli ga na posetioce, AI asistente, pretraživače, i botove i greške. AI posete su razdvojene na odgovore uživo, indeks i treniranje, po agentu. Prikaz citata povezuje tačke: asistent povuče stranu, server to zabeleži, a posetilac stigne iz razgovora. Pored toga stoji Search Console prikaz, pa su Google i AI saobraćaj na jednom ekranu. Na sajtovima koje hostuje Xagio zabeleženo je 66.970 LLM citata u jednom periodu od 30 dana, u novembru 2026.

Ne treba vam Xagio da počnete. Dve grep komande iznad će vam već večeras reći najveći deo priče.

AI provera za 15 minuta

• Prebrojte AI user agente u access logu za poslednjih 30 dana
• Izlistajte 20 strana koje su ChatGPT-User, Claude-User i Perplexity-User najčešće povukli
• Proverite da se te strane brzo učitavaju i da važne stvari govore u običnom HTML-u, ne samo kroz JavaScript
• Otvorite robots.txt i proverite da slučajno ne blokirate OAI-SearchBot, Claude-SearchBot ili PerplexityBot
• Odlučite o botovima za treniranje namerno, i napišite pravila
• Filtrirajte GA4 Traffic acquisition na chatgpt, perplexity i claude
• Ako ste na Cloudflare-u, otvorite AI Crawl Control i uporedite
• Ponavljajte svakog meseca. Ove liste se brzo menjaju.

Ako želite da to neko uradi umesto vas, pristup AI crawlera je deo mog SEO rada. Ili mi pošaljite domen i reći ću vam koji AI botovi su čitali vaš sajt prošlog meseca.