Te pot citi roboții AI? Verifică GPTBot, ClaudeBot și PerplexityBot
Deschide site-ul-tau.md/robots.txt în browser. Dacă vezi numele unui robot AI — GPTBot, ClaudeBot, PerplexityBot — urmat de „Disallow: /”, robotul acela nu îți citește site-ul. Dacă fișierul lipsește sau nu conține numele lor, toți au voie implicit.
Acest ghid e partea practică a articolului „GEO: cum te recomandă ChatGPT, Perplexity și Google AI”, care explică de ce contează accesul roboților. Aici e doar cum verifici și cum corectezi, pas cu pas.
Unde găsești fișierul
Fișierul stă mereu la rădăcina site-ului, niciodată într-un subdirector: site-ul-tau.md/robots.txt. Deschide-l direct în browser — e text simplu, nu ai nevoie de niciun cont sau unealtă.
Trei rezultate posibile:
| Ce vezi | Ce înseamnă |
|---|---|
| O eroare 404, pagina nu există | Fișierul lipsește. Implicit, toți roboții au acces liber — inclusiv cei AI. |
| Un fișier gol sau doar comentarii | Același lucru: acces liber, nimic blocat. |
| Un fișier cu reguli | Trebuie citit rând cu rând — vezi mai jos. |
Dacă ai mai multe subdomenii — blog.site-ul-tau.md, magazin.site-ul-tau.md — fiecare are propriul robots.txt, separat. Un blog găzduit pe subdomeniu nu moștenește regulile de pe domeniul principal.
Cum se citește, pe scurt
Fișierul e organizat pe blocuri. Fiecare bloc începe cu User-agent: — numele robotului la care se referă — urmat de linii Disallow: (interzis) sau Allow: (permis).
User-agent: GPTBot
Disallow: /
Blocul de mai sus interzice exact un singur robot, GPTBot. Nu afectează niciun alt robot, nici pe cele nenumite explicit.
User-agent: *
Disallow: /
Asteriscul * înseamnă „toți roboții care nu au un bloc separat, mai jos sau mai sus, cu numele lor exact”. Dacă vezi asta, și niciun robot AI nu are propriul bloc, ești blocat pentru toată lumea — inclusiv pentru Google.
Regula generală: un bloc cu nume exact are prioritate față de regula generală *, indiferent de ordinea din fișier. Dacă fișierul are Disallow: / pentru * dar și Allow: / pentru OAI-SearchBot, acel robot anume tot are voie.
Roboții care contează, cu numele exacte
Aici e lista actualizată, verificată direct în documentația fiecărei companii — nu presupune, verifică, pentru că numele se schimbă.
OpenAI
| Robot | Rol | Respectă robots.txt |
|---|---|---|
GPTBot |
Adună text pentru antrenarea modelelor | Da |
OAI-SearchBot |
Aduce pagini pentru răspunsurile cu surse din ChatGPT | Da |
OAI-AdsBot |
Verifică paginile de destinație ale reclamelor | Da |
ChatGPT-User |
Deschide o pagină când un om cere explicit, în timpul unei conversații | Documentat ca fiind, în general, în afara mecanismului automat de crawling |
Anthropic (Claude)
| Robot | Rol | Respectă robots.txt |
|---|---|---|
ClaudeBot |
Adună text pentru antrenarea modelelor | Da |
Claude-SearchBot |
Analizează conținut pentru calitatea răspunsurilor cu căutare | Da |
Claude-User |
Aduce o pagină la cererea explicită a unui om, într-o conversație | Documentat ca ignorând de regulă robots.txt, pentru că cererea vine direct de la om |
Perplexity
| Robot | Rol | Respectă robots.txt |
|---|---|---|
PerplexityBot |
Indexează pagini pentru rezultatele din căutarea Perplexity — nu e folosit pentru antrenarea modelelor | Da |
Perplexity-User |
Aduce o pagină la cererea explicită a unui om | Documentat ca ignorând de regulă robots.txt |
Spre deosebire de OpenAI și Anthropic, Perplexity nu documentează un robot separat de antrenare — PerplexityBot e cel de căutare.
| Robot | Rol | Afectează poziția în Google Search |
|---|---|---|
Google-Extended |
Controlează dacă textul tău ajută la antrenarea modelelor Gemini | Nu — Google spune explicit că nu e semnal de clasare |
Googlebot |
Robotul obișnuit de căutare, nelegat de AI | Da, e chiar baza indexării |
Un șablon robots.txt, gata de copiat
Dacă vrei acces pentru roboții de căutare și citare, dar nu vrei ca textul tău să fie folosit la antrenarea modelelor, acesta e un punct de plecare rezonabil:
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Câteva precizări, ca să nu-l copiezi orbește:
Allow: /explicit e opțional, dar mai clar. Fără reguli, un robot are oricum acces liber. Scrierea explicită arată intenția — utilă pentru tine peste un an, când nu mai ții minte de ce fișierul arată așa.- Blocarea antrenării (
GPTBot,ClaudeBot) nu te scoate din răspunsurile citate. Roboții de căutare —OAI-SearchBot,Claude-SearchBot,PerplexityBot— sunt separați și rămân activi în șablonul de mai sus. - Nu există o variantă „corectă” universală. Dacă preferi ca textul tău să nu fie folosit deloc la antrenare, dar nici să nu apari citat, schimbă și liniile
AllowînDisallow. E alegerea ta, nu una tehnică.
Cum verifici că regulile chiar funcționează
Scrierea fișierului e primul pas. Verificarea că roboții îl respectă e al doilea, și des sărit.
- Recitește fișierul live, nu doar cel din editor. Deschide
site-ul-tau.md/robots.txtdin nou, după ce ai publicat modificarea. Cache-ul găzduirii sau al unui CDN poate servi o versiune veche minute sau ore. - Verifică raportul robots.txt din Search Console. Vechiul instrument „robots.txt Tester” a fost retras de Google; în locul lui, raportul robots.txt din Search Console arată ultima versiune pe care Google a citit-o și dacă are erori de sintaxă.
- Pentru o pagină anume, folosește inspecția de URL. Search Console îți spune direct dacă o pagină e „Blocată de robots.txt” pentru Googlebot.
- Pentru roboții AI, nu există un instrument echivalent oficial. Cea mai sigură metodă rămâne citirea manuală a fișierului, cu numele exacte din tabelele de mai sus.
Probleme frecvente
Panoul de securitate blochează roboți fără să scrie nimic în robots.txt. Unele extensii de securitate sau firewall-uri (WAF) opresc roboții la nivel de rețea, după numele lor de agent, fără ca asta să apară vreodată în robots.txt. Fișierul poate arăta perfect deschis și robotul tot să nu ajungă la pagină. Dacă bănuiești asta, verifică jurnalele („logs”) de acces ale găzduirii, nu doar fișierul text.
Cloudflare poate adăuga reguli automat. Funcția managed robots.txt scrie directive fără să te anunțe — detaliile sunt în articolul despre GEO.
Un plugin vechi poate suprascrie fișierul la fiecare salvare. Unele module WordPress de SEO regenerează robots.txt din setările proprii, ignorând orice ai scris manual. Dacă modificările tale dispar constant, verifică acolo primul.
O nuanță importantă: robots.txt e o cerere, nu un lacăt
Merită spus direct, pentru că schimbă cum privești tot fișierul.
robots.txt funcționează prin cooperare voluntară. Companiile mari — OpenAI, Anthropic, Perplexity, Google — își documentează public roboții și confirmă că le respectă regulile. Dar standardul, tehnic, nu oprește nimic: un script scris ad-hoc, care nu se identifică cu niciunul dintre numele de mai sus, poate citi pagina oricum.
Consecința practică: robots.txt e instrumentul corect pentru a-ți exprima preferința față de roboții mari, documentați, care chiar o respectă. Nu e un sistem de securitate și nu protejează informații sensibile — pentru asta ai nevoie de autentificare, nu de un fișier text public.
Primul lucru pe care îl poți face azi
Deschide site-ul-tau.md/robots.txt. Compară ce vezi cu tabelele de mai sus. Dacă găsești un nume din listă urmat de Disallow: / și nu-ți amintești să fi decis asta, ai găsit exact motivul pentru care lipsești dintr-un răspuns AI.
Surse
- OpenAI, documentația oficială a roboților — GPTBot, OAI-SearchBot, OAI-AdsBot, ChatGPT-User.
- Anthropic (Claude), documentația despre crawlere — ClaudeBot, Claude-SearchBot, Claude-User.
- Perplexity, documentația despre roboți — PerplexityBot, Perplexity-User.
- Google, prezentarea generală a crawlerelor — Google-Extended și confirmarea că nu afectează clasarea în Search.
- Google, raportul robots.txt din Search Console — cum verifici ultima versiune citită de Google.
- Google, ghidul de creare a robots.txt — sintaxa completă și cazurile speciale.
Întrebări frecvente
Permis. Absența fișierului înseamnă acces liber pentru toți roboții, inclusiv cei AI. Un robots.txt lipsă nu e o problemă de acces — poate fi totuși un semn că nimeni nu s-a uitat vreodată la ce citesc roboții pe site.
De obicei una din trei surse: tema site-ului, un plugin de securitate, sau o funcție automată a găzduirii ori a Cloudflare, cum e managed robots.txt. Niciuna nu te anunță când modifică fișierul — de-aia merită verificat manual, nu presupus.
Nu neapărat. Robots.txt e o cerere politicoasă, respectată voluntar. Roboții mari — GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot — o respectă documentat. Dar fișierul nu e un mecanism tehnic de blocare, precum o parolă; nu oprește un script scris ad-hoc care ignoră regula.
Google l-a retras. În loc: raportul robots.txt din Search Console îți arată dacă Google a citit fișierul corect, iar instrumentul de inspecție a URL-urilor îți spune, pentru o pagină anume, dacă e „Blocată de robots.txt”. Pentru roboții AI, cea mai sigură metodă rămâne citirea directă a fișierului.
Nu. Fiecare subdomeniu are propriul robots.txt, la propria rădăcină — blog.site-ul-tau.md/robots.txt e separat de site-ul-tau.md/robots.txt. Dacă blogul stă pe un subdomeniu, verifică-l separat.
MR. SEO · actualizat la 18 septembrie 2026