Strumento SEO

Tester Robots.txt

Incolla il contenuto del tuo robots.txt e testa se i percorsi URL specifici sono consentiti o bloccati per diversi bot dei motori di ricerca.

Test Immediato

Incolla il tuo robots.txt e testa i percorsi URL immediatamente. Vedi i risultati in tempo reale mentre digiti.

Supporto per Più Bot

Testa contro Googlebot, Bingbot e altri crawler popolari. Vedi esattamente come ogni bot interpreta le tue regole.

100% Lato Client

Tutta l'analisi e il test avvengono nel tuo browser. Il contenuto del tuo robots.txt non lascia mai il tuo dispositivo.

Comprendere Robots.txt

Il file robots.txt è uno standard utilizzato dai siti web per comunicare con i crawler dei motori di ricerca e altri robot web. Indica ai bot quali parti del tuo sito possono e non possono accedere.

Che cos'è robots.txt?

Robots.txt è un file di testo semplice posizionato nella radice del tuo sito web (es. esempio.com/robots.txt) che segue il Protocollo di Esclusione dei Robots. Contiene regole che indicano ai crawler quali URL possono accedere sul tuo sito.

Come Utilizzare Questo Strumento

Incolla il contenuto del tuo robots.txt nell'area di testo (o caricalo da un dominio), inserisci un percorso URL che desideri testare, seleziona un user-agent e clicca su 'Testa URL'. Lo strumento ti dirà immediatamente se il percorso è consentito o bloccato.

Perché Testare il Tuo Robots.txt?

  • Prevenire il blocco accidentale di pagine importanti dai motori di ricerca
  • Assicurati che le pagine private o di amministrazione siano correttamente nascoste dai crawler
  • Debug dei problemi di crawling prima che impattino le tue classifiche di ricerca
  • Valida le modifiche prima di implementarle in produzione

Privacy Garantita

Questo strumento funziona interamente nel tuo browser. Il contenuto del tuo robots.txt e gli URL di test non vengono mai inviati a nessun server. Perfetto per testare regole che contengono percorsi sensibili.

Domande Frequenti

Come funziona il matching di robots.txt?
Robots.txt utilizza il matching del prefisso del percorso. Una regola come 'Disallow: /admin/' blocca tutti gli URL che iniziano con '/admin/'. Il carattere jolly (*) può essere utilizzato per il matching dei modelli, e il simbolo del dollaro ($) ancorerà un match alla fine di un URL.
Cosa ha la priorità: Allow o Disallow?
Quando sia le regole Allow che Disallow corrispondono a un URL, la regola più specifica (più lunga) vince. Se hanno la stessa lunghezza, Allow ha la priorità. Questo segue l'interpretazione standard di Google.
Robots.txt impedisce l'indicizzazione delle pagine?
No, robots.txt controlla solo il crawling, non l'indicizzazione. Una pagina bloccata da robots.txt può comunque apparire nei risultati di ricerca se altre pagine la collegano. Usa il tag meta 'noindex' per prevenire l'indicizzazione.
Cosa succede se non esiste robots.txt?
Se non esiste alcun file robots.txt, i crawler presumono di poter accedere a tutte le parti del tuo sito. Questo è il comportamento predefinito per i bot ben comportati.
Posso testare le regole con caratteri jolly?
Sì, questo strumento supporta il matching con caratteri jolly (*) e l'ancoraggio alla fine dell'URL ($) come utilizzato da Google e altri motori di ricerca principali.