Le Sitemaps con Screaming Frog

SCREAMING FROG: CREARE UNA SITEMAP

Nell’analisi di ogni sito internet è ottimale creare una Sitemap per inviarla a Google attraverso la Search Console. Per poterlo fare con semplicità attraverso Screaming Frog dovremo seguire questi steps:

• Inseriamo il dominio ed iniziamo a “Crawlerare” il sito cliccando Start;
• Al completamento della scansione → Clicchiamo su Sitemaps → Create XML Sitemaps;
• Selezioniamo le pagine da inserire. Per default Screaming Frog include tutte le pagine che hanno ricevuto uno “Status Code 200” nella Tab Internal. Vengono in automatico escluse le pagine con “Status Code” corrispondenti a “redirect” (3XX), pagine non trovate o link “corrotti” (4XX) o errori del server (5XX). 
• Pages: le pagine bloccate dal “Robots.txt” non vengono inserite nella Sitemap che stiamo generando ma, manualmente, le possiamo includere selezionando le voci direttamente dalla Tab “Pages” (pagine “NoIndex”, Canonicalizzate” “URLs con il tag “rel=prel” e “rel=next”).
• Nel caso volessimo non inserire nella Sitemaps delle pagine specifiche, anche se presentano lo Status code 2XX nella Tab “Internal” dovremo:
  • ritornare su “Internal Tab”
  • selezionare le pagine da escludere dalla Sitemap
  • cliccare con il tasto destro
  • scegliere “Remove”
  • ritornare su “sitemaps → generate XML sitemaps
• Last Modified: questo è un attributo opzionale della Sitemap e rappresenta la data dell’ultima modifica dei files. Basterà disabilitarla per non mostrare ai motori di ricerca quando la pagina è stata aggiornata.
• Priority: questo attributo è opzionale ma permette di segnalare allo Spider l’importanza delle singole URl. Il range di importanza va da 0.0 a 1.0. Di default il sistema imposta 0.5. L’impostazione del parametro viene gestito attraverso il livello dei singoli URl (Homepage level=0). Per poter decidere le priorità basterà consultare i livelli in base ai dati della Tab “Internal” sotto la colonna “level”. Normalmente l’Homepage sarà settata con priorità “1”,man mano che i livelli crescono (level 1,2,3..)le priorità decresceranno dello 0.1; quindi il livello “1” avrà priorità “0.9”.
• Change Frequency: da questa tab sarà possibile cambiare la frequenza con cui le nostre pagine verranno aggiornate nel contenuto. Sarà un indicazione per lo Spider di Google che, “presumibilmente”, seguirà queste indicazioni per decidere quando inviare il Bot sul nostro dominio. Ovviamente una frequenza ridotta (ex. hourly, daily) inviterà lo Spider a visitarci con maggiore assiduità rispetto indicazioni di medio o lungo periodo (monthly, yearly).
• Images: permette di inserire nella nostra sitemap tutte le immagini ospitate sul sito e presenti sulla Tab Internal → Images. Se le immagini sono ospitate su CDN, sottodominio saranno presenti su “External Tab”. Attraverso la funzione “Regex List” sarà possibile inserirle nella Sitemap.
• es. “.*sottodominio.dominio.it*”
• Click “Next” e salviamo la nostra Sitemap in versione “XML” da inviare tramite search console a Google.
   

CONTROLLARE UNA SITEMAP ESISTENTE

Screaming Frog permette il controllo di “sitemap.xml” già esistenti per verificarne la strutturazione. Per poter utilizzare questa funzione dobbiamo seguire alcuni steps:

• Abilitiamo la funzionalità “List”: MODE → “LIST”;
• Clicchiamo su “Select File” e importiamo la nostra Sitemap;
• Avviamo lo Spider.

Alla conclusione dell’attività di crawling saremo in grado di individuare eventuali pagine che presentano errori o criticità.
 

MIGRAZIONE VECCHIO SITO

La funzione “Mode → List” è molto utile per verificare se la migrazione di un sito internet è andato a buon fine. Basterà essere in possesso di una Sitemap del sito che verrà sostituito, importare il file  su Screaming Frog e lanciare il crawling: in questo modo potremo vedere se tutti gli URLs sono stati re-indirizzati correttamente o generano ancora degli errori 404.