Faq | Seo Spider

FAQ: Screaming Frog

Questa sezione della nostra guida vuole rispondere alle domande più comuni che normalmente vengono sollevate dagli utilizzatori di Screaming Frog.
 

Perchè il Seo Spider non “crawlera” il mio sito internet?

 
I motivi per cui lo Spider non riesce a crawlerare il nostro sito internet possono essere innumerevoli, riassumiamo i problemi più comuni:

• il sito è bloccato dal file robots.txt: in questo caso lo possiamo verificare guardando la tab “Internal Tab”: se lo status code è “0” e lo “Status” riporta “Blocked by Robots.txt” siamo in questa situazione. Possiamo risolverlo in due modi

 Inserire nel robots.txt il seguente codice:

User-agent: * Disallow: / User-agent: Screaming Frog SEO Spider Allow: /

• Ignorando il “robots.txt”

CONFIGURATION --> ROBOTS.TXT -->SETTINGS --> IGNORE ROBOTS.TXT

• User Agent: il sito ha comportamenti differenti in base allo User Agent configurato. La soluzione potrebbe essere trovata andando a modificarlo: “Configuration” → HTTP Header → User Agent
• Javascript: il sito richiede Javascript per funzionare. La prima prova dovrebbe essere fatta direttamente sul browser con Javascript disabilitata per verificare il funzionamento (si raccomanda di cancellara la Cache). Il Seo Spider, per default, non non esegue il Javascript. Screaming frog prevede, nella versione a pagamento, la possibilità di utilizzare il “Javascript rendering”. Se il sito è stato progettato con Javascript Framework  o con contenuti dinamici sarà possibile modificare il rendering di Javascript da “Configuration” → Spider→ Rendering Tab → Javascript. Fondamentale che nel file “Robots.txt” non siano bloccati JS o CSS.
• Cookies: il sito richiede cookies (per default lo Spider non li considera). Andrebbe verificato che il sito si veda dopo aver disabilitato i cookies e dopo aver cancellato la cache. Con Screaming Frog possiamo anche considerarli andando su “Configuration” → Spider → “Allow Cookies” (nella Tab Advanced)
• Framesets: Lo spider non può crawlerare pagine con frame “src attribute”
• Accept-Language header

<meta http-equiv="content-type" content="text/html; charset=UTF-8"> 

Perchè lo Seo Spider “freeze”? (si blocca durante la scansione?)

• il motivo più diffuso è dovuto al raggiungimento del limite di memoria impostato. Se il problema persiste si consiglia di aumentare la memoria dedicata al Seo Spider.

Perchè lo Seo Spider mi restituisce come errore “Connection Error”?

“Connection Error” assieme a “Connection Timeout” sono dovuti principalmente a problemi del network (possibilità di andare online) o alle impostazioni del proxy. Nel secondo caso si consiglia di controllare i dati inseriti nelle impostazioni del Proxy.
 

Perchè lo Spider Seo mi restituisce l’errore “403 Forbidden”?

Questo errore viene restituito quando il server non permette allo Spider l’accesso ai contenuti del sito. Se l’errore è costante si potrebbe risolvere modificando lo User Agent (“Configuration → HTTP Header → User Agent). Se l’errore si presenta durante la scansione potrebbe essere dovuto alla velocità in cui lo Spider richiede al server le pagine da analizzare. 
In questo caso sarà sufficiente ridurre la velocità di scansione: “Configuration” → Speed.
Maggiore sarà il numero di “Threads” maggiore sarà la velocità dello Spider. Se  a “Max URI/s” associamo il numero “1” questo significherà che lo Spider scansionerà 1 pagina al secondo)
 

Come verifico gli “Alt Tag” se sono ospitati su un CDN (Content delivery Network)?

La verifica delle immagini, anche se ospitate su un CDN potrà essere fatta direttamente dalla finestra in basso nella tab “image info”.
 
Screaming Frog  crawlera anche i PDF?
 
La scansione controlla anche i link diretti ai documenti in “pdf” e ne restituisce lo “Status”. Questo controllo potrà essere fatto nella Tab “Internal” ed “Esternal” inserendo il filtro “pdf”. Il tool non analizza i pdf per trovare nuovi collegamenti da scansionare con lo Spider Seo.
 

Perchè lo Spider mi restituisce “Connection Timeout”?

Questo errore viene corrisposto quando il Seo Spider tenta di ricevere un “http response” dal server ma senza successo o in tempi considerati troppo lunghi. Questo evento potrebbe accadere nel caso di un sito o server con tempi di risposta molto lunghi o quando ci sono dei problemi nel network.
La prima cosa che consigliamo è la verifica che il sito (una volta cancellata la versione in “cache”) risponda alla chiamata nel browser; se questo test funziona possiamo:

• incrementare il tempo del “response timeout” di Screaming Frog portandolo dal “10 secondi” a “20 o 30 secondi”;
• diminuire la velocità dello Spider inserendo come richiesta 1 Url per secondo.
• controllare che le impostazioni del “proxy” siano settate correttamente.
   

Perchè lo Spider restituisce errore “503 Service Unavailable”?

Questo errore viene proposto quando il web server non permette l’accesso alle risorse da parte del Seo Spider per qualche ragione. Il consiglio è, prima provare a cambiare lo User Agent, secondariamente ridurre la velocità dello Spider crawler.

Perchè lo Spider Seo non trova le immagini di un sito?

Quando il “crawler” non trova le immagini di un sito analizzato normalmente le ragioni sono due:
le immagini sono caricate tramite Javascript: lo Spider, per default non esegue il Javascript. Per ovviare il problema  possiamo andare su “Configuration”--> Spider-->Rendering Tab-->Javascript. Ovviamente questo funzionerà se i files JS e CSS non sono bloccati magari da file robots.txt.
le immagini sono bloccate dal file robots.txt. In questo caso basterà, tramite la console impostare “ignore robots.txt” o “customizzare” il file per permettere il crawling.