Guida di Log File Analyser: il SetUp

Screaming Frog Log File Analyser è stato sviluppato per assistere chi si occupa di Seo e di Web Analisys nello studio ed analisi delle attività di Crawling degli Spider come Googlebot, Bingbot e altri. Questo tool è un’applicazione desktop e permette grazie al “drag & drop” di analizzare milioni di righe di log in pochi minuti. Il tool si presenta in due versioni: la prima versione gratuita che permette un’analisi fino a 1.000 righe e la gestione di un singolo progetto e la seconda a pagamento (99 sterline) con progetti e righe di log illimitati.

I PROGETTI CON LOG ANALYSER

Per iniziare un nuovo progetto sarà sufficiente cliccare su “Project —> New” dal menù principale, assegnargli un nome e configurare la Timezone (UTC).
Il nome del progetto sarà modificabile anche in seguito.

Siamo ancora in una fase di setup e dopo aver assegnato un nome al progetto dovremo indicare allo strumento quali “User Agent” prendere in considerazione nella sua leggiadra lettura dei log di server. Nonostante  ci sia sempre la tentazione di aggiungere il numero massimo di Spider nelle nostre analisi, il consiglio è quello di iniziare con quelli impostati di default per per migliorare il tempo di risposta di Log File Analyser e non disperdere performance nell’analisi (out of memory).

Per configurazione di default “Screaming Frog Log Analyser” imposterà i seguenti spider:

• Googlebot,
• Bingbot,
• Goolgebot Mobile,
• Googlebot Smartphone,
• Yandex,
• Baidu.

Dalla finestra di sinistra del pannello sarà possibile aggiungere manualmente altri User-agent che riteniamo interessanti scegliendoli dalla lista completa proposta.

TAB Include

Sempre in questa fase di settaggio della nostra analisi Log possiamo approfittare della funzioanlità della Tab “Include” che permette di inserire una lista di espressioni regolari da importare all’interno del nostro progetto che permettono di analizzare solamente certi domini o “path” (percorsi) precisi per salvaguardare le performance e i tempi di analisi. Altrimenti, se volessimo un’analisi completa del nostro sito web ci basterà lasciare in bianco e confermare con “ok”.

Nel nostro caso se volessimo analizzare solamente le pagine che fanno parte del blog ci basterà utilizzare l’espressione regolare “.*/blog/.*

Convalidare uno Spider

L'analisi si basa sul comportamento degli Spider sul nostro sito web cosicché è buona norma verificare che i Bot che "crawlerano" siano autentici e non emulatori (stile Screaming Frog). Log File Analyser permette di verificare automaticamente sia durante l’upload del file di log si in modo retroattivo dopo l’import del sito in un progetto.  Se vogliamo fare un controllo preventivo possiamo farlo durante la scelta degli User-Agent selezionando la voce “Verify Bots when Importing Logs”

Se abbiamo già importato il file log nel nostro progetto possiamo cliccare su “Project —> Verify Bots” direttamente dal menù principale.

Perchè è consigliato verificare l'autenticità degli Spider?

Quando usiamo strumenti di “crawling” come Screaming Frog o similari il BOT viene emulato (spoofed) e questi dati potrebbero influenzare i dati e di conseguenza le nostre analisi; per questo motivo è necessario che il tool analizzi correttamente e ci fornisca solamente gli spider genuini e reali. Log File Analyser, ad esempio, per accertarsi che si tratti di Googlebot farà un reverse DNS lookup, verificherà il nome del dominio ed eseguirà un DNS di inoltro attraverso il comando host per vedere che la corrispondenza dell' IP richiedente sia originale.

Terminata questa fase di convalida sarà possibile isolare gli Spider ed ottenere maggiore granularità nei dati analizzati.

URL relativi o Assoluti nel file di Log

Il nostro file di log potrebbe esprimere gli Url in formato relativo  piuttosto che ‘url assoluti; in questo caso Log File Analyser potrebbe richiedere l’intero percorso del nostro dominio incluso il protocollo "http" o "https".

In questo caso sarà sufficiente inserire l’Url nella schermata di errore che ci verrà proposta dal tool ed iniziare la consultazione dei dati.

Leggi la III Parte della Guida di Log File Analyser >>

Credits: La guida è stata tradotta ed integrata da quella ufficiale di Screaming Frog nella sezioneLog File Analyser. Le immagini sono di proprietà della società Screaming Frog. Download Log File Analyser.