Guida di Log File Analyser

GUIDA LOG FILE ANALYSER

La nostra guida ti introducerà alle più importanti funzioni di Log File Analyser attraverso IV articoli e un approfondimento che ti aiuterà a districarti fra le milioni di righe del tuo file di Log.

• Introduzione Log File Analyser;
• SetUp e prime Analisi;
• Creazione e Gestione dei progetti con Log Analyser;
• Impostazione degli URLs data;
• 15+3 Bonus per utilizzare Log File Analyser.

Introduzione

I professionisti della SEO sono giornalmente sollecitati dagli stati d’animo di Google e devono sempre essere preparati a quanto il motore di ricerca si aspetta dalle risorse trovate ed analizzate in rete.

Gli strumenti a disposizione di questi “Don Chisciotte” del web non mancano ma ci sono dei tools che dovrebbero sempre essere a disposizione nella cassetta degli attrezzi di professionisti del settore.

Fra tutti gli strumenti desktop o online che abbiamo testato ci vogliamo soffermare su due software che riteniamo indispensabili in fase di analisi quali il famoso "Screaming Frog", tool di riferimento per l'audit dello stato di salute di un sito web (crawling tool) e il nuovo "Seo Log File Analyser" che permette, in pochi click, di analizzare migliaia di righe del "file Log" permettendo al Seo di comprendere possibili coni di bottiglia o vere e proprie muraglie cinesi che ostacolano il BOT durante le sue scorribande sul nostro sito web o e-commerce.

Cosa sono i LOG del Server

Senza addentrarci in tecnicismi da veri e propri "nerd" possiamo asserire che i Log del Server corrispondono ad una serie di eventi registrati dal Server che permettono di comprendere come gli utenti e gli spider dei motori di ricerca (Google, Yahoo, Bing, Baidu o altri) navigano sul nostro sito web o e-commerce e quale sia stata la loro esperienza.

Purtroppo troppe volte la lettura dei file di Log viene considerata marginale e messa in secondo piano portando molte strategie Seo a basarsi esclusivamente su ipotesi, più o meno realistiche, che hanno come unico indice di veridicità la sensibilità dell’analista. 

Perchè sono fondamentali i File di Log

Grazie allo studio di questi file la percentuale di incertezza viene colmata e il risultato delle analisi presenta una base solida e contraddistinta da dati certi che ci permetteranno, in un secondo momento, di poter elaborare una strategia avanzata vincente.

Il file di log ci permette di conoscere principalmente tre tipologie di elementi di comportamento:

• Frequenza di scansione: questo fattore evidenzia quante volte una risorsa (Url) viene richiesta da un utente o un particolare Spider in uno specifico arco temporale;
• Volume di scansione: rappresenta il numero di pagine totale richieste da parte dello Spider durante la sua scansione;
• Profondità di scansione: questa metrica ci permette di conoscere il numero di livelli del sito web sono stati navigati dallo spider (dipenderà dalla configurazione strutturale del nostro sito web).

Ottenendo queste informazioni saremo in grado di capire se esistono ad esemio pagine orfane (Orphan Pages), pagine di difficile individuazione (un-crawled pages), quanto tempo necessita lo spider per scoprire i nostri nuovi contenuti, l’interesse specifico verso una o più risorse del sito web (ranking della pagina) e soprattutto cercare di quantificare quale sia il Crawling Budget effettivo assegnato al nostro site da parte del Motore di Ricerca.

Quando analizziamo il file contenenti i Log possiamo riscontrare i seguenti elementi:

• Quando è stata fatta la richiesta;
• Urls richiesti dallo Spider;
• User-Agent che ha fatto la richiesta (GoogleBot, BingBot, etc.)
• Response code (200,3xx,4xx,5xx): molto importante per capire su quale risorsa lo Spider ha posto maggiormente la sua attenzione cosicché, nel caso di una risorsa con “status code” 4xx quale priorità abbia il suo fix.
• Dimensione della richiesta( Size of response);
• IP Address del client;
• Tempo richiesto per soddisfare la richiesta;
• Refferer: la pagina che ospita il link che ha generato la richiesta.

Tips: l’analisi del file di log è indispensabile dopo aver eseguito una migrazione di un sito web perché ci permette di vedere quali siano gli url che sono rimasti in pancia allo spider e se i nostri potenziali re-indirizzamenti stanno facendo bene il loro lavoro.

Come leggere un File di LOG

I file di Log possono avere diversi formati: Apache, W3C, Amazon Elastic Load Balancing ed altri. Esaminiamo un esempio di un file di Log Apache per determinarne gli elementi contenuti.

File di Log in APACHE 

127.0.0.1 - - [01/Jul/2019:12:00:00 +0000] "GET https://www.webtek.it/chi-siamo/ HTTP/1.1" 200 634 "https://www.webteklab.it/“ "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"

Scompattando la stringa del file di log possiamo ottenere queste principali informazioni:

• 129.0.0.4: questo IP ha fatto la richiesta di una pagina del nostro sito web (Server IP)
• La richiesta è stata fatta il primo luglio 2019 ([01/Jul/2019:12:00:00 +0000] -  Timestamp)
• Metodo utilizzato per l'evento Get (Method Get/Post)
• L’URL richiesto è stato http://www.webtek.it/chi-siamo (Request URI)
• Il response code della pagina è stato 200 (HTTP Status Code)
• Il “Size” della richiesta è stata di 600 bytes
• L’Url della pagina richiesta è ospitata nel sito https://www.webteklab.it/
• User Agent: Chrome

Log Fyle Analyser

Il Log Fyle Analyser è un tool molto potente sviluppato dai programmatori di Screaming Frog e permette di processare, salvare e analizzare milioni di righe o eventi presenti nel file di Log in un database.
Le sue funzioni principali sono:

• Identificazione URL scansionati: il tool vede ed analizza quali url vengono scansionati da GoogleBot, BingBot o altri BOT e quale sia la frequenza di questa scansione.
• Scoprire la frequenza di scansione: Log File Analyser permette di scoprire quali Bot visitano il nostro sito web, quante volte ritornano a farci visita e  il numero di eventi.
• Response Code: è possibile monitorare lo status code dei nostri elementi, i link corrotti e altri errori che i Bot hanno riscontrato durante la loro scansione e esperienza (status code 20,3XX,4XX,5XX).
• Audit Redirect: permette di scoprire eventuali reindirizzamenti temporanei (302) e permanenti (301) riscontrati dallo Spider che potrebbero essere differenti da quelli scovati attraverso il browser o mediante una simulazione di scansione ( ad esempio con Screaming Frog).
• Miglioramento del Crawl Budget: grazie ai dati del file log sarà possibile analizzare le risorse scansionate, scoprire gli sprechi (waste area) e migliorare l’efficenza ed esperienza della scansione da parte del "crawler".
• Peso delle pagine: sarà possibile analizzare la media di bytes scaricati (average byte downoad) dallo Spider e il tempo per identificare pagine di dimensione elevata annullando le potenziali criticità e migliorando le performance.
• Pagine non scansionabili (uncrawled pages) e “Orphan Pages”: l’analisi dei log ci permetterà di capire se esistono delle pagine che non vengono scansione dallo Spider e se esistono delle risorse che non hanno collegamenti dai primi livelli da sito e che non permettono ai Bot di scansionarle. 

Leggi la II Parte della Guida di Log File Analyser >>

Credits: La guida è stata tradotta ed integrata da quella ufficiale di Screaming Frog nella sezioneLog File Analyser. Le immagini sono di proprietà della società Screaming Frog. Download Log File Analyser.