Semalt: cos'è Googlebot?



  1. introduzione
  2. Che cos'è Googlebot?
  3. Perché dovremmo preoccuparci di Googlebot?
  4. Perché Googlebot non esegue la scansione di tutte le pagine di alcuni siti?
  5. Come ottimizzare il tuo sito per massimizzare il budget di Googlebot
  6. Conclusione

introduzione

Sai come Google trova le risorse per la tua ricerca? Come ampiamente creduto, Google non è uno spirito tuttofare che sa di cosa tratta ogni contenuto online. Non è una specie di sensitivo che sa dov'è la risposta esatta alla tua domanda.

Come ogni altro motore di ricerca, ha un software che scansiona miliardi di pagine (e siti) ogni secondo per raccogliere informazioni; estrarre il valore del contenuto e il suo argomento. In modo che quando viene condotta una ricerca, la risposta è tratta da quelle pagine, un po' come una biblioteca.


Assomiglia molto al SEO, ed è perché ha molto a che fare con esso. Quando un sito è ottimizzato in modo efficace, Google lo vede rapidamente, legge le sue pagine e lo visualizza quando vengono eseguite ricerche correlate sul motore di ricerca.

Ma questo non si verifica per tutte le pagine di un sito, creando alcune pagine invisibile al mondo. Perché questo accade? E cosa si può fare contro di essa (soprattutto per pagine molto importanti)? Ecco una guida che spiega in dettaglio tutto sul crawler di siti Web di Google (Googlebot), perché non esegue la scansione di un numero sufficiente di pagine e in che modo il proprietario di un sito Web può utilizzare l'ottimizzazione del sito Web e la SEO per massimizzare il budget di scansione di Googlebot.

Che cos'è Googlebot?



Ragno! Crawler! Questi sono nomi popolari dati a Googlebot. Questo perché funziona in questo modo. Il software è stato creato per eseguire la scansione e sfogliare miliardi di pagine di siti Web che sono state pubblicate al pubblico.

Esatto: se un sito web rimane privato, semplicemente non c'è modo in cui Googlebot possa scansionare le sue pagine, ricorda che il ragno non è un sensitivo. Segue semplicemente i collegamenti alle pagine (da una pagina all'altra), quindi continua con l'elaborazione dei dati. Dopo che questo è stato completato, le informazioni vengono quindi compilate in un indice (facile da ricordare come libreria o archivio di Goggle).

Grazie alla presenza di questo software, Google può compilare e accumulare informazioni per oltre un milione di gigabyte (GB) in meno di un secondo (ok, è magia). Quindi da questo indice regolarmente aggiornato, Google estrae le risorse per ogni ricerca online sia su un desktop che su un dispositivo mobile.

Perché si dovrebbe essere una volta collegato a Googlebot?

La scansione di Googlebot ha molto a che fare con la SEO (ottimizzazione dei motori di ricerca) di un sito web. L'intera essenza dello spider è raccogliere informazioni dalle pagine di un sito in modo che quando vengono condotte ricerche su argomenti correlati, possa visualizzare la pagina come uno dei risultati di ricerca online. Pertanto, quando Googlebot esegue costantemente la scansione della maggior parte delle pagine di un sito, ci sarà una maggiore visibilità che porta a più traffico del sito su tale pagina (quale è uno degli obiettivi giusto?).

Usa questa illustrazione:

X ha un sito web con una pagina sull'argomento: SEO professionale per siti web. E Y cerca la SEO del sito web. Se Googlebot ha scansionato la pagina di X su SEO e l'ha indicizzata, sarebbe uno dei risultati che compariranno nei risultati di ricerca di Google. E lo stesso avverrebbe per altre ricerche correlate condotte anche se questo accade cento volte al giorno in tutto il mondo.

Nota che ci sono altri fattori di sottolineatura a questo come una buona struttura del sito web, tempi di caricamento del sito riconoscibili e rapidi. Ma solo un Esperto SEO può aiutare a garantire che questi vengano eseguiti correttamente e che la pagina di un sito venga visualizzata nella prima pagina dei risultati di ricerca di Google.


Perché Googlebot non esegue la scansione di tutte le pagine su alcuni siti?

Durante uno dei ritrovi dell'ufficio SEO di Google, è stata posta una domanda sul motivo per cui Googlebot non stava scansionando abbastanza pagine su alcuni siti. Ci sono oltre centinaia di miliardi di pagine pubblicate pubblicamente sul server web. Le persone pubblicano una nuova pagina sul server ogni giorno, il che significa più pagine da indicizzare per Googlebot. Tuttavia, a volte, il bot non funziona secondo le aspettative; questo è; accumula oltre un milione di GB di informazioni in meno di un secondo. Ci sono diversi motivi per cui questo potrebbe accadere.

Innanzitutto, potrebbe essere che ci siano troppi contenuti, pagine e siti web online da indicizzare. E alcuni sono di bassa qualità, altri hanno una bassa velocità di caricamento del sito e il resto potrebbe avere contenuti irrilevanti con una struttura del sito complicata (o qualsiasi altra cosa che funzioni contro una buona esperienza utente). Questo è il motivo per cui Google ha creato una strategia per indicizzare solo le pagine Web di alta qualità ed escludere le pagine di qualità inferiore. In questo modo, le pagine possono essere filtrate e ridotte (invece di indicizzare tutte le pagine online, sia quelle preziose che quelle non preziose).

Ma quanto sopra non risponde completamente alla domanda: Perché Googlebot non esegue la scansione di tutti i siti? Piuttosto, la domanda di interesse è perché Googlebot non esegue la scansione di tutte le pagine (o di un numero sufficiente di pagine) su un sito. E ci sono due risposte a questo. La risposta lunga e la risposta breve:

La risposta breve

Google attribuisce una certa quantità di risorse e tempo alla scansione di ogni sito al giorno. Questo è chiamato budget di scansione di un sito. Pertanto, il bot esegue il suo lavoro di scansione e indicizzazione entro questo budget. E così, per un sito web con più di diecimila pagine, non tutte le pagine sarebbero indicizzate.

Tuttavia, c'è di più in questo, che ci porta alla risposta lunga:

La risposta lunga


Il budget di scansione è ciò che determina il numero di pagine che Googlebot può eseguire la scansione e l'indicizzazione per sito ogni giorno. Ma come accennato in precedenza, c'è molto di più in questo. Alcuni fattori determinano il ritmo dello spider durante la scansione di ciascun sito entro il budget di scansione. Ha senso? Significa che sebbene il budget abbia creato un limite, alcuni fattori possono accelerare o rallentare il ritmo del bot. Loro includono:
  1. Server lento: Se il tempo di risposta per un server è notevolmente lento, può alterare la velocità con cui il bot esegue la scansione di ogni pagina entro il budget di scansione. I proprietari di siti web possono verificarli nel loro rapporto sulle statistiche di scansione. Si consiglia che qualsiasi valore superiore a 300 millisecondi non sia un buon tempo di risposta.
  2. Host del server del sito Web: Se un sito web è ospitato su un server condiviso, questo può rallentare la velocità con cui ogni pagina viene offerta a Google durante la scansione. Questo perché altri siti sullo stesso server potrebbero rallentarlo utilizzando grandi risorse. È ancora peggio quando lo stesso server ospita molti siti.
  3. Bot rossi: Questi sono altri bot che possono ostacolare, bloccare o rallentare le azioni di Googlebot. Possono presentarsi in diverse forme e, a volte, un sito Web ha bisogno di un aiuto professionale per gestire e controllare le azioni di questi bot.
  4. Crawlability del sito web: Questa è la quantità di accesso che un crawler ha a tutte le pagine di un sito web. Quando il software ha un facile accesso ai contenuti di un sito, molte pagine verranno scansionate e indicizzate entro il budget di scansione.

Come ottimizzare il tuo sito per massimizzare il budget di Googlebot


Nella sezione precedente, abbiamo discusso i fattori che determinano la velocità (o la lentezza) con cui Googlebot esegue la scansione di una pagina. Ma c'è più di quanto una persona possa fare per massimizzare il numero di pagine che il bot scansiona entro il budget. In breve, ecco alcune cose che il proprietario di un sito web può fare per massimizzare il numero di pagine scansionate e indicizzate da Googlebot entro il budget di scansione al giorno.
  1. Sviluppa una mappa del sito: Questa è una delle cose che è possibile fare per aiutare Googlebot a eseguire la scansione di un sito più velocemente. Una mappa del sito può essere installata, generata da un generatore di mappe del sito o creata da zero.
  2. Investire nell'organizzazione del sito: Questo ha a che fare con il modo in cui è strutturato un sito Web e la categorizzazione delle pagine all'interno di un sito. Quando un sito è strutturato in modo che i visitatori possano facilmente comprendere e navigare, c'è un'alta probabilità che Googlebot trovi facile la scansione.
  3. Ottimizzazione del sito web: Questo riassume tutti i punti sopra menzionati. Quando un sito web viene costantemente ottimizzato (nel modo giusto), l'interfaccia del sito web sarà strutturata correttamente e verrà creata una mappa del sito. Altre cose includono il controllo sui fattori che bloccano la scansione (come robots.txt), l'ottimizzazione del titolo, la leggibilità dei contenuti, il valore dei contenuti e molti altri. L'ottimizzazione corretta di un sito web aiuterà Googlebot a scansionare le pagine di tale sito più velocemente.

Conclusione

Googlebot può essere visto come un piccolo robot Internet che lavora per Google. Va in giro a ricevere pagine dal server web tramite link a siti web. Quindi esamina ogni pagina e la aggiunge alla raccolta di informazioni indicizzate. Tuttavia, a causa di diversi fattori e variabili, il bot non può eseguire la scansione di tutte le pagine di ogni sito (in effetti, a volte, non è sufficiente). E di tutti i fattori e le soluzioni menzionati, la soluzione più semplice è assumere un'azienda professionale come Semalt che può fare tutto ciò che è necessario nel modo giusto e al momento giusto per garantire che le pagine importanti del tuo sito Web vengano scansionate e indicizzate, se non tutte le pagine.

mass gmail