Cos’è e come fare l’indicizzazione di un sito web su Google

Indicizzare un sito web vuol dire includerlo nei risultati Google. Ovvero nella SERP. Ciò avviene dopo la scansione e prima del posizionamento. Il metodo per fare questo: utilizzare la sitemap nella Search Console.

In molti casi l’attenzione è per l’ottimizzazione SEO di un sito web. Questo è giusto perché grazie a un buon lavoro di miglioramento e studio della strategia da seguire si possono ottenere buoni risultati in termini di visibilità su Google. Ma alla base di tutto ciò c’è sempre l’indicizzazione.

Quando facciamo una ricerca su Google abbiamo una serie di risultati nella SERP. Questi link, tecnicamente snippet, sono frutto di una buona combinazione di SEO on-page e off-page.

Sono i risultati che, agli occhi dell’algoritmo, rappresentano i contenuti di qualità più interessanti per l’utente. Ma tutto sarebbe inutile se prima non si indicizza una pagina e il relativo portale. Cosa sappiamo? Perché è importante approfondire come indicizzare un sito web? Continua a leggere.

Cos’è l’indicizzazione su Google?

L’indicizzazione di un sito web su Google è il risultato del passaggio, andato a buon fine, del crawler sulle pagine. Dopo la scansione dello spider del motore di ricerca – il software che si occupa della verifica dei diversi domini – c’è l’indicizzazione, ovvero la presenza del documento nei risultati.

Possiamo dire che l’indicizzazione delle pagine che compongono un sito web è essenziale per il buon posizionamento. Spesso c’è confusione tra i concetti e vengono utilizzati come sinonimo.

Ma indicizzare un sito web non vuol dire migliorare il posizionamento: un portale indicizzato potrebbe essere presente in 20esima posizione nella SERP per i risultati che mi interessano.

Quindi, un sito web per posizionarsi in alto su Google e trovare maggiore visibilità deve prima indicizzarsi. Il compito dell’esperto SEO è quello di agevolare questo processo e fare in modo che, soprattutto per i siti web di grandi dimensioni, il maggior numero di pagine web si indicizzino.

Indicizzazione sito, cosa significa?

Con questo termine intendiamo la seconda fase che permette a Google di presentare i risultati nella SERP. La prima prende il nome di scansione ed è in questa circostanza che il motore di ricerca, attraverso i bot, passa a rassegna i documenti presenti nell’indirizzo internet. Cosa accade?

Semplice, se le regole lo permettono – ad esempio quelle incluse nel robots.txt o nel meta tag robots, il motore di ricerca acquisisce le informazioni e passa alla seconda fase: l’indicizzazione. Ovvero l’inserimento delle risorse nei risultati di ricerca. Quindi nella SERP. Ma non finisce qui.

Una volta indicizzato, un documento viene valutato per determinare il ranking. Ovvero il posizionamento rispetto ai competitor. Il lavoro di ottimizzazione SEO viene svolto per migliorare questi passaggi: sia la scansione che l’indicizzazione e il posizionamento per aumentare la visibilità.

Fonti e documenti tecnici sull’indicizzazione

• Guida sul funzionamento della Ricerca Google
• Elementi generali per ottimizzare un sito web
• Mostrare il tuo sito web su Google

Come indicizzare un sito web?

Andiamo al sodo. Hai appena pubblicato un sito web e vuoi metterlo su Google. Prima di scoprire come si indicizza, assicurati di aver tolto eventuali blocchi e noindex per nascondere il portale durante le lavorazioni. Sei perfettamente raggiungibile, senza blocchi nel robots.txt.

Indicizzare un sito su Google

Qual è la migliore tecnica di indicizzazione? In passato si usava un servizio per segnalare la pubblicazione di un nuovo portale. Questa pagina è ancora disponibile ma di sicuro il modo più semplice per velocizzare l’indicizzazione è l’iscrizione nella Search Console di Google e l’inserimento della sitemap.xml. Vale a dire un file che contiene la lista di tutti gli URL del sito web.

Per procedere all’indicizzazione basta andare sulla pagina principale del servizio loggarsi su Gmail e seguire le istruzioni. Se hai già il codice di Google Analytics installato puoi iscriverti alla Search Console verificando il sito web con questo tag, altrimenti ne devi caricare uno dedicato.

Una volta nella Search Console, basta inserire l’URL della sitemap.xml nel campo dedicato e attendere, in linea di massima bastano poche ore per completare l’operazione. Dove recuperare l’indirizzo della sitemap? Dipende dal CMS, su WordPress basta aggiungere /sitemap.xml dopo la root del dominio per ottenere il risultato. Poi ci sono dei plugin specifici che ti consentono di avere delle soluzioni personalizzate. Comunque, per indicizzare il sito web basta questo.

Indicizzare sito su Bing

Tutto ciò è fondamentale per indicizzare un sito web su Google ma vale lo stesso anche per Bing. Solo che nel caso specifico devi iscriverti alla piattaforma con i tool per webmaster di questo motore di ricerca. La procedura è pressoché simile, non cambia di molto il percorso.

Forzare l’indicizzazione di una pagina

Hai sicuramente intuito che la registrazione e l’uso della Search Console è decisivo per indicizzare velocemente un sito web appena pubblicato. Però questo strumento fondamentale per l’ottimizzazione SEO del sito web può essere d’aiuto anche per forzare il passaggio del crawler su una pagina web e indicizzarla, sia la prima volta che per un refresh dei risultati.

Infatti, se modifichi il contenuto di un documento sarà sempre uguale per Google fin quando non sarà passato di nuovo lo spider. E per le pagine più profonde, cioè distanti dalla home page, i tempi non sono sempre rapidi. Quindi, per qualsiasi motivo, hai bisogno di una scorciatoia.

Se vuoi far passare lo spider di Google per indicizzare una pagina web velocemente devi usare lo strumento Controllo URL della Search Console: è la barra di ricerca che si trova in alto.

Come si usa? Basta fare copia e incolla dell’URL completo in questo spazio e premere invio. La Search Console analizza il contenuto, ti dice se era già stato indicizzato o meno e ti chiede di procedere con il processo. Pochi secondi e hai concluso. Questo strumento SEO è fondamentale anche quando vuoi mostrare nuovi tag title o meta description nello snippet della SERP.

Come migliorare l’indicizzazione di un sito?

Hai indicizzato il sito web e se il tuo portale non ha particolari esigenze puoi ritenerti soddisfatto del lavoro svolto. Ma ci sono progetti di grandi dimensioni e con molte pagine – magazine, e-commerce, blog – che possono avere problemi di copertura da parte del motore di ricerca.

Migliora il crawl budget

Nello specifico, abbiamo una regola da ricordare: Google non è obbligato, e spesso non può, indicizzare tutte le pagine di un sito web. Quindi è compito di un buon servizio SEO lavorare in modo da ottimizzare il crawl budget. Ovvero, le risorse di scansione che Google fornisce a ogni progetto.

In linea di massima, il crawl budget non è un fattore di ranking diretto ma di sicuro la sua ottimizzazione aiuta il progetto a far scoprire le risorse utili all’utente. Così da evitare pagine non indicizzate. Per migliorare questi parametri si possono seguire delle regole di buon senso.

Migliora la navigazione

In primo luogo devi ridurre le pagine inutili, i contenuti duplicati e gli errori 404 con traffico. Poi bisogna lavorare sui link interni: mai lasciare pagine orfane, non raggiungibili. Inoltre, puoi migliorare l’indicizzazione del tuo sito web ottenendo backlink. Questa condizione permette di aumentare l’autorevolezza del portale e il crawl budget che Google conferisce a un progetto.

Per i siti web particolarmente grandi e complessi può essere utile avere anche una sitemap HTML. Qual è la differenza? La versione .XML è rivolta solo al motore di ricerca mentre quella HTML è una pagina web a tutti gli effetti, navigabile dagli utenti ma utile a Google.

Lavora sui link interni

Devi proporre un internal linking avanzato, capace appunto di comunicare in modo chiaro la presenza delle pagine web. I breadcrumb aiutano in quest’opera ma bisogna anche limitare i link interni nofollow e inserire pagine che eventualmente non sono presenti nella sitemap.XML. Come fare? Basta chiedere a Google di dare uno sguardo. Lo puoi fare pingandolo:

http://www.google.com/ping?sitemap=http://esempio.com/sitemap_url.xml

Come verificare l’indicizzazione del sito web?

Una volta svolte tutte le operazioni per inserire un sito web su Google potrebbero esserci ancora dei dubbi rispetto all’effettiva indicizzazione. Come posso verificare la buona riuscita dell’operazione? Il modo più semplice: sfruttare un operatore di ricerca avanzata.

Ovvero un comando con il quale comunichiamo un’esigenza specifica per raffinare i risultati nella SERP. Nello specifico possiamo chiedere a Google di fare una ricerca con il site: che permette di dirigere il lavoro di search solo all’interno di un dominio. E non su tutte le pagine indicizzate del web.

Per verificare l’indicizzazione di un sito web o di una pagina digita site:https://www.esempio.it su Google per avere la risposta. Se il sito web non è stato indicizzato, Google restituisce zero pagine, altrimenti hai la lista delle risorse in archivio. Per fare ulteriori controlli e verificare se c’è stata una buona indicizzazione puoi andare nella Search Console di Google, sezione sitemap.

Se ci sono problemi di lettura del documento probabilmente l’indicizzazione non è andata a buon fine. Inoltre, il report copertura sempre dell’ex Webmaster Tool di Google ti dà una panoramica chiara di eventuali problemi di indicizzazione di sezioni e pagine del portale.

Perché il mio sito non si indicizza?

Hai svolto tutti i punti necessari per mettere un sito web su Google e aumentarne la visibilità. Però una o più pagine non escono nei risultati. Spesso è l’intero portale a non apparire neanche per le query più semplici. Qual è il problema? Perché il mio sito web non esce sul motore di ricerca?

Problemi di indicizzazione su WordPress

Le risposte potrebbero essere diverse. In primo luogo devi assicurarti che il problema non sia sul CMS. Spesso vuoi indicizzare un sito web su WordPress ma hai dimenticato di togliere la spunta che inibisce il passaggio del crawler di Google sul sito web. Basta andare nelle impostazioni.

Devi eliminare questa opzione e risolvere il problema. Altra opzione: c’è un plugin che ha messo il sito web in manutenzione, quindi in noindex, e Google non lo vede. Togli l’estensione e procedi con l’indicizzazione del sito web. Passiamo ad aspetti più tecnici: c’è un problema lato robots.txt.

Impostazioni errate di robots.txt e noindex

Questo significa che nel file che comunica con il crawler e dà indicazioni su come comportarsi c’è qualche indicazione errata. Ad esempio, basta inserire uno slash nella voce disallow per inibire l’indicizzazione dell’intero portale. Ecco un esempio di robots.txt che permette l’indicizzazione:

User-agent: *
Disallow: /wp/wp-admin/
Allow: /wp/wp-admin/admin-ajax.php

Abbiamo chiesto di permettere agli spider (user-agent) di muoversi su tutto il sito web e di bloccare solo le pagine di amministrazione. Con Disallow: / si blocca ogni scansione, quindi puoi capire che basta una distrazione per impedire l’indicizzazione del sito web per intero. Qualcosa del genere accade se viene impostato male il meta tag robots, vale a dire l’impostazione noindex sulla pagina.

<head>
<meta name="robots" content="noindex">
</head>

Spesso, si notano blog che mettono in noindex tag e categorie con l’intento – errato – di evitare contenuti duplicati. Questo può portare molte difficoltà a Google che farà fatica a scoprire nuovi contenuti. Una buona scansione su Screaming Frog e un monitoraggio costante sulla Search Console di Google sono le azioni necessarie per scoprire eventuali problemi di scansione.

Quanto costa indicizzare un sito web?

Questa operazione è gratuita, Google non chiede un pagamento per indicizzare il sito web ma è chiaro che questo lavoro rientra in una strategia di ottimizzazione SEO più ampia e articolata.

Ad esempio, noi includiamo sempre questo passaggio per i nostri clienti che realizzano un sito web con noi e che, soprattutto, vogliono ottenere buoni risultati con una buona ottimizzazione SEO.

Proprio come abbiamo fatto con uno dei nostri clienti, l’Agenzia Finanziaria Parisella: grazie a una buona ottimizzazione SEO e relativa indicizzazione del blog abbiamo raggiunto keyword molto interessanti per il settore finanziario/prestiti. Vuoi approfondire questo argomento con i nostri esperti SEO?