Spam Policy dei motori di ricerca

"We hate spam!" Questo il grido dei rappresentanti di motori di ricerca e directory che hanno partecipato ad una speciale edizione dell'incontro "Search Engine Strategies". Il titolo della conferenza era "The Search Engine Spam Police" ed erano in sala esponenti di Inktomi, Google, FAST Search, LookSmart e OpenDirectory Project (ODP/DMOZ).

Fin dagli albori del WWW, professionisti e webmaster, come anche semplici curiosi, hanno cercato i modi per rendere più visibili le proprie pagine in Rete.
Il modo che si presentava come più semplice ed economico era l'utilizzo dei motori di ricerca come fonte di traffico. L'uso però di tecniche e trucchi di vario genere con lo scopo di posizionare i siti più in alto possibile nelle classifiche hanno preoccupato le varie risorse per la ricerca in Rete e nel tempo costretto i motori a cambiare continuamente le regole di indicizzazione per riuscire ad offrire ai propri utenti risultati sempre attinenti.

Sono così state scritte le regole alle quali è corretto che tutti si attengano al momento di creare le proprie pagine web, la cosiddetta Policy.

Dobbiamo anche sottolineare come i confini fra ciò che è ammesso, tollerato e bandito dagli indici siano in continua evoluzione, con un deciso trend verso regole sempre più restrittive che lasciano poco spazio alla creatività e all'astuzia dei webmaster. In pratica è ben difficile rispondere oggi alla domanda:
"Quali pagine sono da considerarsi spamming?". In termini molto generici potrebbe essere illecita ogni pagina che presenti caratteristiche inserite dall'editore al solo scopo di favorirne un migliore piazzamento nel ranking dei motori di ricerca e che offra contenuto inappropriato, ridondante o comunque di bassa qualità.

Andando a leggere i "termini" del servizio offerto da alcuni dei principali motori di ricerca si notano in effetti molti punti d'incontro, una visione comune di alcune problematiche, ma anche alcune differenze e lacune notevoli.
In queste pagine vengono indicati quali sono i contenuti non graditi al sito e, alcune volte, le forme e i modi in cui quelli accettati non possono essere ammessi.

 

Termini per l'indicizzazione: Arianna, Altavista.it, DMOZ, FAST, Inktomi

Dalla pagina di Arianna, ad esempio, si legge che non è ammessa una pagina che contenga un ridirezionamento automatico (redirect) ad una altra pagina o che contenga scritte dal colore uguale allo sfondo, un eccessivo numero di parole chiave (keyword stuffing) o qualsiasi altro meccanismo che prova deliberatamente a interferire con il funzionamento degli algoritmi di Arianna.

Lo stesso si legge in Altavista, ma qui le regole sono più precise e indicano anche di evitare

• Pagine dal testo non facilmente leggibile, con caratteri troppo piccoli o fondo della pagina troppo scuro
• Pagine dall'off-topic con un numero eccessivo di parole chiave,
• Pagine generate automaticamente senza contenuto o con un contenuto minimo, il cui unico scopo è quello di passare ad un'altra pagina

Altavista precisa anche che il mancato rispetto di queste regole e il tentativo in genere di manipolare i risultati del suo sistema ridurrebbero il valore dell'indice per tutti gli utenti.

I rappresentanti di molti motori, fra cui Inktomi, Google e Fast Search, specificano anche che ritengono spam anche le pagine costituite da un grande numero di link, senza contenuto. Queste pagine vengono chiamate anche FFA (Free-For-All) perchè permettono (o meglio permettevano) a chiunque di inserire un link alle proprie pagine, creando quindi delle lunghissime liste effettivamente prive di valore per i motori di ricerca come per gli utenti. In genere vengono criticati il "link farming" e il "link spamming", cioè quelle tecniche che cercano di influenzare la link analisys ed in particolar modo la Google PageRank.

Sul tema del cloaking (anche chiamato IP-delivering - vedi FAQ) i motori hanno invece approcci differenti: c'è chi come Google, Inktomi e Fast Search lo pongono come prima piaga da debellare perchè consiste nel mostrare ai motori pagine che non corrispondono a quelle che poi effettivamente vedranno gli utenti finali.
AltaVista non ne fa menzione nella sua policy e c'è anche chi invece ha un attegiamento più rilassato e tranquillo, perchè vede nel cloaking un valido aiuto per tutti quei siti che per scelte di piattaforma tecnologica o impostazione grafica hanno seri problemi anche solo di indicizzazione e non possono assolutamente sperare di essere ben posizionati nei motori di ricerca.

I possibili "inconvenienti"
Chi fa spamming, volontariamente o meno, ed in conformità alla gravità e frequenza degli "illeciti", può ottenere:

1. Penalizzazione del posizionamento della pagina
2. Esclusione della pagina dal database del motore
3. Banning del dominio dal motore
4. Segnalazione come SPAMMER nelle "liste nere" dei motori di ricerca
5. Banning dell'IP
   

Directory
I problemi e le difficoltà nella lotta contro gli spammer esistono anche per le directory ma si presentano sotto forme in parte differenti.

Bob Keating, Editorin-Chief dell'Open Directory Project (DMOZ) definisce spam la continua e aggressiva proposta di siti identici ad una o più categorie inappropriate e di siti che violano evidentemente le regole indicate dalla directory in fase di inserimento.

Le regole per l'inserimento di un sito nelle directory variano considerevolemente dall'una all'altra, anche se tutte attualmente prestano particolare attenzione alla distinzione fra siti generici e siti di e-commerce/commerciali.
Da quando, infatti, si sono diffusi i programmi di affiliazione come canale di vendita e promozione di prodotti e servizi sul Web, sono aumentati di conseguenza i tentativi di indicizzare alcune pagine o anche piccoli e semplici siti che però riportano solamente le offerte commerciali di altri siti, non aggiungendo nulla di nuovo e diverso alla Rete.

Le indicazioni di motori e directory a chi deve creare pagine e siti con lo scopo di sfruttare al meglio le ricerche degli utenti della Rete sono tanto semplici da suonare quasi anacronistiche: creare contenuti appropriati, rilevanti nella loro originalità e organizzati in modo semplice e lineare all'interno di un design essenziale. Creare quindi un sito utile che sia di vero e reale aiuto per i suoi visitatori.

Non possiamo che essere d'accordo e incoraggiare questa visione essenziale del design che mette in luce proprio i contenuti, la loro selezione e organizzazione all'interno di un contesto globale di collegamenti ipertestuali.

Raffaele Galano
Ad Maiora
Settembre 2002