La knowledge base è passata da zero a citata. Il mio punteggio è sceso lo stesso.

Nel mio ultimo articolo su questo esperimento ho fatto una promessa: stesse dieci domande, parola per parola, stessi quattro assistenti, stesso punteggio, un mese dopo — pubblicato qualunque cosa dica il numero.

Questo è quell’articolo. E il numero dice due cose insieme.

Il totale è sceso. Il Round 0 aveva fatto 31 punti su 80. Il Round 1 ne ha fatti 25.

La knowledge base è salita — da zero a citata. Nel Round 0 nessuna delle sue 42 pagine era stata citata da nessuno, nemmeno una volta. Nel Round 1 è stata citata sette volte.

Sono vere tutte e due, lo stesso giorno, sulle stesse quaranta risposte. Se avessi pubblicato solo la prima, penseresti che l’esperimento è fallito. Solo la seconda, e penseresti che ha funzionato. La vera lezione del mese è che nessuno dei due titoli sopravvive ai dettagli — quindi eccoli, i dettagli.

La versione breve

• Stesso protocollo del Round 0: dieci domande fisse, poste parola per parola a ChatGPT, Claude, Perplexity e all’AI Overview di Google, ognuna in una sessione nuova e senza login. Punteggio: 2 se c’è un link al mio sito, 1 se c’è il mio nome senza link, 0 se non c’è niente.
• Perplexity: 14 su 20 — identico al Round 0 — ma sotto è cambiato quasi tutto. Sei delle sue sette risposte che segnano ora citano direttamente la knowledge base. Un mese fa quel numero era zero.
• ChatGPT: il crollo più grosso. Le sue risposte ora poggiano quasi solo sulla documentazione ufficiale di Webflow — che però è lì da sempre. Se dominasse già un mese fa è una domanda a cui il mio stesso Round 0 non sa rispondere, e da questo round il buco è chiuso.
• Claude e Google quasi fermi — e i due punti che Claude mi ha dato linkano entrambi un dominio da cui ho traslocato un anno fa.
• Ho beccato il mio stesso strumento che balla: lo stesso test, rifatto a poche ore di distanza, può muoversi di quattro punti. Quindi ogni numero in questo articolo porta un ±4 invisibile, compresi quelli che mi fanno comodo.
• Essere letto da un’AI ed essere citato da un’AI sono due eventi diversi — e adesso posso mostrarti i passaggi esatti in cui si separano, nei dati di un solo giorno.

Cosa ha fatto un mese, assistente per assistente

* La lettura presa il giorno del round. Poi ho riletto questa colonna altre due volte, e le tre letture sono 1, 4 e 5 — ci arrivo tra poco, perché conta più del punteggio stesso.

Guarda prima la riga di Perplexity. Stesso totale, e dentro è irriconoscibile. Nel Round 0 i suoi punti venivano dalle mie lezioni dell’Academy e dai miei video su YouTube. Nel Round 1, sei delle sette risposte che segnano citano pagine /kb/ — le pagine esatte che ho costruito per le domande esatte che sto facendo. Tre risposte che prima nominavano il mio lavoro senza linkarlo ora linkano la knowledge base. È il divario per cui esiste questo progetto, che si chiude.

Google è rimasto a 6, ha dato alla knowledge base la sua prima citazione in assoluto — la pagina sullo stagger, per la domanda sullo stagger — e ha fatto una cosa che nel Round 0 non aveva mai fatto: due delle sue dieci risposte non hanno citato nessuna fonte. Non “hanno citato qualcun altro”. Nessuno. Niente link, niente pannello fonti, niente.

Quei due zeri meritano una frase, perché il mio punteggio li scrive uguali a tutti gli altri zeri, e significano il contrario. Uno zero dove è stato citato un concorrente è una gara che ho perso — pagine migliori possono rivincerla. Uno zero dove nessuno è stato citato è una domanda per cui l’assistente ha deciso che non servono fonti — lì non c’è niente da vincere, per nessuno, qualunque cosa pubblichi. Su tutti e quattro gli assistenti, sette risposte su quaranta erano senza fonti. Non è un buco piccolo, nel mercato che tutto questo settore dice di misurare.

Claude è passato da 2 a 4, e le due risposte che segnano linkano entrambe supasaito.com/en/academy/... — indirizzi di prima che migrassi l’Academy su questo sito. Funzionano ancora, perché i redirect reggono. Ma un assistente che mi trova solo attraverso gli URL vecchi di un dominio su cui non pubblico più non sta citando me: sta citando dove abitavo prima.

E ChatGPT è sceso da 9 a 1. Ecco cosa so e cosa non so. Nelle sue risposte, help.webflow.com — la documentazione ufficiale di Webflow — compare nove volte su dieci, spesso con tre o quattro articoli diversi in una risposta sola. Otto delle mie dieci domande chiedono come funziona una feature di prodotto di Webflow, e per quelle domande il manuale del produttore è una fonte difficile da battere. Le uniche domande in cui qualcosa di mio sopravvive sono quelle di tecnica, non di prodotto.

Quella documentazione non è una novità — c’è da quando la feature è uscita, più di un anno fa. Il che apre la domanda che conta davvero: ChatGPT ci si appoggiava così tanto anche un mese fa, e i miei nove punti vivevano già di tempo preso in prestito? La risposta scomoda: non te lo so dire. Nel Round 0 registravo i nomi delle fonti — “Webflow” — e non gli URL, e “Webflow” poteva voler dire la university, il blog, un cloneable o il centro assistenza. Il Round 1 registra l’URL completo di ogni fonte, proprio perché i nomi si sono rivelati troppo grossolani. Un round troppo tardi per questa domanda.

Ho fissato la lista delle domande nel Round 0 apposta perché non potessi ritoccarla dopo, e non la ritocco — una domanda che appartiene al produttore è un risultato, non un difetto del test. Ma nota cosa è appena successo: il movimento più grosso di tutto il round, e il mio strumento non sa spiegarlo. Tienilo a mente, perché allo strumento sto per chiedere conto di altro.

Il test che misura il test

Ho fatto le dieci domande a ChatGPT, e in una risposta c’era qualcosa che non tornava: un passaggio parlava dei “tuoi tutorial su Webflow e GSAP”. Nella domanda non c’è scritto da nessuna parte che faccio tutorial. Quella è una sessione che sa chi sta chiedendo — quindi la lettura era contaminata, e ho rifatto l’intera colonna, disconnesso e con attenzione.

Primo giro: 5 punti. Secondo giro: 1 punto.

Ho fatto quello che probabilmente avresti fatto anche tu: ho dato la colpa del calo di quattro punti alla personalizzazione — la prima sessione mi conosceva, quindi mi faceva segnare di più — l’ho scritto come risultato, e mi sono pure sentito furbo.

Poi ho controllato, perché c’è un modo semplice per controllare: ChatGPT salva una conversazione nella cronologia del tuo account solo se eri connesso mentre la facevi. Così ho aperto la cronologia e ho cercato le mie dieci domande di test. Se fossi stato connesso per tutto il tempo, le avrei trovate tutte e dieci.

Ce n’era una. La domanda 4 — quella con la riga sui “tuoi tutorial”. Per le altre nove ero disconnesso senza saperlo. E la domanda 4 ha fatto zero in tutti e due i giri.

Quindi la personalizzazione era reale — è filtrata in esattamente una risposta — e ha spiegato esattamente zero del divario di quattro punti, perché la risposta che ha toccato non valeva niente. Una spiegazione pulita e soddisfacente, e controllarla ha richiesto un minuto e l’ha uccisa.

Cosa spiegava il divario, allora? Ho rifatto le stesse dieci domande una terza volta, due giorni dopo: 4 punti. Tre letture di un sito che non è cambiato: 5, 1, 4. E Perplexity, riletta un giorno dopo la sua colonna del Round 1, è passata da 14 a 18.

Il test balla da solo. Stesse domande, stesso protocollo, niente che cambi sul sito — e il punteggio si muove fino a quattro punti a seconda del giorno, in tutte e due le direzioni. Prima di incespicarci non ne avevo idea, e i numeri del Round 0 — quelli che ho pubblicato — hanno lo stesso ballo nascosto dentro.

Cosa significa, detto semplice:

• Non fidarti che un singolo numero di questo esperimento sia più preciso di quattro punti circa. ChatGPT non è sceso “da 9 a 1”. È sceso da 9 a un punto tra 1 e 5.
• Il risultato della knowledge base è al sicuro comunque, perché è molto più grande del ballo. Il ballo sposta un punteggio di un paio di citazioni. La knowledge base è passata da zero citazioni a sei un giorno e otto quello dopo. Nessun rumore quotidiano trasforma zero in sei. Quello che il rumore uccide è solo la precisione: “la knowledge base viene citata” è solido; “la knowledge base ha preso esattamente sei citazioni” non è un numero vero.

Quasi nessuno di quelli che pubblicano numeri di visibilità AI misura due volte. E li capisco — la seconda lettura può solo complicarti la storia. La mia è diventata più complicata e più vera insieme, ed è così che so che ne valeva la pena.

I quattro passi tra la tua pagina e un lettore

Adesso la scoperta che terrei, se potessi tenerne una sola.

Mentre girava il round delle citazioni, leggevo anche i log del mio server — è il “solito controllo sui crawler” promesso nel Round 0. Metti i due strumenti fianco a fianco e diventa visibile una cosa che nessuno dei due mostra da solo: tra una pagina che hai pubblicato e una persona che ci arriva, un’AI deve fare quattro passi separati, e a ogni passo si perde qualcosa.

I quattro passi:

1. Scaricata — il bot dell’AI scarica la tua pagina.
2. Ripescata — mentre risponde a qualcuno, l’assistente tira la tua pagina dentro il mazzo di fonti che sta considerando.
3. Citata — la tua pagina entra nella risposta, come link.
4. Raggiunta — un essere umano ci clicca davvero.

Ed ecco ogni passo che fallisce, nei dati di un solo giorno:

Claude fallisce al passo 1. Il suo crawler ha visitato il mio sito 26 volte durante la finestra di misurazione e non ha aperto una sola pagina della knowledge base. Non una, in 26 visite. Tutto il resto è già deciso: Claude non può ripescare, citare o mandare qualcuno su pagine che il suo crawler non scarica. Sul tabellone questo zero è identico a quello di ChatGPT. È il problema opposto, e solo i log del server li distinguono.

ChatGPT fallisce tra il passo 2 e il 3 — che è il punto più costoso dove fallire. I suoi bot hanno scaricato sei pagine della mia knowledge base quello stesso giorno, comprese le pagine esatte che rispondono alle domande che gli ho fatto. Ne ha citate zero. E sulla domanda del tema scuro ho potuto guardare la decisione mentre accadeva, perché ChatGPT elenca le fonti che ha consultato separatamente da quelle che cita: aveva in mano la mia pagina della knowledge base e la mia lezione dell’Academy sullo stesso argomento, una accanto all’altra — e ha citato la lezione. La mia pagina non ha perso perché era invisibile. Era nella stanza, e ha perso.

Tutti falliscono al passo 4. I miei log mostrano, per ogni percorso scaricato, quanti umani sono arrivati da un link. Nella finestra del Round 1, i crawler AI hanno toccato 148 percorsi diversi del mio sito. Umani arrivati da tutto questo: zero. Perfino le sei-otto citazioni di Perplexity — il miglior risultato di tutto l’esperimento — non hanno portato un solo visitatore registrato.

Se pubblichi qualcosa, il punto da portarti via è questo: la “visibilità AI” non è una quantità sola. Sono quattro, e possono non essere d’accordo tra loro. Uno strumento che conta i crawl, uno che conta le citazioni e le tue analytics che contano le visite stanno misurando tre gradini diversi di questa scala — e questo mese li ho visti puntare in direzioni diverse nello stesso giorno.

Un limite onesto: il passo 2 si vede solo su ChatGPT e Claude, perché mostrano cosa hanno consultato. Perplexity e Google mostrano solo cosa citano. Quindi la scala ha un buco su due dei quattro assistenti, e preferisco disegnare il buco piuttosto che stuccarlo.

Cosa farei diversamente — e farò

Tre cambiamenti, tutti a buon mercato:

• Misura due volte, a un giorno di distanza, e pubblica l’intervallo. Una lettura sola vale ±4 punti, e non puoi sapere da che lato dell’intervallo ti è capitata.
• Disconnettiti — e poi dimostratelo. A test finito, apri la pagina della cronologia dell’assistente. Quello che trovi salvato lì, l’hai chiesto da connesso. È un controllo da un minuto, ed è così che ho trovato l’unica domanda contaminata delle mie quaranta.
• Non toccare gli assistenti prima di misurare. Fare domande a un assistente sulle tue pagine manda i suoi bot su quelle pagine — i miei log mostrano i bot che arrivano durante il test stesso. Il mio principale sospettato per il salto notturno di Perplexity da 14 a 18 è che la misurazione abbia nutrito la cosa che stava misurando. Il che, se è vero, significa che ogni round gonfia il successivo — un problema serio per chiunque confronti mese su mese, me compreso.

Quest’ultimo è un sospetto, non un risultato. Ed è testabile, quindi:

Registrato in anticipo, come l’altra volta

Il 6 settembre rileggo ChatGPT e Perplexity con le stesse dieci domande, dopo una settimana intera in cui a nessuno dei due viene chiesto niente di tutto questo. Se Perplexity ricade verso 14, la misurazione si stava nutrendo da sola, e ogni confronto mese-su-mese in questo settore ha un problema. Se tiene a 18, la knowledge base si è semplicemente indicizzata meglio e il Round 1 l’ha colta a metà salita. ChatGPT è il controllo: le sue domande non hanno prodotto citazioni, quindi non ha niente da cui ricadere.

Qualunque risposta viene pubblicata. Tutte e due finiscono sulla stessa pagina di tutto il resto, datate e lasciate com’è stato misurato: Credited →. La pagina è in inglese, come la knowledge base.

Il Round 0 chiudeva chiedendoti di spendere dieci minuti a interrogare un assistente sul tuo campo. Vale ancora — ma dopo questo mese lo correggerei così: spendine dieci due volte. La prima lettura ti dà un numero. La seconda ti dice quanto vale quel numero.

Buon viaggio,

Francesco