Iniziamo col dire… almeno per ora sottoscrivo il titolo di questo blog post.Sono convinto di ciò che asserisco e non sono tifoso di fazioni Chatgpt/Google Bard o altro. Tifo per strumenti utili e produttivi e non mi faccio scrupoli quando devo dare informazioni utili. Stravedo per ChatGPT ma sono altresì pronto a sviscerarne i Pro e i Contro. Magari questa “Beta Feature” migliorerà nel tempo ma i paletti privacy tagliano le gambe a questi tools, e non poco.

OpenAI ha limitato la capacità di ChatGPT di leggere contenuti dalle pagine web a riassunti di 100 parole. E questi riassunti non sono affidabili.

Quando OpenAI ha ritirato la versione beta di navigazione di ChatGPT a luglio, lo ha fatto con una giustificazione debole: voleva “rispettare i proprietari dei contenuti”, come dichiarato nell’annuncio. Con la navigazione, ChatGPT era in grado di superare i paywall degli editori e copiare interi articoli alla lettera nella chat.

La giustificazione è debole perché bypassare i paywall è il male minore. Il vero problema è che chatbot come ChatGPT potrebbero catturare una grande parte del traffico Internet se gli utenti consumassero solo contenuti di altri siti tramite il chatbot.

È un problema che OpenAI ha riconosciuto quando ha lanciato per la prima volta la funzionalità di navigazione. È anche un problema con Google Bard o Bing Chat.

Limitazioni di ChatGPT ai riassunti di 100 parole Test sulla funzionalità di navigazione ora rilasciata mostrano che OpenAI ha fatto compromessi dal suo ritiro a luglio: ChatGPT ora restituisce solo riassunti di testi web fino a 100 parole. Per ulteriori informazioni, è necessario seguire un link alla fonte.

Il sistema non distingue tra testi che può copiare legalmente, come da Wikipedia o dal blog di OpenAI, e testi protetti da copyright, come da siti di notizie. Nei miei test, le domande per citazioni più lunghe dalle fonti sono state costantemente rifiutate dal sistema.

Non posso fornire estratti letterali da testi protetti da copyright a causa della politica di OpenAI di rispettare le leggi sul copyright e prevenire un possibile abuso del servizio. Tuttavia, posso fornire riassunti, rispondere a domande specifiche o approfondire particolari aspetti per aiutarti a comprendere le informazioni che stai cercando.

I contenuti di siti che bloccano il crawler di ChatGPT, come il New York Times e anche altre grosse testate Italiane, non possono più essere consultati in chat, nemmeno in forma di riassunto.

Chiedendo perché non copia il testo di Wikipedia, sebbene sia legale farlo, ChatGPT dice di essere addestrato a fornire “informazioni in modo riassunto, riformulato o sintetizzato, piuttosto che copiare grandi quantità di testo alla lettera”. È guidato ad evitare “eccessive citazioni da fonti esterne” e a indirizzare gli utenti alla fonte originale per ulteriori informazioni.

ChatGPT rifiuta anche le richieste di riformulare il testo per evitare potenziali problemi di copyright, poiché ciò violerebbe le sue linee guida.

Il sistema offre di rispondere a domande sul testo nella chat. Tuttavia, nei miei test, ChatGPT non è stato in grado di rispondere a semplici domande su fatti chiaramente descritti nella fonte ma che vanno oltre il riassunto.

Ad esempio, ho chiesto a ChatGPT sulla durata dell’intensità di picco dell’uragano Walaka nell’articolo corrispondente di Wikipedia. Sebbene il testo includa la frase “Walaka ha mantenuto la sua intensità di picco per sei ore”, ChatGPT ha detto che queste informazioni non erano incluse nell’articolo.

OpenAI rende ChatGPT più rispettoso del copyright, ma anche meno utile

Quando OpenAI ha introdotto per la prima volta la navigazione ChatGPT, l’azienda ha riconosciuto che è “un nuovo metodo di interazione con il web” e che avrebbe gradito feedback su come potrebbe ancora contribuire alla “salute complessiva dell’ecosistema” indirizzando il traffico di ritorno alle fonti.

La nuova navigazione di ChatGPT sembra essere il compromesso che l’azienda ha trovato. La funzionalità è alla pari con i comuni motori di ricerca che citano testi di anteprima e talvolta brevi paragrafi dalle pagine web direttamente nei risultati di ricerca. Questo approccio è stato criticato in alcuni casi, almeno dagli editori, ed è oggetto di controversie legali, ma è stata una pratica comune per l’ultimo decennio o giù di lì.

Rispetto ai motori di ricerca tradizionali, tuttavia, la ricerca ChatGPT ha un grande svantaggio: mentre i motori di ricerca di solito mostrano estratti rilevanti invariati dalla fonte, ChatGPT riscrive le informazioni dalla fonte.

Lo strumento AI spesso fa un buon lavoro. Ma non sempre.

La navigazione di ChatGPT è inaffidabile, lenta e difficile da controllare Negli ultimi mesi, ho recensito centinaia di riassunti AI di articoli che ho scritto. Stimo che circa il 20% delle volte, l’abstract manca il punto o tralascia un aspetto importante. Occasionalmente, i fatti sono sbagliati.

Se conosco la fonte originale, la funzionalità è ancora un ottimo aiuto alla scrittura per me come editor, soprattutto perché posso creare più bozze e decidere tra di loro in pochi secondi. Questo è positivo.

Ma non mi affiderei a un riassunto AI come fonte di informazioni senza conoscere la fonte originale. Farlo è superficiale.

Se si riflette attentamente e si pensa passo dopo passo, significa che non c’è motivo di preferire un riassunto AI a una citazione significativa dalla fonte originale, come fornito dai motori di ricerca. Quest’ultimo è più diretto e più preciso.

Questa inaffidabilità da sola rende la navigazione ChatGPT meno utile dei motori di ricerca, praticamente inutile. Si dovrebbe sempre andare alla fonte originale in ogni caso. Perché fare la deviazione attraverso il riassunto AI?

Google Bard è ancora peggiore, con la capacità di verificare le fonti attraverso un altro ciclo AI, il che significa che non si può essere sicuri non solo che le informazioni siano corrette, ma che la fonte delle informazioni sia citata correttamente. È disordinato e complicato.

Inoltre, ho meno controllo sulla selezione delle fonti a meno che non lo specifichi esplicitamente nel prompt, il che è nuovamente scomodo. La selezione delle fonti di Bing era modesta, almeno nei miei test, e certamente non sarebbe stata la mia scelta.

Altri svantaggi includono meno trasparenza e velocità, e accesso discontinuo alle pagine web se molti siti bloccano il chatbot.

Ovviamente, motori di ricerca come Google Search hanno i loro problemi.

Sono spesso pieni di annunci e classificano siti spam che diffondono disinformazione a scopo di lucro. I loro criteri di classificazione non sono trasparenti e possono svantaggiare persone e aziende.

Ma anche ChatGPT con Bing sta solo accedendo allo stesso contenuto web di Google tramite un algoritmo di ricerca. Il web non diventa magicamente migliore solo perché un chatbot cerca automaticamente per me su siti che non sceglierei e potrebbe addirittura falsificarne il contenuto. Al contrario, il chatbot aggiunge solo un’altra potenziale fonte di errore alla catena di informazioni.

Forse un giorno i chatbot saranno in grado di competere con i motori di ricerca. L’esperienza generativa di ricerca di Google si avvicina di più perché è un ibrido ben pensato. Ma in termini di affidabilità e copyright, i due grandi ostacoli, non abbiamo fatto molti progressi da quando Bing Chat ha dato il via all’hype della ricerca chatbot.

Riassunto OpenAI ha limitato la capacità di ChatGPT di leggere contenuti dalle pagine web a riassunti di 100 parole per evitare problemi di copyright. Ora ChatGPT dovrebbe evitare “eccessive citazioni da fonti esterne”. Tuttavia, i test dimostrano che ChatGPT restituisce occasionalmente riassunti imprecisi o errati delle fonti e non può rispondere a semplici domande. Questo significa che i motori di ricerca tradizionali sono ancora più utili e accurati di ChatGPT perché mostrano estratti rilevanti direttamente dalla fonte, mentre ChatGPT deve parafrasare le informazioni.