Hai una pratica di 300 pagine e una domanda precisa: qual è il termine per il recesso, cosa dice la perizia sul tetto, quanto vale la penale. Vuoi la risposta e vuoi sapere a che pagina sta. Un assistente sui documenti lo fa con due meccanismi: la finestra di contesto e la ricerca nei documenti. Qui li spieghiamo con parole semplici, con i termini tecnici tra parentesi, e diciamo perché la pagina citata non è un dettaglio.

Quanto testo entra in una domanda: la finestra di contesto

Un modello di linguaggio non legge parole: legge pezzi di parola chiamati token. La documentazione di Google per i suoi modelli dà una regola pratica: un token vale circa quattro caratteri, e cento token sono circa 60-80 parole inglesi. In italiano conta i caratteri, non le parole: le nostre parole sono più lunghe.

Ogni modello ha un tetto di token che può ricevere in una volta, tra domanda, documenti e risposta: è la finestra di contesto (context window). Per Llama 3.1, uno dei modelli aperti più diffusi, la scheda ufficiale indica una finestra di 128k token. Vuoi sapere se la tua pratica ci sta? Apri il file, guarda quanti caratteri ha, dividi per quattro: hai i token. Una pratica fitta di 300 pagine può starci o non starci; dipende da quanto è densa e da quanto spazio serve per la risposta.

C'è un secondo limite, meno noto. Uno studio del 2023, «Lost in the Middle», ha misurato cosa succede quando l'informazione utile sta in punti diversi di un testo lungo: i risultati sono migliori quando sta all'inizio o alla fine e peggiorano quando sta in mezzo, anche con i modelli fatti apposta per i testi lunghi. Mettere tutta la pratica nella finestra non garantisce che il modello usi la pagina giusta.

Cercare prima di rispondere: il RAG

Per questo gli assistenti fatti bene non caricano tutto ogni volta. Fanno prima una ricerca. Il metodo si chiama RAG (retrieval-augmented generation, «generazione aumentata dal recupero») ed è descritto in uno studio del 2020 (Lewis e altri): un modello generativo viene affiancato da un motore di ricerca su un indice di documenti, e produce un testo più specifico e fattuale rispetto al modello da solo.

In pratica succede questo.

  1. La pratica viene divisa in pezzi corti (chunk), ognuno con il nome del file e il numero di pagina.
  2. Di ogni pezzo si calcola un'impronta numerica (embedding) e la si mette in un indice.
  3. Alla tua domanda si calcola la stessa impronta e si prendono i pezzi più vicini.
  4. Il modello riceve solo quei pezzi, con le loro pagine, e risponde usando quelli.

È il motivo per cui l'assistente può scrivere «pagina 142»: il pezzo da cui viene la risposta porta con sé la sua origine. Ed è il motivo per cui non serve addestrare un modello sui tuoi documenti: la pratica si cerca, non si insegna.

Tutta la pratica nella finestraRicerca nei pezzi (RAG)
Quando va bene. Documenti corti, una domanda su tutto il testo.Pratiche lunghe, archivi con molti file, domande precise.
Limite. Il tetto di token e il calo in mezzo al testo.Se la ricerca sbaglia pezzo, la risposta è parziale.
Pagina citata. Possibile, ma il modello la deve ricavare dal testo.Viene dal pezzo stesso, con file e pagina.
Lavoro per domanda. Alto: rilegge tutto ogni volta.Basso: rilegge solo i pezzi trovati.

I due metodi si combinano: la ricerca trova i pezzi, la finestra li ospita insieme alla domanda. Più la finestra è grande, più pezzi si possono passare, e più il riassunto di una sezione lunga viene completo.

Perché la risposta deve indicare la pagina

Un modello può scrivere un testo plausibile e sbagliato: una cifra che non c'è, una clausola inventata. Ne abbiamo parlato in Allucinazioni nei modelli di AI. La pagina citata è il tuo controllo: apri, leggi, confermi in un minuto. Senza pagina, per fidarti dovresti rileggere le 300 pagine, e allora l'assistente non ti ha fatto risparmiare niente.

La pagina serve anche a distinguere due casi che dall'esterno sembrano uguali: «non c'è nella pratica» e «è inventato». Un assistente fatto bene, quando i pezzi trovati non contengono la risposta, lo scrive. Se invece risponde sempre, con sicurezza e senza pagina, non sta usando la pratica.

C'è un terzo motivo: il registro. Se ogni risposta porta file e pagina, il registro delle conversazioni dice chi ha chiesto cosa e su quale documento. Per una pratica legale o una perizia è la traccia che poi ti serve.

Come lavorare con una pratica lunga

  • Carica la pratica intera, non estratti: i pezzi mancanti non si possono trovare.
  • Fai domande precise. «Qual è il termine per il recesso?» funziona meglio di «riassumi tutto».
  • Per il riassunto vai per sezioni: capitolo per capitolo, poi il quadro.
  • Controlla la pagina citata, almeno le prime volte e sempre quando la risposta pesa.
  • Fai una domanda a cui la pratica non risponde: la risposta giusta è «non trovato».

Una prova in cinque domande

Prima di scegliere un assistente sui documenti, dagli una pratica vera, lunga, che conosci bene, e fagli cinque domande:

  1. un fatto che sta nelle prime pagine;
  2. un fatto che sta nelle ultime;
  3. un fatto che sta in mezzo;
  4. una domanda che richiede di mettere insieme due pagine lontane;
  5. una domanda a cui la pratica non risponde.

Per ognuna guarda tre cose: la risposta è giusta, la pagina citata è quella, e alla quinta domanda l'assistente scrive che non trova. Se passa, hai capito come lavora. Se non cita le pagine, chiedi perché.

È uno degli usi che mostriamo nella pagina dell'AI privata, dove documenti e indice restano su macchine in Italia: Gli esempi d'uso dell'AI privata →. Gli assistenti si usano dalla chat interna o via API compatibili OpenAI e MCP, quindi anche dal gestionale: vedi app e API su misura. Per provarlo su una pratica tua, raccontaci il tuo caso. Sul metodo in generale: RAG per chatbot in AI.

Domande frequenti

Può riassumere 300 pagine in un colpo?

Può provarci, ma il risultato è migliore per sezioni. Un riassunto unico di un testo lungo risente del calo in mezzo al testo misurato dallo studio «Lost in the Middle». Chiedi un riassunto per capitolo e poi il quadro d'insieme.

Serve addestrare il modello sui miei documenti?

No. Con il RAG i documenti vengono cercati al momento della domanda. Il modello resta quello aperto, scelto e aggiornato da chi ti fornisce il servizio; i tuoi documenti stanno nell'indice.

Dove finiscono i pezzi e l'indice?

Dove sta il server. L'indice contiene il testo dei documenti e va trattato come i documenti: stesse regole su chi lo vede, stesse copie. Chiedilo a chi ti propone l'assistente.

Fonti