Il modello si avvicina
al doppio senso?

Livello 1 · Per chi parte dal gioco

Una risposta può diventare più probabile senza essere trovata

Una crittografia mnemonica chiede di collegare due letture della stessa parola o espressione. L’esposto suggerisce una lettura; la soluzione deve funzionare anche con un altro significato. Il diagramma vincola le lunghezze. Non stiamo cercando una chiave di cifratura né un codice che associa numeri alle lettere. Questa descrizione riprende il principio illustrato da Gruppo Ludico.

Il progetto nasce dalla prima crittografia, proposta dal suo autore e tenuta fuori dal fine-tuning. L’obiettivo non è solo costruire un solutore: vogliamo capire se una risposta assente dall’addestramento aggiuntivo diventa più accessibile, e quali prove servano per spiegare il cambiamento.

Tre modi diversi di “andare meglio”

Probabilità: quanto il modello favorisce una risposta specifica. Rango: quante risposte di una lista la precedono. Generazione: che cosa il modello scrive quando non gli forniamo la soluzione. Queste tre misure possono muoversi in direzioni diverse. Una risposta può guadagnare probabilità mentre altre guadagnano ancora di più; può essere prima in una lista limitata ma perdere contro una frase che quella lista non contiene.

Che cosa abbiamo messo a confronto

Il modello base riceve solo il gioco. Con 32 esempi nel contesto vede prima altre coppie indizio–soluzione, senza cambiare i propri pesi. Con la definizione riceve una spiegazione generale del tipo di gioco, senza esempi. Con LoRA i pesi originali restano fissi, ma piccole matrici aggiuntive sono state addestrate su 1.592 coppie.

È un confronto pratico tra interventi diversi, non un confronto a parità di dati: il LoRA ha visto molti più esempi e ogni coppia è stata usata due volte; il test nel contesto usa soltanto i 32 esempi fissati prima delle misure.

Il caso palafitte va nella direzione opposta: con esempi e definizione il rango peggiora in tutti i modelli. “Lead generation” è invece al primo posto della lista con entrambi i controlli in tutti e quattro i checkpoint, pur non comparendo nelle generazioni. Anche qui il trasferimento osservato è sulla preferenza per una risposta nota, entro un insieme di concorrenti prevalentemente italiani.

Il prossimo controllo deve usare giochi nuovi

I cinque casi ci hanno aiutato a formulare domande, ma sono ormai osservati ripetutamente. Nuovi enigmi, fissati con le loro soluzioni prima dei test e non usati per scegliere esempi o parametri, sono necessari per valutare quanto il comportamento si estenda. L’assenza dal nostro corpus non dimostra l’assenza dal pretraining.

Livello 2 · Per chi vuole riprodurre il confronto

Dataset, input, obiettivi e risultati

Dal PDF al training

L’Antologia tematica di crittografie mnemoniche B.E.I. contiene 1.994 occorrenze nelle tabelle delle pagine 3–42. L’estrazione conserva esposto, soluzione, autore e pubblicazione. Un secondo estrattore ha verificato tutti i campi, ignorando soltanto gli spazi: nessuna discordanza sui 1.994 record.

Aggiungendo i 31 esempi pubblicati del pilot otteniamo 2.025 righe e 2.010 coppie distinte. I duplicati rimangono nel corpus documentale ma non vengono ripetuti dall’ottimizzatore. Gli split raggruppano esposti o risposte normalizzati uguali, per impedire copie dello stesso materiale tra training e test. Quattro coppie già segnalate come problematiche sono escluse: il training effettivo contiene 1.592 coppie. Il PDF non fornisce diagrammi né spiegazioni per ogni voce; i diagrammi sono derivati dalla soluzione, con provenienza esplicita.

Tutti i cinque bersagli qui discussi sono esclusi dal training. “Proprietà emergenti” e “palafitte” vengono valutati nei due versi; “servo muto” è la soluzione confermata di “NON POSSO PARLARE (5 4)”. “Lead generation” e “una brutta influenza” sono stati proposti dall’assistente e confermati prima delle relative inferenze.

Che cosa impara il LoRA

Input utente:
Risolvi questa crittografia mnemonica italiana: CASA MIA (1 5 3 5 1 6).
Scrivi soltanto la soluzione, senza premesse né spiegazioni.

Risposta supervisionata:
l'abito per tutti i giorni [EOS]

Il training usa teacher forcing: per prevedere ogni token della risposta, il modello riceve il prompt e i token corretti precedenti. La maschera causale impedisce di leggere i token futuri. Il prompt e il padding sono esclusi dalla loss; sono supervisionati i token della soluzione e della fine risposta. Non vengono fornite spiegazioni nel nuovo corpus e non esiste un obiettivo esplicito come “riconosci il doppio senso”.

Ogni run parte dal checkpoint originale. Due epoche, 398 aggiornamenti AdamW, learning rate 10⁻⁴, batch effettivo 8, rank LoRA 16, α 32, dropout 0,05. Il 4B ha due seed (17 e 29); i modelli più grandi hanno il solo seed 17. Sul 4B gli adapter interessano query, value e output dell’attenzione in tutti i 36 layer, per 9.732.096 parametri. Nei modelli ibridi sono adattate anche le proiezioni DeltaNet del ramo testuale: 17.457.152 parametri nel 9B e 45.948.928 nei 27B. Embedding, MLP, testa di output e pesi originali restano congelati.

Che cosa ricevono i due nuovi controlli

Esempi nel contesto: 32 coppie eleggibili del training, ordinate per SHA-256 di un prefisso fisso e dell’ID. Nessuna ricerca di esempi simili al bersaglio. Ogni coppia diventa un turno utente seguito dalla soluzione come turno assistente; il gioco holdout è l’ultimo turno. Non si carica alcun adapter. Gli ID selezionati e gli hash del piano sono scaricabili.

Sola definizione: il testo seguente precede il prompt originale. Non si aggiungono esempi, ragionamenti svolti o suggerimenti sulle risposte. Anche per il gioco inglese la definizione è in italiano: il confronto conserva questa scelta anziché introdurre una variante dopo aver visto i risultati.

Una crittografia mnemonica è un gioco enigmistico basato sul doppio senso. Si interpreta il significato dell’esposto per trovare una parola o espressione che lo descriva e che abbia anche un’altra lettura autonoma e riconoscibile. Il passaggio è semantico: non richiede di cifrare le lettere, assegnare loro numeri o riordinarle in un anagramma. Il diagramma numerico indica le lunghezze delle parole della soluzione. La risposta deve rispettare il diagramma e sostenere entrambe le letture.

La condizione base viene ripetuta nello stesso ambiente e con lo stesso metodo di scoring dei due controlli. Il confronto LoRA riporta i run già congelati, valutati senza cache del prefisso; le piccole differenze numeriche di BF16 sono documentate sotto. Non abbiamo selezionato un prompt migliore dopo aver osservato gli holdout.

Le risposte effettivamente generate

Per ciascun gioco e condizione: una generazione greedy e tre campioni, seed 17/29/43, temperatura 0,7, top-p 0,8, top-k 20, massimo 48 token. Il thinking è disabilitato. La correttezza richiede la prima riga non vuota uguale alla soluzione dopo normalizzazione. Tre campioni non stimano accuratamente una probabilità di successo.

Anche nei precedenti probe dei cinque holdout, base e LoRA non generavano le soluzioni confermate. Di seguito tutti gli output dei nuovi controlli, inclusi quelli vuoti o troncati al limite di token.

Proprietà emergenti: il tutto è diverso dalla somma delle parti.

Fisica

Fisica, chimica, biologia, matematica, informatica, psicologia, economia, sociologia, storia.

Proprietà emergenti: il sistema si comporta in modo non previsto, ma coerente.

Alpha, Beta

Uranium-238, Thorium-232

Actinium, Thorium

Alpha, beta

PALAFITTE → P A L A F I T T E  
Numeri: (9 9) → 9 lettere, 9 lettere  

Analisi mnemonica: ogni lettera corrisponde a un

FILATI PALLA

PALAFITTE → P-A-L-A-F-I-T-T-E  
(9 9) → 9 lettere, 9 lettere  

Analisi: ogni lettera corrisponde a un numero (A=1,

PALAFITTE → P-A-L-A-F-I-T-T-E  
(9 9) → 9 lettere, 9 lettere  

Osserviamo che la parola ha 9 lettere e il numero 

CERCO PALLA

CERCO PIAZZA

Vedi il testo e conta le lettere: NON POSSO PARLARE → 15 lettere. Ma il suggerimento è (5 4), quindi prendi la 5ª e la 4ª letter

Vedi il numero 5 e 4 come posizioni nelle parole.  
NON (1 2 3 4) → posizione 5: non esiste → saltare  
POSSO (5 4 3

CIAO

CIAO Mondo

CIAO MENTE

CIAO Mondo

elementi in movimento

caratteristiche visibili

fenomeni naturali

elementi che si fanno noti

alpha decay

alpha decay

alpha decay

alpha decay

pali in posizione fissa

pali in posizione fissa

piattaforma di sostegno

piattaforma di supporto

non ho voce

non ho voce

non posso più parlare

non posso più parlare

donna con paura del pubblico

una donna che parla

c'è un'ora di tregua

fatica di governo

proprietà emergenti  
(9) → 9 lettere

Letture:
- Proprietà emergenti → 9 lettere
- "Proprietà emergenti" ha 9 lettere: P-R-O-P

proprietà emergenti  
(9) → 9 lettere

Letture:
- Proprietà emergenti → "proprietà emergenti" (9 lettere? No, ha più di 9)
Riconsider

proprietà emergenti  
(9) → 9 lettere

Letture:
- "proprietà emergenti" → parola che descrive il concetto (proprietà emergenti)
- Lettura auton

proprietà emergenti  
proprietà emergenti

lead decay

lead decay

lead decay

lead decay

PALAZZO FESTA

PALAZZO FESTA

PALAZZO FISSE

PALAFITTE  
PALAFITTE

non posso parlare  
nò posso parlàre

non pò parlàre

Nona poca parlare

non posso parlare  
nò posso parlàre

una donna orribile manipola l'opinione pubblica  
→ una / donna / orribile  
→ una / donna / orribile  

Ma la lettura alternativa deve essere riconoscibile e auton

una donna orribile manipola l'opinione pubblica  
→ una / donna / orribile  
→ una / donna / orribile  

Ma la lettura alternativa deve essere riconoscibile e auton

una donna orribile manipola l'opinione pubblica  
→ una / donna / orribile  
→ una / donna / orribile  

Ma la lettura alternativa:  
"una donna orribile"

una donna orribile manipola l'opinione pubblica  
→ una / donna / orribile  
→ **una** / **donna** / **orribile**  

Ma dobbiamo trovare una parola

proprietà emergenti

proprietà emergenti

proprietà emergenti

Proprietà emergenti

NATURE

Nuclear

NATURE

NATURE

Palline di fagioli in teglia

Palafitte

99

Palafitte (9 9)

NON POSSO PARLARE (5 4)

Non posso parlare

NON POSSO PARLARE (5 4)

Non posso parlare (5 4).

UNO DUE TRE QUATTRO CINQUE SEI SETTE OTTO NINE

1989

UNO DUE TRE SEI NINE

UNO, SEI, NINE

proprietà emergenti

proprietà emergenti

proprietà emergenti

tutto per il meglio

alpha particle

lead and radon

fourteen

uranium-238

piano di lavoro

proprietà commutativa della somma

palazzi aerei

piano di attacco

non posso parlare

non posso parlare

muto

ho il bavaglio

una donna orribile manipola l'opinione pubblica

un'opera di propaganda

una donna orribile manipola l'opinione pubblica

trattativa con le donne

Società

Fenomeno

INNOVAZIONE

SOLUZIONE

Radioactive

radioactive

Radioactive

Nuclear Power

SALVATAGGIO

FONDI DI BASSO

PALAZZO

SOLUZIONE:

SILENZIO

SILENZIOSA

IN CAPOLUOGO

SILENZIO

CASA DI VETRO

FEMMINA IN UNO ZERO

CASA 609

UNA CINA IN

SISTEMICITÀ

Sistemica

autocoscienza

SINERGIA

RADIUM, THORIUM SERIES

THORON RADIUM

RADIUM, THORIUM SERIES

ACTINIUM SERIES

PALLAVOLO

FONDAZIONE

PALAZZI

PALAFITTE

NON POSSO PARLARE (5 4) = NON POSSO PARLARE (5 4)

NON POSSO PARLARE (5 4) = NON POSSO PARLARE (5 4)

NON POSSO PARLARE (5 4) = NON POSSO PARLARE (5 4)

SILENZIO

MADONNA DI CASCIA

FEMMINA POLITICA

MARIA TERESA D'ASBURGO

UNO SCACCHIERE

caratteristiche del tutto

qualità del tutto

sintesi

tutti i sensi

half life of uranium

radioactive chain

half-life of nature

Thorium and Helium

fondamenta in acqua

casa sull'acqua

fondamenta in acqua

fondamenta in acqua

muto per legge

muto di guerra

muto e sordo

silenzio assoluto

la signora delle menzogne

La signora manipola

la stampa è la prima

malvagia manipolatrice

SISTEMA SOLARE

Fatti di stato

Caratteristiche

VANTAGGI NATURALI

ACTINIDE SERIES

ONE HALF LIFE

ONE ACTOR

ACTINIDE SERIES

PALAZZO DI VETRO

PALAZZO IN LEGNO

PALAZZO IN LEGNO

CASE SULL'ACQUA

MUTO SILENZIO

SILENZIO D'ORO

MUTO SOGNO

SORDO MUTO

UNA FALSA PROFEZIA

FALSA PROFEZIA POLITICA

FAKE NEWS FEMMINILE

UNA CATTIVA LINGUA

COMPLESSITÀ

FONOFONO

INTELLIGENZA

COMPLESSITÀ

ALPHA DECAY

ALPHA DECAY

ALPHA DECAY

ACTINIDE SERIES

CASA

CASTELLO

BATTICUORE

CASE

SILENZIO ASSOLUTO

SILENZIO ASSOLUTO

NON POSSO PARLARE

SILENZIO ASSOLUTO

UNA DONNA ORRIBILE MANIPOLA L'OPINIONE PUBBLICA

UNO

UNA DONNA ORRIBILE MANIPOLA L'OPINIONE PUBBLICA

UNA DONNA ORRIBILE MANIPOLA L'OPINIONE PUBBLICA

[output vuoto]

[output vuoto]

emergere

[output vuoto]

Half life

radioactive decay

Radium 226

Thorium Radium

abitazioni su pali

case in legno

casette in acqua

palo del portone

muto assoluto

muto in scena

muto assoluto

[output vuoto]

la stampa

"La bella e la bestia"

la stampa

femmina manipolatrice

INTELLIGENZA

Fenomenologia

INATTESURA

AUTOCOSTRUZIONE

NATURE'S URANIUM

THOR NITRATE

NATURE'S OWN

ACTUALLY FORTUNATE

CASA SU PALI

CASE SULLE ACQUE

CASA SU PALI

CASE SULL'ACQUA

MUTO SILENZIO

MUTO COM

MUTO SILENZIO

SILENZA

FATTA A PANE

FACCIA DI RAME

BELLA DONNA

MALE FAMA PREGIUDIZIO

Rango e probabilità su ogni holdout

Ogni risposta compete con le stesse 2.008 stringhe: risposte uniche del corpus, convertite in minuscolo, più i cinque bersagli. Il modello non riceve questa lista nel prompt: ogni candidato è valutato separatamente. Non filtriamo per lingua o diagramma e non dividiamo il punteggio per la lunghezza.

Il rango principale usa log P(risposta + EOS): la risposta deve terminare immediatamente. La logP del solo testo è conservata separatamente. Il recall@k è la frazione dei cinque bersagli entro le prime k posizioni. Con cinque casi, “almeno il 50%” richiede tre successi: k₅₀ è il terzo rango ordinato e corrisponde effettivamente al 60%.

Qwen3 4B

Qwen3.5 9B

Qwen3.5 27B

Qwen3.8 27B

Un dettaglio del 4B mostra quanto conta la terminazione: per “palafitte”, il LoRA seed 17 porta la logP del testo a −13,226 ma la logP con EOS a −21,341; la probabilità condizionale di EOS immediato è circa 0,03%. Con seed 29 è circa 31,9%. Il rango con EOS passa così da 673 a 62 tra i due seed, mentre i ranghi del testo sono 40 e 38. Non è sufficiente guardare una sola cifra per descrivere il comportamento.

apparati di nuova generazione

comportamenti spontanei

crescita di capitale

fatturato di valore

half-life

time to go

half-life

time to go

appoggio di terra

appoggio a terra

struttura di sostegno

fondamenta di legno

tacito rispetto

tasto rosso

vago e tondo

senza fiato

una brutta figura in campo

una pessima notizia

una brava maestra

una brutta faccia in pubblico

manifestazioni di potere

manifestazioni di potere

fenomeni di scala

manifestazioni di potere

"the slow decay"

time to go

half-life period

fate's wheel turns

appoggiate in mare

appoggiate a terra

struttura di sostegno

fondamenta di legno

"Non posso dire"

tasto rosso

canto inascoltato

senza fiato

una brutta figura

una pessima notizia

una brava maestra

una brutta faccia a sinistra

apparaturi

attivismo

attualità

appariti di fronte

half-life series

alpha chain

alpha chain

fate's long chain

appoggio di fondo

appoggiate a terra

struttura di base

fondamenta di legno

tasto "bloccato"

tasto rosso

canto terzo

freno a mano

una brutta figura fa la notizia

una brutta faccia in pubblico

una brava maestra

una brutta faccia in pubblico

apparati di rilievo

apparimenti di proprietà

manifestazioni di potere

fatturazione di valore

lead to the end

lead to a conclusion

alpha emission

fate's fall to the ground

appoggio di fondo

appoggiate a terra

struttura di sostegno

fondamenta di legno

tacito rispetto

tacito verbale

canto e prosa

senza fiato

una brutta figura

una brutta faccia a sinistra

una brava maestra

una brutta faccia a sinistra

successi personali

costituzioni nuove

successi personali

risultati inediti

process of elimination

process of elimination

prime number series

fission of atoms

abitazioni basse

costruzioni moderne

abitanti di stive

stabilimenti balneari

taccio dico

taccio corto

taccio fitto

taccio fitto

una brutta figura in giro

un brutto pezzo di roba

una brutta figura in mano

fata malinconica del mare

risultati aggregati

costituzione italiana

risultati inattesi

risultati aggregati

change of elements

change of heart

radioactive element

fissione di elementi

abitazioni di lusso

costruzioni moderne

abitanti delle paludi

stabilimenti balneari

taccio finché posso

muto in voce

muto al telefono

taccio finché non posso

una brutta figura in testa

l'ora della Femmina

una brutta figura in mano

fata malinconsigliata

comparsa

scoperte

scopertine

comparsa

slow transmission

slow decomposition

slow disintegration

very spontaneous

fondamenta capannone

costrutti grammaticali

fondamenta lagunari

fondamenti costruiti

muto affare

muto tale

muto nero

tengo bocca

una brutta manipola

una brutta manipola

una brutta manovra

una brutta manipola

comparsa

scoperte

scoperte nuove

complesso

slow radiation

slow decomposition

slow disintegration

slow transformation

fondamenta sospese

costrutti grammaticali

fondamenta lagunari

fondamenti costruiti

muto, però!

muto tale

muto vero

tengo muta

una brutta impressione

una brutta manipola

una brutta manovella

una brutta manipola

collettivi

imprevisti

collettivi

complesso

Uran, decomposed

Uran's succession

slow disintegration

long reduction

fondamentali insediamenti

colonnine portanti

colonnine sostenute

fondamenti costruttivi

muto, caro!

muto fine

muto, eh?

tengo mute

una brutta piega

una brutta piega

una brutta passata

una brutta piega

complesse

imprevisti

collettiva

complesse

slow disintegration

fall transition

slow disintegration

uran, transformation

fondamenti costruttivi

colonnine portanti

colonnine affondate

fondente montato

muto, eh?

muto fine

muto, eh?

freno mano

una brutta piega pubblica

una brutta piega pubblica

una brutta passata

una brutta manovra

Un benchmark più ampio, distinto dai cinque casi

I run LoRA sul corpus ampliato sono stati valutati anche su 64 esempi di test congelati prima dell’inferenza. Tutti e cinque migliorano la probabilità della risposta corretta su tutti i 64 casi. La generazione greedy resta a 0/64, salvo Qwen3.5-27B che raggiunge 1/64 con “ORMA → impronta del passato”. La misura è separata dai cinque holdout e non include i nuovi controlli di prompting.

Il vecchio pilot con spiegazioni usava invece 15 famiglie di training, 30 record con parafrasi e 80 aggiornamenti. I suoi due LoRA esplicativi aumentavano la massa su quattro grafie di “palafitte” di circa 42× e 93×. L’obiettivo era soluzione seguita da spiegazione, non ragionamento prima della soluzione. Confrontarlo con il corpus ampliato cambia contemporaneamente quantità dei dati, ripetizioni e formato del target: non è un’ablation controllata delle spiegazioni.

Livello 3 · Per chi valuta le affermazioni meccanicistiche

Che cosa abbiamo localizzato, e che cosa rimane da dimostrare

Non esiste un inventario diretto dei “token attivati”

Un token è un simbolo del vocabolario; un’attivazione è un vettore calcolato all’interno del modello. Il logit lens proietta una rappresentazione intermedia attraverso la normalizzazione e la testa di output, producendo una lettura nello spazio dei token. Questa lettura può suggerire dove emerge un candidato, ma non identifica da sola un concetto o un circuito causale.

Nel tokenizer del 4B, “palafitte” si divide in pal / af / itte. L’aumento del primo token non dimostra che aumenti l’intera parola: quel prefisso può proseguire in modi diversi. Per questo i risultati principali valutano l’intera stringa. La somma delle probabilità di poche grafie non esaurisce inoltre tutte le risposte semanticamente corrette.

Il patching dimostra una possibilità, non l’origine spontanea

Nel pilot, un Qwen3-30B-A3B-Instruct-2507 — modello MoE diverso dai 27B densi qui confrontati — risolveva una definizione abitativa esplicita, ma non “proprietà emergenti”. Inserire nel prompt ambiguo una rappresentazione proveniente dalla definizione, al layer 35 nella posizione di fine esposto, alzava la probabilità dell’intera parola fino a circa 0,000271. Il primo token raggiungeva circa 0,742: un’altra dimostrazione che prefisso e risposta completa sono misure diverse.

È evidenza di sufficienza di quell’intervento, con un donatore informativo e una posizione selezionata dopo l’esplorazione. Non dimostra che il modello abbia autonomamente attivato il significato corretto, che quel layer sia necessario, o che contenga una rappresentazione astratta del doppio senso. Il controllo di auto-patching non modificava il risultato.

Che cosa significa una modifica LoRA

W adattata = W originale + (α / r) · B · A

L = − Σ log P(token corretto | prompt, token corretti precedenti)

La fattorizzazione aggiunge una correzione a basso rango mentre il peso originale rimane fisso; è il principio del metodo LoRA. Nel nostro esperimento sappiamo dove è consentito imparare, perché scegliamo i moduli target. Non abbiamo ancora misurato quali layer o direzioni causino i miglioramenti osservati. Una norma grande della correzione non garantisce un grande effetto comportamentale, e una norma piccola non implica irrilevanza.

Il passo successivo è un’ablation: disattivare gruppi di adapter per layer o proiezione e rimisurare probabilità, rango e generazione, con controlli. Solo allora possiamo collegare il guadagno a parti specifiche del modello. Le interazioni tra layer impediscono di assumere che i contributi si sommino.

Quali esempi hanno prodotto l’effetto?

Questa attribuzione non è stata ancora eseguita. Un’analisi dei gradienti può ordinare gli esempi in base all’allineamento con un obiettivo specifico, come migliorare la risposta inglese rispetto a un indizio estraneo. LESS è un riferimento per selezione di dati con gradienti a basso rango e attenzione all’ottimizzatore. La classifica è una stima; la verifica consiste nel riaddestrare senza i gruppi più influenti e confrontare la rimozione con gruppi casuali di pari dimensione, mantenendo controllati aggiornamenti e seed.

Questo può unire due domande: quale esempio modifica quali moduli, e con quale effetto su una soluzione. Non possiamo già affermare che il LoRA “cerchi” attivazioni semantiche specifiche.

Numerica: la cache non è una nuova condizione cognitiva

Il test di prompting riusa il prefisso per rendere praticabile valutare migliaia di candidati dopo 32 esempi. La cache è copiata per ciascun batch; gli stati di attenzione e quelli ricorrenti non devono contaminarsi tra risposte. Un batch di controllo viene ripetuto dopo ogni caso e deve restituire punteggi identici. Per ogni bersaglio confrontiamo anche il calcolo completo e quello con cache, entrambi su un singolo esempio.

Lo scarto è il massimo sui 15 bersagli e sui punteggi testo, EOS e testo+EOS, a batch singolo: non è un limite garantito per tutti i candidati. Il confronto cache/full arriva a 0,585 nat nel 4B. Gli intervalli di quasi-parità entro ±0,05 nat nei dati scaricabili sono una sensibilità locale del rango, non intervalli di confidenza e non coprono questi scarti. I batch di controllo ripetuti sono identici; questo verifica il riuso della cache, non elimina l’errore di arrotondamento. I piccoli cambiamenti di rango e i confronti con i vecchi run LoRA richiedono quindi cautela. Gli effetti molto ampi meritano una replica a precisione maggiore prima di attribuirli a un meccanismo.

Il pilot aveva già rilevato differenze BF16 tra letture del primo token ottenute con percorsi di calcolo differenti. Nel controllo 4B interamente FP32, con TF32 disabilitato, lo scarto massimo scendeva a circa 1,48×10⁻⁵. Cambiare soltanto la precisione della testa non era sufficiente; il controllo interamente FP32 non è stato replicato sul vecchio 30B. Qui conserviamo i risultati BF16 e ne riportiamo gli scarti, senza trasformare differenze minime in evidenza di un meccanismo.

Interazione tra definizione e adapter

Questo intervento verifica se una definizione cambia il comportamento di un modello già adattato. La variazione di logP tra le due condizioni è l’effetto osservato del prompt su quell’adapter. Non dimostra che definizione e training agiscano sullo stesso circuito. Nemmeno un k₅₀ migliore prova una sinergia: il rango è relativo ai concorrenti e il k₅₀ prende il terzo caso ordinato, che può cambiare identità. L’attribuzione richiede ancora interventi sui moduli e nuovi holdout. Gli adapter sono stati addestrati su prompt privi di questa definizione: aggiungerla cambia la distribuzione degli input. È una possibile spiegazione del comportamento, non una causa dimostrata da questi soli confronti.

Verificati altri 50 record, 100.400 punteggi e 200 generazioni. Le classifiche e le metriche sono ricalcolate dai dati grezzi. Gli hash degli adapter coincidono con quelli dei precedenti run LoRA e con i file locali; le copie del piano e dei sorgenti coincidono. Il batch di controllo ripetuto è identico in tutti i casi. Gli scarti cache/full sono misure sui bersagli a batch singolo, non limiti d’errore universali.

Metriche e generazioni del test combinato · Protocollo congelato

Limiti che cambiano l’interpretazione

• Lista chiusa. Un rango alto può dipendere da concorrenti mancanti. In inglese i distrattori sono quasi tutti italiani; “palafitte” è una risposta particolarmente breve. La lista include risposte del training, mentre i bersagli ne sono esclusi.
• Terminazione. EOS immediato esclude anche un punto o un a capo finale. Il peggioramento di questo evento non prova da solo che il modello voglia aggiungere nuove parole.
• Formato del training. Tutti i target delle 1.592 coppie hanno almeno due gruppi di lettere. La risposta a parola singola è fuori da quella distribuzione; è un’ipotesi da isolare, non una causa dimostrata.
• Pochi casi e riuso. Cinque holdout, di cui due sono lo stesso gioco invertito, non costituiscono un campione indipendente ampio. Il confronto diventa sviluppo quando lo usiamo per scegliere il metodo successivo.
• Dati e compute diversi. 32 esempi nel contesto, una definizione e due epoche su 1.592 coppie non sono interventi di pari budget. Il prompting è sensibile a esempi, ordine e formulazione; qui ne proviamo una versione fissata.
• Contaminazione e seed. Esclusione dal fine-tuning verificata; assenza dal pretraining non stabilita. Due seed LoRA solo sul 4B. Non stimiamo la varianza tra seed per i modelli più grandi.

Un protocollo per i prossimi holdout

Registrare esposto, diagramma e risposta confermata prima dell’inferenza; verificare corrispondenze e parafrasi nel corpus; non selezionare gli esempi in context sulla base del gioco. Mantenere fissi prompt e parametri e salvare anche gli errori. Separare un gruppo di sviluppo da una nuova verifica finale. Per l’inglese servono più casi e distrattori della stessa lingua; per i ranghi servono anche risposte plausibili generate indipendentemente, senza introdurre soltanto il bersaglio corretto.

Materiali

Provenienza e riproducibilità

Verificati 60 record di prompting, 120.480 punteggi di candidati e 240 generazioni. Per ciascuno dei 60 record il rango è ricalcolato dai punteggi grezzi e coincide con il riepilogo. I confronti precedenti base/LoRA contengono altri 45 record. Gli hash dei sorgenti, dei piani e del protocollo coincidono tra copie locali e run Modal completati. I tentativi iniziali incompleti sono esclusi.

Source SHA-256: 646e11bef3805189a12eaa2d3d02a7fbcaaba65324c1d8c5898d246117448465
Plan SHA-256: 5044ef7fc62847030786c27ed2e806a8ead98d38227de136e6363ac9d3d47a6d
Protocol SHA-256: 41bf0c46a6ee5a34b51797ac9aa431cc028dff2ebd96ad2399fea27103a300d7
Corpus SHA-256: db186802a034531f8b5cc39ba6eb980fea8216565920fa7cfa87c5d43589c7fc

bei-p04-47
bei-p28-02
bei-p26-09
bei-p25-06
bei-p22-07
bei-p25-12
bei-p12-44
bei-p12-24
bei-p11-45
bei-p06-48
bei-p28-27
bei-p19-14
bei-p36-36
bei-p12-38
bei-p10-49
bei-p26-13
bei-p21-44
bei-p18-25
bei-p18-09
bei-p32-47
bei-p41-15
bei-p40-43
bei-p23-50
bei-p37-24
bei-p24-38
bei-p11-11
bei-p27-16
bei-p06-17
bei-p13-19
bei-p06-13
bei-p41-23
bei-p22-30

Ambiente dei nuovi run: PyTorch 2.9.1, Transformers 5.19.0, PEFT 0.21.2; pesi BF16, attenzione SDPA, log-softmax FP32, TF32 disabilitato. Gli adapter non sono caricati nei controlli di prompting. Il JSON pubblico conserva metriche, output, revisioni, diagnostica numerica e ID; i punteggi completi e i prompt con le 32 coppie sono conservati nell’archivio locale della ricerca.

Il corpus deriva dall’antologia B.E.I. di Pippo e Nam (maggio 2002) e dagli esempi di Gruppo Ludico. Le licenze delle due fonti sono distinte: non estendiamo la licenza CC BY-NC-SA di Gruppo Ludico al PDF. Questo sito pubblica risultati, metodi e una selezione delle osservazioni; non redistribuisce l’intera antologia.

Scarica le metriche e gli output del report · Protocollo dei controlli di prompting · Protocollo dei ranghi · Manifest e hash degli artefatti

Le tabelle sono generate dai file dei run completati e verificati. Il sito è composto da HTML, CSS, SVG e JSON serviti direttamente da Caddy. Le cartelle senza un indice HTML vengono elencate dal suo file server; questo report è l’indice della propria cartella.