A Appendice: Informazioni metodologiche

In questa appendice sono presentati i dettagli delle analisi realizzate tramite delle apposite rappresentazioni grafiche.

Nello specifico, al fine di testare delle eventuali differenze a livello dei risultati medi ottenuti dagli allievi nelle prove di matematica ed italiano sono state realizzate due tipologie di analisi:

  • test t di Student

  • ANOVA (analisi di varianza)

In entrambi i casi, e per facilitare l’interpretazione delle analisi statistiche realizzate, i risultati delle stesse sono rappresentati tramite dei grafici che permettono di visualizzare e comprendere le differenze eventuali di media osservate. Di seguito verranno presentate succintamente le due tipologie di analisi realizzate e verranno fornite le informazioni necessarie ad una corretta lettura e interpretazione dei grafici.

A.1 Test t di Student

Il test t di Student a campioni indipendenti permette di testare se le differenze medie tra due gruppi di allievi (e.g., testare la differenza di risultati tra maschi vs. femmine). Il test statistico permette dunque di identificare delle differneze di media che non siano imputabili al campionamento effettuato10.

A.1.1 Lettura del grafico

Nell’immagine A.1 è possibile identificare i seguenti “parametri” di interesse: Valori medi misurati; p value; taglia dell’effetto.

  1. Valori medi misurati: indicano i valori misurati nei vari gruppi.

  2. p value: generalmente il risultato di un test statistico viente valutato rispetto al valore soglia \(\alpha\) = .05. Se il valore della p value è inferiore a .05, il test viene dichiarato statisticamente significativo. A questo proposito è importante sottolineare che un risultato statisticamente significativo non implica che quanto osservato (in questo caso delle differenze di media) sia “importante” (cf. punto seguente rispetto alla nozione di effect size).11

  3. Hedges g: Per poter quantificare correttamente i risultati è dunque quanto meno necessario interessarsi a delle misure appropriate che permettano di quantificare l’importanza delle differenze osservate: la taglia dell’effetto. Esistono diverse tipologie di misure della taglia dell’effetto (che dipendono principalmente dal test statistico utilizzato), ed in questo caso si è optato per la misura chiamata G di Hedges che nell’ambito del test t di Student, permette di quantificare la differenza di media osservata.12

Il valore per il G di Hedges varia tra 0 e 1 e possono essere indicativamente interpretati come segue (Cohen, 1988):

  • dei valori inferiori a .2 indicano delle minime differenze

  • dei valori tra .2 e .5 delle differenze medie

  • dei valori superiori a .8 delle differenze importanti

\(~\)

Grafico A.1: Esempio grafico test t di Student

Esempio grafico test t di Student

\(~\)

A.2 ANOVA (analisi di varianza)

L’analisi di varianza (ANOVA) viene comunemente utilizzata per testare la differenza di media tra due e più gruppi (e.g., per testare la differenza di risultati tra allievi dei comuni rurali, della cintura o nuclei). Il test statistico si compone di due parti distinte. La prima, comunemente chiamato test omnibus permette di testare la differenza di media a livello generale, senza però stabilire quale gruppo differisca da quale gruppo. La seconda, comunemente chiamato test post hoc13 permette di testare ogni possibile confronto tra i gruppi presi “due a due” (e.g., comuni rurali vs. comuni della cintura; comuni della cintura vs nuclei; comuni rurali vs. nuclei).

A.2.1 Lettura del grafico

In modo simile a quanto descritto per il grafico relativo al test t di Student, nell’immagine A.2 è possibile identificare i seguenti “parametri” di interesse: Valori medi misurati; p value; taglia dell’effetto.

Inoltre nel grafico è pure possibile identificare (cf. ellissi gialla) quali test posthoc siano statisticamente significativi. A titolo di esempio, nel grafico A.2 si può osservare come sussistano delle differenze statisticamente significative tra i comuni della città nucleo ed i comuni della cintura, così come tra i comuni delle città nucleo ed i comuni rurali. Le differenze tra i comuni della cintura ed i comuni rurali non sono invece statisticamente significative.

Per quel che riguarda la taglia dell’effetto, nel caso dell’analisi di varianza corrisponde al parametro eta parziale al quadrato (\(\eta{_p}^2\)), che a discapito del nome indica semplicemente la percentuale di varianza dei valori misurati in funzione dall’appartenenza al gruppo. Cohen (1988) fornisce i seguenti valori indicativi che permettono di apprezzarne il significato.

  • dei valori inferiori a .01 indicano delle minime differenze

  • dei valori tra .01 e .06 delle differenze medie

  • dei valori superiori a .14 delle differenze importanti

Grafico A.2: Esempio grafico ANOVA

Esempio grafico ANOVA

  1. Va sottolineato come, nonostante il fatto che si sia proceduto a somministrare le prove all’intera popolazione di allievi di quinta elementare, nel presente rapporto sono stati presentati ed analizzati unicamente i dati di un campione, ossia gli allievi che hanno partecipato ad entrambe le sessioni di somministrazione e risposto ad entrambi i fascicoli di matematica e italiano.↩︎

  2. Un risultato statisticamente significativo (i.e., p < .05) indica unicamente che quanto osservato (o dei risultati ancora più estremi) abbiano meno del 5% di chances di “prodursi” nel caso in cui non esistessero reali differenze nella popolazione (i.e., ipotesi nulla). la p value corrisponde alla probabilità di ottenere un effetto almeno estremo come quello dei dati attuali, assumendo la verità dell’ipotesi nulla.↩︎

  3. È importante sottolineare come l’interpretazione di un test statistico, non possa realizzarsi unicamente tramite il meccanico utilizzo della p value. Wasserstein e Lazar (2016) scrivono: “La significatività statistica non è equivalente alla significatività scientifica, umana o economica. Valori di p più piccoli non implicano necessariamente la presenza di effetti più grandi o più importanti, e valori di p più grandi non implicano una mancanza di importanza o anche una mancanza di effetto. Qualsiasi effetto, non importa quanto piccolo, può produrre un piccolo p-value se la dimensione del campione o la precisione della misurazione è abbastanza alta, e grandi effetti possono produrre p-values non impressionanti se la dimensione del campione è piccola o le misurazioni sono imprecise. Allo stesso modo, identici effetti stimati avranno diversi valori di p se la precisione delle stime differisce.” (traduzione libera).↩︎

  4. Va rilevato come esistano diverse tipologie di test posthoc che rispondono ad esigenze specifiche. In questo caso si è optato per utilizzare un test di Bonferroni che permette di adattare la soglia di significatività statistica in base al numero di confronti realizzati.↩︎