Marradi Alberto (2007). Sarebbe questa la valutazione? Note critiche sul modo in cui vengono valutate le ricerche dei dipartimenti, prendendo spunto dal caso di Firenze. In A. Baldissera, Cristina Coggi, Renato Grimaldi (a cura di.), "Metodi di ricerca per la valutazione della didattica universitaria". Lecce: Pensa Multimedia: 347-352.
un estratto dal testo
Per valutare le ricerche è stata creata una tipologia cui si possono muovere diversi appunti:
1) non risulta alcuna distinzione fra i libri con un solo autore e i libri con più autori. Questa equiparazione è opportuna nel caso in cui gli autori plurimi appartengano allo stesso dipartimento (altrimenti un’applicazione formalista della norma porterebbe a valutare più volte la stessa opera). Ma in tutti gli altri casi mette alla pari chi scrive un libro da solo e chi lo scrive insieme con altri (magari tre o quattro altri).
2) la tipologia introduce una distinzione fra “saggio” e “articolo”. In assenza di qualsiasi criterio per distinguere “saggi” da “articoli”, la valutazione è rimessa all’arbitrio delle varie commissioni. Possiamo pertanto avere un intervento occasionale in un convegno internazionale, finito negli atti e giudicato “saggio” dalla commissione X (10 punti) e un contributo di quaranta pagine in una rivista con referees giudicato “articolo” dalla commissione Y (2,5 punti). Quanto meno essere indicata una soglia minima per poter attribuire lo status di “saggio”.
3) Non solo non si distingue fra i libri con autore singolo e i libri con più autori, ma non si distingue neppure fra curatele che sono il frutto di un coordinamento di anni di progetti inter-ateneo e curatele che consistono solo nel mettere insieme gli atti di un convegno. E’ ovvio che non si può chiedere a chi valuta di ricostruire la genesi di ogni volume, ma si dovrebbe quanto meno valutare la presenza o meno di un corposo saggio introduttivo del curatore, e differenziare i punteggi in funzione di tale presenza o assenza.
4) L’esterofilia dei criteri pare troppo rigida, e tipica di un paese sottosviluppato. Qualunque editore straniero vale a priori il doppio di qualunque editore italiano, e qualunque rivista straniera vale a priori il doppio di qualunque rivista italiana.
Sembra che la tipologia sia stata concepita da persone estranee all’accademia, o molto frettolose e superficiali. Il pensiero che sia stata usata per valutare la produzione di decine di migliaia di colleghi provoca una reazione di rigetto.
La selezione locale
Il dipartimento sceglie le opere da inoltrare alla valutazione, tenendo presente la tipologia di riferimento. Un docente (non necessariamente dei raggruppamenti disciplinari cui appartengono i membri del dipartimento) fa un’ulteriore cernita riducendo le opere] da 25 a 9. Operazione in sè plausibilissima, salvo che viene effettuata ignorando la tabellina sopra riportata: per cui i libri con editore straniero (che danno il massimo dei punti) passano da 4 a 2, e i due libri curati con editore straniero (che pure danno un alto punteggio) scompaiono. [i dipartimenti lontani, per settore disciplinare da quello del valutatore subiscono tagli molto più consistenti di quelli adottati sul dipartimento che raccoglie docenti con interessi e competenze vicini a quelli del valutatore]. Una possibile variabile esplicativa delle valutazioni ricevute dalle pubblicazioni del loro dipartimento [è] la distanza disciplinare da chi ha operato la selezione.
La valutazione nazionale: il trionfo della scienza normale (o peggio)
Il giudizio nazionale era demandato a dei panels competenti per area. Quello competente per l’area 14 (scienze politiche e sociali) era presieduto da un ordinario di scienza politica. Molto di quanto dirò in questo paragrafo si basa sulla sua relazione che accompagna il giudizio finale del suo panel.
1) pur prendendo atto del fatto che i titoli dell’ateneo bolognese sono stati valutati da esperti nominati da panelists stranieri, sembra comunque inopportuno che gli unici due panelists italiani (su un totale di cinque) provengano dalla stessa facoltà dello stesso ateneo.
2) Nella sua relazione il presidente lamenta che gli articoli di rivista siano soltanto il 20% del totale. Ma questa è una conseguenza inevitabile della “tipologia di prodotto scientifico e relativi punteggi” diffusa dalla CRUI, che assegna — sia fra le pubblicazioni con editore straniero sia fra quelle con editore italiano — un punteggio doppio ai libri rispetto ai “saggi” e addirittura quadruplo rispetto agli “articoli” (uso le virgolette data la natura misteriosa della distinzione: vedi sopra).
3) Nella sua relazione il presidente lamenta che “la scelta dei prodotti da sottoporre alla valutazione abbia ripercorso i cliché tradizionali dell’anzianità, del grado accademico e della rappresentanza delle diverse aree, componenti e sottosettori disciplinari, piuttosto che un’adeguata valutazione dei meriti scientifici assoluti”. Ma pare del tutto ovvio che questo sia un effetto inevitabile del fatto che le commissioni di selezione hanno una competenza su aree disciplinari troppo vaste. Non potendo certo leggere le decine di opere presentate, non conoscendo in profondità gli autori che operano in settori disciplinari anche molto distanti dal loro, Ë ovvio che si basano sulla notorietà dei personaggi, sul fatto che essi rappresentano punti di vista standard, e così via. Come risulta dalla relazione, i cinque membri del panel competente per l’area 14 hanno interpellato numerosi valutatori esterni, basandosi poi sui loro giudizi. Ma spesso i giudizi dei valutatori esterni erano poco o per nulla argomentati. Ciò induce a pensare che molti abbiano accettato di valutare le opere loro sottoposte ma non abbiano dedicato loro il tempo necessario a esprimere un giudizio argomentato, limitandosi a esprimere un giudizio sintetico consistente nella scelta di uno di quattro livelli prestabiliti (eccellente / buono / affidabile / limitato). Pare ovvio che — per stare sul sicuro — giudizi del genere vengano basati sul grado di notorietà degli autori. Con questo meccanismo, autori giovani o eterodossi hanno poche possibilità di arrivare in fondo al percorso ad ostacoli che gli si presenta. Se uno è giovane e eterodosso insieme ne ha ancora meno. In questo modo la “scienza normale” premia se stessa e scoraggia le innovazioni — esattamente come diceva Kuhn. Si sottolinea il fatto che non c’è bisogno di alcun bieco disegno, di alcuna congiura dei grandi vecchi affinché ciò avvenga. Sono sufficienti due fattori per così dire, meccanici: la vastità del bacino di conoscenze necessarie a valutare e la penuria di tempo che induce inevitabilmente a basarsi sull’immagine preesistente dei valutati, cioé sul loro nome. Non voglio dare troppo peso a un fenomeno che pure è stato autorevolmente denunciato, e cioé la possibilità che un’opera venga giudicata in modo radicalmente differente a seconda dell’appartenenza di scuola. Nell’incontro, già ricordato, fra il presidente e i delegati di ateneo è emerso che su quasi un quinto delle opere i due valutatori esterni hanno dato giudizi opposti (da ‘eccellente’ a ‘accettabile’, o addirittura a ‘limitato’). Nel qual caso il panel ha tenuto per buono il giudizio più argomentato (una scelta condivisibile, ma che certo non garantisce che il giudizio accolto, pur argomentato, sia sereno).
Effetti perversi della valutazione e consigli per giovani:
A) occuparsi sempre del tema del momento, scrivere instant books, per avere qualche possibilità di avere una eco sui media, e quindi di far circolare il proprio nome al di là della ristretta cerchia della propria disciplina;
B) scrivere delle ovvietà assolute, guardandosi bene dal prendere posizioni innovative e eterodosse che potrebbero urtare la maggioranza, e guardandosi ancora più attentamente dall’esprimere la minima critica nei confronti di un qualsiasi collega, dato che potrebbe essere uno dei prossimi valutatori.
