QUARANTA ANNI DI VALUTAZIONE DELLE POLITICHE E DEGLI INVESTIMENTI PUBBLICI: LEZIONI DALL’ESPERIENZA. Rassegna Italiana di Valutazione n. 40

Riassunto
L’articolo è una rassegna di 40 anni di valutazione delle politiche e degli investimenti pubblici sulla base dell’esperienza dell’autore, il quale ha potuto sia partecipare sia osservare i cambiamenti di metodi, tecniche e procedure di valutazione in varie sedi istituzionali – dalla Banca Mondiale alla Commissione Europea, dai Ministeri italiani alla docenza presso Università anche straniere e la Scuola Superiore della Pubblica Amministrazione. La conclusione principale della rassegna è che l’analisi costi benefici con opzioni reali, specialmente se coniugata con il “metodo degli effetti”, consente di risolvere alcuni nodi di fondo delle tecniche tradizionali di valutazione economica e finanziaria e soprattutto di portare tali tecniche a sintesi con quelle della valutazione socio-organizzativa.
Parole Chiave: valutazione ex-ante, valutazione ex-post, Banca Mondiale, pesi distributivi

Abstract
This is a review article based on 40 years of experience in the field of policy and project appraisal and evaluation. The author has had an extensive career in this area in the World Bank, the European Commission, Italian Government Ministries and in academia. The review concludes that cost benefit analysis extended to “real options” and applied jointly with the “effects method” helps solve certain critical issue of traditional financial and economic appraisal and evaluation techniques. More significantly, it contributes to better integrate financial and economic evaluation and appraisal techniques with organizational and sociological evaluation techniques.
Key Words: appraisal, evaluation, World Bank, distribution weights


Giuseppe Pennisi

Premessa

Questo articolo è una riflessione sintetica su 40 anni di valutazione (dell’investimento pubblico) come visti dalla mia esperienza di “public servant” in organizzazioni sia nazionali sia internazionali al fine di trarne alcune lezioni per coloro che oggi si affacciano al mondo della valutazione. E’ diretto principalmente alle giovani generazioni che entrano in questo campo o che meditano di entrarci. Riguarda, poi, soltanto un aspetto della valutazione: quella economica e finanziaria ex-ante. Da un lato non mi considero competente ad affrontare altri aspetti della valutazione (quelli sociologici, politologici, giuridico-istituzionali, tecnologici) se non da orecchiante e da dilettante. Da un altro, una retrospettiva di esperienze e di metodi di monitoraggio e di valutazione ex-post ci porterebbe molto lontano e comporterebbe entrare in dimensioni procedurali, di interesse limitato ai lettori della Rassegna Italiana di Valutazione. La presentazione è organizzata per vasti periodi cronologici.

Gli Anni Sessanta e Settanta

I miei interessi professionali iniziali non erano diretti alla valutazione ma alla teoria del commercio internazionale ed alle politiche commerciali (Pennisi, 1967, 1969) con particolare attenzione alle implicazioni di quelle dei Paesi industriali ad alto reddito pro-capite sulla crescita di quelli che allora erano chiamati i Paesi in via di sviluppo. Un lavoro sui rapporti d’associazione tra quella che ora è l’Unione Europea (Ue) e 18 Stati associati mi portò inevitabilmente a studiare il Fondo europeo di sviluppo (F.e.s.) ed ad effettuare numerose visite ai servizi della Commissione a Bruxelles (Pennisi, 1966) e, per ciò, ad avere accesso alla valutazione ex-ante che si cominciava ad effettuare nel contesto comunitario La prima di tali valutazioni con contenuto professionale , a mia memoria, riguardò un progetto di sviluppo agricolo nel Madagascar: venne condotta da consulenti incaricati dal Governo del Madagascar (ma approvati, e finanziati, dalla Commissione Europea) sulla base di “regole di ingaggio” che contemplavano essenzialmente stime degli effetti dell’intervento, ma non il calcolo di indicatori sintetici attualizzazti di convenienza finanziaria ed economica tipici dell’analisi costi-ricavi finanziaria e dell’analisi costi-benefici economica (come il Sir, Saggio interno di rendimento, ed in Van, Valore attuale netto).

Veniva, infatti, applicato quel “metodo degli effetti” che sarebbe, successivamente, statola centro di animato dibattito nella professione (per una sintesi, Chervel, 1995). Era un approccio differente dell’analisi costi-benefici, di cui allora studiavo i rudimenti alla Johns Hopkins University, ma che ben si collocava nella cultura europea (e non solo) della valutazione dei programmi di sviluppo della seconda metà degli Anni Sessanta, imperniata sugli effetti di trazione dei poli di sviluppo (ad es. Marrama 1958; Moussa, 1960; Myrdal, 1962; Perroux, 1962, Prebish, 1951) inseriti in programmi pluriennali ispirati a quella che veniva chiamata “la programmazione indicativa”; era parte della prassi della Cassa per il Mezzogiorno (Petriccione, Piccioni, 1976) ed aveva rappresentato il modello sottostante la programmazione e la valutazione (degli effetti) del polo siderurgico di Taranto (Solustri, 2002). Rappresentava soprattutto il metodo seguito non soltanto nei Paesi dell’area francofona ma anche dell’America Latina nell’ambito delle varie scuole dello strutturalismo economico (ad es. Prebish, 1951; Pennisi, 1987). Il “metodo degli effetti”, come vedremo in un paragrafo successivo, avrebbe avuto nuovo lustro nel primo scorcio del XXI secolo; allora era visto con diffidenza specialmente all’Ocse, all’Unido ed alla Banca Mondiale, organizzazioni internazionali che stavano diventando la fucina delle metodologie, tecniche e procedure di valutazione basate sull’analisi dei costi e dei benefici “sociali”. Nelle analisi relative a progetti finanziati dalla Commissione Europea veniva seguita una versione molto semplificata del “metodo degli effetti” (quale illustrata ad esempio in Bridier, Michailoff 1980 e in Bussery, Chartois 1975-82) agevolata, però, dal fatto che in numerosi Paesi di espressione francese esistevano tavole input-output, anche se spesso stimate, non rilevate, e soprattutto non aggiornate con la periodicità necessaria. E’ utile ricordare che veniva vista con favore la programmazione economico dell’investimento pubblico (e di molti altri aspetti delle politiche pubbliche); ancora alla metà degli Anni Novanta Chervel sottolineava come il “metodo degli effetti” sotto-intendesse un’economia di piano; tanto nella versione colloquialmente chiamata dell’Unido quanto in quella considerata dell’Ocse, al centro dell’operatività dell’analisi costi benefici venivano concepiti istituzioni chiamate COPE (Central Office of Project Evaluation) non dissimili ad un Commissariato al Piano. In sintesi, il “metodo degli effetti” consisteva nell’individuare e quantizzare gli effetti di una politica o di una misura oppure ancora di un progetto sull’economia su cui insisteva , a soffermarsi sulle variabili-obiettivo (occupazione, valore aggiunto, industrializzazione) ritenute più importanti alla luce degli obiettivi di programmazione e giungere ad una molteplicità di indicatori sulla cui base giungere ad una decisione.

Più importante degli aspetti tecnico-economici, è che il dialogo committente- consulenti (i valutatori) si svolgeva tra i funzionari della Commissione e gli esperti-consulenti, con interventi abbastanza modesti da parte dei dirigenti e dei funzionari degli Stati associati, che avrebbero, in ogni caso, avuto la responsabilità di attuare e soprattutto gestire i progetti. E’ difficile dire se ciò si dovesse attribuire al ruolo quasi debordante della Commissione nella gestione del F.e.s. , nel fatto che gli Stati associati si sentissero solo parzialmente titolari dei progetti, nelle differenze di preparazione professionale od altro. Alla base c’erano verosimilmente le procedure molto centralizzate del F.e.s , come sottolineato acutamente (oltre che in numerosa pubblicistica dell’epoca) in libro che ben tratteggia il clima generale di quel periodo (Andreis, 1967).

Arrivai in Banca Mondiale con un bagaglio modesto in materia di valutazione- anche se, in seguito, tutta la mia carriera nell’istituzione è stata nel settore della valutazione (ex-ante, in itinere, ex-post) di progetti. Cominciai ad annusare le complessità della valutazione in un progetto idroelettrico in Argentina (El Colchon) ed in un progetto di irrigazione in Sudan (Rahad). Il mio ruolo personale era modesto anche poiché si trattava di due investimenti molto vasti e finanziati da una molteplicità di fonti. Con El Colchon appresi i rudimenti delle tecniche di co-finanziamento tanto parallelo quanto congiunto con partner finanziari pubblici e privati sia tramite crediti da parte dei fornitori. Con Rahad mi fu chiesto di effettuare l’analisi di reattività, tanto finanziaria quanto economica, degli indicatori sintetici di convenienza al variare di alcune ipotesi; mi dovetti confrontare con Development & Resources (D & R) , la società di consulenza ingaggiata dal Governo sudanese per la preparazione del progetto, un’azienda creata e guidata da David Lilienthal che nella sua carriera pubblica era stato l’iniziatore e l’amministratore delegato della Tennessee Valley Authority e il primo Presidente della Atomic Energy Comission americana. La stessa Banca mondiale si confrontava con umiltà nei confronti di D & R. Occorre dire che l’analisi di reattività, condotta con un collega svizzero ventiseienne come me, ebbe un impatto utile sull’allestimento del progetto (nonostante fu effettuata allo stadio molto avanzato del negoziato per il pertinente finanziamento): convinse D & R (che a sua volta operò azione di persuasione sul Governo sudanese) della fragilità dei rendimenti finanziari del progetto e, dunque, della necessità di assistenza tecnica e di formazione del personale per il controllo dei costi (tanto di gestione quanto di investimento), nonché per il marketing del prodotto (cotone di altissima qualità). Ciò mi fu utile nell’affrontare (nel contesto di una missione di analisi della situazione e delle prospettive economiche del Paese non di valutazione di progetti) le tematiche del manifatturiero tessile in Egitto; avevo trovato stimolante, quasi divertente, l’analisi finanziaria (un lavoro faticoso che allora si faceva con le tabelle di attualizzazione ed i calcolatori da tavolo); riuscii quindi a scoprire una serie di sussidi occulti al tessile da esportazione di cui né i miei colleghi né il Ministero dell’Economia del Paese avevano contezza. La scoperta fu utile poiché comportò una razionalizzazione del sistema. Fu ancora più utile alla mia reputazione all’interno dell’istituzione ed al conseguente orientamento verso l’analisi di progetti.

Allora (fine Anni Sessanta) l’analisi dei costi e dei benefici economici era pittosto embrionale (specialmente in materia di derivazione dei “prezzi ombra”, ossia di valori economici che esprimessero, al tempo stesso, scarsità relative per la collettività ed obiettivi di politica economica). Si era già giunti, però, a raffinatezze in materia di analisi finanziaria, soprattutto sotto il profilo dell’analisi di rischio; ebbi la fortuna di lavorare sulle prime applicazione delle “simulazioni di Montecarlo” ai porti di Mombasa e Mogadiscio (Pouliquen; 1975) ed all’analisi pionieristica sui rendimenti dell’istruzione in Kenya (Thias, Carnoy, 1972), nonché allo studio sul potenziale dell’energia nucleare a fini civili in Paesi in via di sviluppo – tre pietre miliari in vario modo rispettivamente per l’analisi finanziaria del rischio, dell’economia dell’informazione e della conoscenza, e della valutazione di alternative tecniche ai fini della minimizzazione dei costi complessivi.

A cavallo tra la fine degli Anni Sessanta e l’inizio degli Anni Settanta, furono pubblicati due manuali fondamentali da parte dell’Ocse e dell’Unido (Little, Mirlees, 1974; Dasgupta, Marglin, Sen 1972), che innovarono in materia metodologica e procedurale specialmente in materia di derivazione di “prezzi ombra” e di considerazione di valutazione di distribuzione del reddito e di beni ed obiettivi meritori o sociali. Avevano una robusta base teorica nell’economia del benessere (Drèze, Stern, 1987). L’innovazione metodologica e procedurale era l’utilizzazione del mercato internazionale come riferimento di politica economica “positiva” per la derivazione dei “prezzi ombra” e di “parametri nazionali” per tenere conto degli aspetti di politica economica “normativi” (gli obiettivi della collettività). Si sviluppò un dibattito sull’analisi dei costi e dei benefici “sociali” (come venne chiamata), discusso ampiamente nella premessa di un libro recente scritto a quattro mani con P.L. Scandizzo (Pennisi, P.L. Scandizzo, 2003). In questa sede, quindi, è importante ricordare alcuni punti salienti:

• In alcune loro versioni operative (Bussery, 1973; Hansen, 1978; Sudgen, Williams, 1978), i manuali proponevano importanti scorciatoie operative tali da rendere l’analisi economica di politiche e di investimenti pubblici alla portata anche di chi non aveva solide basi teoriche e metodologiche.

• Ciò aveva vantaggi importanti in materia di diffusione delle tecniche e della loro capacità di diventare strumento essenziale di dialogo (e quindi di consultazione) con gli altri professionisti (ingegneri, agronomi, sociologici, ecc.) impegnati nell’allestimento del progetto, oltre che veicolo per colloquiare con l’organo politico e ricavarne preferenze (Pennisi, 1991). Inoltre, le tecniche basate sui manuali davano un’impressione di “neutralità”, nel senso di minor coinvolgimento della mano politica, nelle discussioni sul merito dei singoli interventi.

• A questi due importanti vantaggi corrispondevano, però, due importanti svantaggi. Da un lato, l’”arroganza del valutatore” costretto a ricavare obiettivi di politica economica (la funzione di benessere sociale) da informazioni parziali, limitate e contradditorie. Da un altro, l’enfasi sui lati più strettamente meccanici delle tecniche con comprensione spesso limitata degli aspetti metodologici (ed etici) ad essi sottostanti.

I manuali Ocse ed Unido innescarono un periodo di grande vivacità intellettuale e di sperimentazione in materia di valutazione economica dell’investimento pubblico e delle politiche pubbliche. La Banca Mondiale ne ebbe implicitamente la leadership – anche a ragione di un vasto programma sperimentale da essa lanciato – ma le altre organizzazioni internazionali e molte pubbliche amministrazioni nazionali (non solo di Paesi in via di sviluppo ma anche di Paesi industrializzati ad alto reddito pro-capite) parteciparono attivamente al confronto . A ragione della potenziale “arroganza del valutatore”, furono definiti in modo più chiaro i compiti dei valutatori-consulenti e dei committenti; le principali organizzazioni internazionali e amministrazioni nazionali emisero direttive od anche regole in materia. Esse comportavano tutele nei confronti della professionalità del valutatore e specificavano il ruolo d’indirizzo degli organi politici nella definizioni di vincoli e di pesi (Ray, 1984).

La metodica aveva il pregio d’adattarsi a qualsiasi tipo d’intervento- grande, piccolo, nazionale, internazionale, locale- nei settori più svariati. Nelle mie competenze specifiche in Banca Mondiale – dove ho lavorato principalmente su progetti in Estremo Oriente ed in Africa orientale ed australe - sono stato, tra l’altro, coinvolto in due operazioni i cui aspetti possono interessare per la loro rilevanza a dibattiti in corso in Italia: l’analisi economica (con la metodologia costi benefici) di un programma per la ricerca e la tecnologia nella Repubblica di Corea ed un’analisi costi efficacia della riorganizzazione della scuola secondaria a Maurizio. La prima , in gran misura, era stata condotta da un consorzio di università coreane, per impulso del locale Ministero della Programmazione Economica; noi della Banca dovemmo solo ritoccarne alcuni punti dopo un’attenta discussione con le autorità e gli esperti della Corea. La seconda è stata fatta interamente dallo staff della Banca seguendo una tecnica molto semplificata; a Maurizio non ebbe alcuna eco, tanto che dopo pochi mesi vennero assunte decisioni politiche diametricalmente contrastanti con i risultati dell’analisi. Chiara indicazione della modesta utilità della valutazione senza il diretto interesse e coinvolgimento dei committenti



Gli Anni Ottanta

Sotto il profilo della mia esperienza personale (e delle lezioni da trarrne) si possono distinguere due punti salienti: a) il tentativo d’ introduzione su vasta scala dell’analisi costi benefici (ed in misura più limitata dell’analisi degli impatti) in Italia per il tramite del Fondo investimenti ed occupazione (Fio) e b) la prosecuzione, alla Fao al cui Centro di Investimenti ho lavorato alcuni anni, della sperimentazione dell’analisi dei costi e dei benefici “sociali” a cui ho accennato nell’ultima parte del paragrafo precedente.

Del primo ho trattato ampiamente in un libro di 20 anni fa (Pennisi, Peterlini 1987), il cui punto centrale era come abbia fallito il meccanismo centralizzato d’allocazione della spesa per gli investimenti Fio non l’introduzione di metodologie, tecniche e procedure di valutazione – accolte anzi dalle pubbliche amministrazioni, specialmente da quelle delle Regioni - con un entusiasmo superiore alle aspettative. L’introduzione su vasta scala d’analisi economiche, segnatamente d’analisi costi- benefici, per la valutazione dei progetti a concorrere sul Fio sviluppò anche un’ampia letteratura e manualistica italiana e l’organizzazione di corsi di formazione da parte di istituti pubblici e privati, nonché un maggior ruolo dato a queste tematiche nei corsi di laurea universitari.

Inoltre, la metodica portò alla nascita ed alla diffusione di numerose piccole e medie imprese nel campo dei servizi d’analisi economica specializzate nella valutazione di investimenti pubblici. Senza dubbio, ciò contribuì a fare conoscere le tecniche e le procedure di valutazione. Tuttavia, da un lato, la conoscenza restò limitata agli aspetti procedurali, in particolare a quelli più superficiali senza che si entrasse in quelli metodologici (ove non teorici) sottostanti. Dall’altro, si svilupparono prassi non corrette che ancora in gran misura pervadono la professione quali :

1. Il trattamento dei contributi per oneri sociali ed in certi casi anche delle imposte dirette sul reddito come “trasferimenti”. Ciò riduce la stima ed il computo dei costi “economici”, specialmente per progetti ad alta intensità di occupazione, e di conseguenza gonfia gli indicatori sintetici di convenienza economica. E’, però, un errore di logica economica poiché contributi per oneri sociali e imposte dirette non sono trasferimenti nell’ambito della società ma costi, per i quali si riceve un corrispettivo, un beneficio, o immediato o differito nel tempo.

2. Il proliferare di conteggi multipli per ampliare le stime benefici economici , sommando spesso le stesse esternalità (computate a volte seguendo metodi di stima differenti) oppure considerando esternalità tecnologiche (ossia esterne al mercato) quelle che sono, invece, esternalità pecuniarie (esterne alla politica od al progetto ma non al mercato).

3. Un’utilizzazione sfrenata di moltiplicatori tanto del consumo quanto dell’investimento, talvolta sommati tra loro e ad interdipendenze- spesso computate per ciascun anno del progetto non soltanto per il lasso di tempo in cui verosimilmente dette interdipendenze gradualmente esauriscono.

Queste, ed altre “cattive prassi”, non nacquero necessariamente unicamente per compiacere i committenti, ma anche dalla scarsa attenzione al sottostante dell’analisi medesima ed alle possibilità offerte ai valutatori, tanto in buona quanto in cattiva fede, di manipolare le procedure. Che errori di questa natura fossero attuati nella convinzione di seguire tecniche appropriate si constata nell’analisi del singolo progetto d’investimento pubblico che probabilmente suscitò maggior interesse, pure sui media ed in Parlamento, nell’Italia degli Anni Ottanta: la riconversione della centrale elettrica di Montalto di Castro da termonucleare a policombustibile (Pennisi, 1988 a). Nonostante economisti di rango (quali Mario Draghi e Luigi Spaventa) facessero parte dell’apposita commissione istituita al Ministero dell’Industria con il compito di predisporre un’analisi costi-benefici da presentare in Parlamento, la relazione conteneva non solamente numerosi errori di imputazioni di voci contabili ma esponeva un’analisi costi-ricavi dal punto di vista dell’ente pubblico produttore (l’Enel) e delle eventuali sovvenzione dell’erario all’ente medesimo (Ministero dell’Industria, 1988). Non era, quindi, un’analisi economica sotto il profilo della convenienza alla collettività e neppure un’analisi finanziaria (della convenienza, quindi, sia all’ente produttore sia agli altri soggetti coinvolti – consumatori quali imprese e famiglie). Pareva basata sull’assunto, quanto mai discutibile, che la convenienza all’Enel coincidesse con quella a tutti i differenti soggetti e strati della società.

Interessante notare che il dibattito sulla riconversione della centrale di Montalto di Castro non sfiorò questi temi che in un paio di articoli ma si concentrò sulle tecniche di valutazione del rischio e sui costi aggiuntivi per minimizzare infortuni e loro eventuale portata. Fu, quindi, un dibattito essenzialmente tecnologico più che finanziario od economico. Interessante anche sottolineare che non ci fu quasi nessun dibattito economico e finanziario su un’altra iniziativa di intervento pubblico centrale all’Italia degli Anni Ottanta: l’alta velocità ferroviaria. Pur se, proprio su questi argomenti, si disponeva degli studi effettuati in Francia per la “grande vitesse” e per l’Eurotunnel e di quelli effettuati in Gran Bretagna per il Terzo Aeroporto di Londra. Tanto i committenti quanto la professione, dunque, sembravano distanti dal progresso della disciplina a livello internazionale.

Ciò nonostante, gli Anni Ottanta sono stati, in Italia, un periodo di svolta importante , anche e soprattutto grazie alla manualistica (Ministero del Bilancio, 1985; Nuti, 1987; Fanciullacci, Guelfi, Pennisi, 1991; Florio, 1991; Parmentola, 1991). In particolare, il manuale pubblicato dal Poligrafico dello Stato per conto del Ministero del Bilancio e della Programmazione Economica ha avuto varie edizioni ed un impatto significativo sulla pubblica amministrazione dello Stato e sulle Regioni. Tra l’altro, il manuale del Ministero del Bilancio metteva in guardia nei confronti di calcoli generalizzati di “prezzi ombra” basati su prezzi alla frontiera per Paesi industrializzati ad economia aperta come l’Italia; sconsigliava, inoltre, l’impiego di ponderazioni distributive variabili per la presa in conto di beni e servizi meritori o d’obiettivi di distribuzione del reddito in Paesi come l’Italia in cui la mano fiscale era da considerarsi relativamente ben funzionante a fine redistributivi. Ciò ha contribuito a contenere manipolazioni da parte dei consulenti-valutatori del genere di quelle indicate in precedenza. Non ebbero, però, implicazioni sulla gestione della politica economica in generale , allora rivolta a contenere l’inflazione ed a mantenere un saggio sostenuto di crescita (Acquaviva, 2005, Amato 1990) e meno attenta alla qualità della spesa di quanto sarebbe stato desiderabile

Veniamo all’altro filone: l’approfondimento della sperimentazione dell’analisi costi- benefici “sociale”. Tale sperimentazione non è stata confinata alla Banca Mondiale dove un centinaio di progetti sono stati valutati utilizzando le ponderazioni variabili dei manuali Ocse ed Unido e delle guide pratiche da essi derivanti Tuttavia, la sua diffusione al di fuori della Banca Mondiale e di centri di ricerca collegati ad università è stata piuttosto limitata. Quando nel 1986-89 lavorai al Centro di Investimenti della Fao constatai che per quanto suggerita nei manuali operativi interni non era affatto applicata, nonostante una delle finalità del Centro fosse quello di individuare e preparare progetti di sviluppo rurale per l’International Fund for Agricultural Development (Ifad), un fondo multilaterale specificatamente concepito per fornire assistenza finanziaria agli agricoltori ai livelli più bassi dei redditi, dei consumi e della tecnologia. L’analisi dei costi e dei benefici “sociali” calzava molto bene piani e progetti di tale natura poiché avrebbe consentito di allestire progetti che, pur avendo un forte contenuto produttivo (quale risultante dall’analisi finanziaria), avrebbero tenuto conto dell’elevata utilità marginale sociale di benefici afferenti alla fasce più basse della scala dei redditi e dei consumi.

Come in qualsiasi burocrazia c’erano ostacoli ad uscire dal percorso predeterminato, nonostante fossero passati circa tre lustri dalla pubblicazione delle versioni iniziali dei manuali Ocse ed Unido e la sperimentazione della Banca Mondiale, e di altri, fosse già molto avanzata. Al Centro d’Investimenti della Fao non avevo compiti manageriali, quali quelli avuti in Banca Mondiale ed al Ministero del Bilancio e della Programmazione Economica. Di conseguenza, ebbi l’opportunità di sperimentare in prima persona, con un collega, l’applicazione dell’analisi dei costi e dei benefici “sociali” (FAO, 1988; una sintesi è in Pennisi, Scandizzo 2003) su un programma di intensificazione agricola nel Nord-Est della Costa d’Avorio mirato ai giovani agricoltori di un’area particolarmente povera. In sintesi, l’analisi “sociale” è stata effettuata ad integrazione di un’analisi finanziaria tradizionale su un campione di modelli di aziende e di un’analisi economica anch’esse tradizionale (a “prezzi ombra” e con pertinente analisi di reattività per individuare i punti di rischio e le misure per contenerlo). Le ponderazioni distributive sono state introdotte tramite scenari alternativi che presupponevano differenti valutazioni, nella funzione di benessere sociale, dell’utilità marginale sociale dell’incremento del reddito dei beneficiari dello schema d’intensificazione agricola. Oltre a interessanti risultati puntuali , l’esercizio dimostrò come lo strumento avesse grandi capacità e grandissime potenzialità e come l’analisi potesse essere effettuata a costi contenuti (due settimane di lavoro aggiuntivo da parte di due persone).

L’esercizio fu accolto con grande interesse tanto alla Fao quanto all’Ifad. Vennero anche organizzati seminari interni non solo per sensibilizzare ma pure per illustrare le scorciatoie operative impiegate e se possibile individuarne altre, anche a ragione della frequenza di progetti e programmi d’intensificazione agricola in aree molto povere nelle attività tanto della Fao quanto dell’Ifad. Applicai ancora una volta, con collega, il metodo, le tecniche e le procedure nella valutazione ex-post di un progetto di sviluppo rurale nella poverissima provincia di Enga a Papua-New Guinea. In ambedue i casi il collega con cui avevo lavorato era un agronomo. Di nuovo, notevole interesse, discussioni interne, seminari. Lo introdussi in una guida metodologica per la valutazione della formazione professionale commissionatami dall’Organizazione Internazionale del Lavoro (Pennisi, 1991). Tuttavia, a quel che so, il metodo, le tecniche e le procedure dell’analisi dei costi - benefici “sociali” non vennero più replicate né dalla Fao né dall’Ifad: le analisi del progetto d’intensificazione agricola in Costa d’Avorio e di sviluppo rurale in Papua-New Guinea restarono due casi isolati e la guida per la valutazione della formazione un mero strumento didattico. Rimasero allo stadio di meri esercizi intellettuali gli stessi sforzi per definire una tecnica che consentisse di tener conto dei benefici alla generazione successiva a quella che ha concepito e finanziato il progetto, molto importanti per le grandi infrastrutture o per investimenti con forti ricadute ambientali (Pennisi, 1989). Segno non tanto della sterilità degli strumenti quanto del cambiamento del contesto.

Con la crisi del debito estero scoppiata alla metà degli Anni Ottanta ma destinata a colorare il clima internazionale per circa un decennio (Pennisi, Scanni, 1991) l’attenzione delle maggiori organizzazioni internazionali si spostò dall’allestimento e finanziamento di progetti a quello di politiche di riassetto strutturale – ossia di politiche dirette a riorientare la struttura di produzione interna verso la struttura di produzione internazionale- ed ai grandi trasferimenti di risorse necessari a sostenere tali politiche di riassetto strutturale. Ciò comportò pure una profonda riorganizzazione della Banca Mondiale, per decenni all’avanguardia nella valutazione di progetti. Uno dei risultati di tale riorganizzazione, attuata nel 1987-91, fu la riduzione di funzioni dei vari settori dell’istituzione incaricati della valutazione di progetti. Ciò comportò non soltanto la fine della sperimentazione dell’analisi dei costi e dei benefici “sociali” ma soprattutto un esodo (incentivato) d’esperti delle varie professionali inerenti all’identificazione , preparazione, valutazione di progetti in tutti i loro aspetti ed in tutte le loro fasi. Le attività d’analisi di progetti (soprattutto di quelle innovative) sono state ristrette ad alcuni settori quali il capitale umano, lo sviluppo sostenibile e l’ambiente. Veniva, quindi, a mancare quello che nei trenta anni precedenti era stato il motore della valutazione a livello internazionale.

Gli Anni Novanta

Negli Anni Novanta, da un lato, tanto nelle organizzazioni internazionali quanto nel mondo accademico e nella professione in generale, il ruolo dell’analisi e della valutazione economica perse peso per le ragioni delineate al termine del paragrafo precedente. Da un altro, i miei interessi professionali si orientarono verso differenti temi, anche a ragione dei risultati modesti ottenuti con il Fondo per il rientro dalla disoccupazione (Frd) . Ciò non significa che negli Anni Novanta, si arrestò l’attività di valutazione in generale e quella dell’investimento pubblico in particolare; al contrario essa aumentò considerevolmente soprattutto in Europa a ragione dell’importanza sempre maggiore dell’allestimento di programmi per i fondi strutturali europei. In estrema sintesi, e quasi estremizzando per meglio formulare il punto essenziale, si può dire che la leadership passò dalla Banca Mondiale, dall’Ocse, dall’Unido e dalle Banche regionali di sviluppo (come quella Interamericana, quella Asiatica e quella Africana) alla Commissione Europea, a ragione dei vasti programmi finanziati a concorrere su detti fondi, nonché del fatto che il F.e.s. utilizzava sostanzialmente una metodica e procedure identiche a quelle dei fondi strutturali.

Come ho indicato in un lavoro condotto con P.L. Scandizzo (Pennisi, Scandizzo, 2006), alla base della cesura quasi rispetto agli sviluppi negli Anni Settanta ed Ottanta, non c’era solamente il cambiamento di contesto internazionale, ma anche una insoddisfazione generale nei confronti dell’analisi costi- benefici “sociali” : il metodo comportava un costo elevatissimo in termini di informazioni; le scorciatoie operative che venivano, per necessità e praticità, adottate ne inficiavano gli assunti teorici di base (Boeri, 1990; Pennisi, 1988 b). In particolare era virtualmente impossibile ricavare dai documenti di politica economica quella funzione di benessere sociale che avrebbe dovuto essere alla base della derivazione dell’intero sistema di “prezzi ombra” e di pesi distributivi sia interpersonali sia intertemporali. In aggiunta, rassegne di valutazioni ex-post di progetti effettivamente realizzati condotte dalla stessa Banca Mondiale nel suo vasto portafoglio esibivano un crescente numero d’investimenti pubblici, pur valutati positivamente ex-ante, con esiti finanziari ed economici insoddisfacenti . Inoltre, il carattere dicotomico dell’analisi dei costi - benefici “sociali” si addiceva male al problema considerato centrale da molti Paesi: la definizione di priorità relative tra progetti d’investimento, specialmente in presenza di elevati costi accantonati (Rivlin, 1991), ossia a spese effettuate in decenni, od anche secoli, precedenti.

La centralità assunta dalla Commissione Europea, la cui manualistica fu pubblicata alla fine del decennio (European Commission, 1999) comportò un cambiamento di enfasi molto profondo: l’accento non era più sulla valutazione economica del singolo progetto nei suoi costi e benefici “sociali” ma sull’organizzazione di programmi, e pertinente valutazione. Da un canto, ciò comportava un nesso molto forte al “metodo degli effetti”; da un altro, ciò implicava il ricorso a metodi non economici ma manageriali-organizzativi (quali “il quadro logico”, “l’albero dei problemi” e “l’albero delle soluzioni”, l’analisi SWOT, l’analisi “multicriteri”, la riscoperta di strumenti (come il Pert ed il Ccm) che risalivano alle discipline organizzazione degli Anni Cinquanta, l’impiego di vere e proprie batterie d’indicatori). Nella manualista della Commissione Europea (European Commission, 1999), l’analisi costi-benefici era richiesta unicamente per i singoli progetti di maggiori dimensioni; erano dedicate all’argomento poche pagine, una dozzina su circa 600. Alcuni assunti di base ed alcune tecniche iniziate dalla Commissione Europea, sono stati mutuati dalla Banca Mondiale- ad esempio la Country Development Partnership. Quindi, dalle Banche regionali di sviluppo.

Ciò implicò anche un cambiamento nella professione: gli economisti e gli analisti finanziari (che avevano avuto un ruolo centrale) e gli stessi specialisti tecnici (ingegneri, agronomi) cedettero il passo inevitabilmente a professionisti provenienti da altre discipline, sia socio-organizzative sia politologiche. Per molti aspetti, ciò significò un arricchimento della valutazione perché aspetti istituzionali, critici per il successo od il fallimento di un progetto o di un piano, spesso non erano stati tenuti in adeguato conto nelle metodologie e, soprattutto, nella prassi quando era applicata l’analisi costi- benefici “sociali”: l’accento veniva posto sulle derivazioni dei “prezzi ombra” e sulle ponderazioni distributive piuttosto che sulle dimensioni socio-istituzionali per realizzare il progetto ed assicurarne funzionamento e sostenibilità.

I tentativi di dare coerenza, tramite, ad esempio, una “struttura di programma” costruita sugli indicatori di convenienza dell’analisi costi benefici (Centro Studi e Piani Economici, 1987; Pennisi, 1991), al nesso tra valutazione dei singoli progetti e l’allestimento di programmi non hanno avuto esiti positivi di rilievo. Essenzialmente le due discipline, e relative professioni, restarono distinte. In aggiunta, mentre sarebbe stato logico costruire programmi su una platea di progetti singolarmente valutati positivamente, la prassi della Commissione Europea (e non solo) era, ed è, quella di definire programmi nel cui quadro individuare, preparare e valutare progetti.

Su un sentiero, però, si fece strada: l’approntamento di matrici di contabilità sociale e di modellistica d’equilibrio economico per quantizzare impatti di programmi. Le origini e le basi teoriche dello stesso “metodo degli effetti” risalgono ai primi tabeaux économiques dei fisiocratici ; rappresentazioni delle interdipendenze settoriali ed istituzionali di un’economia. Mentre negli Anni Settanta ed Ottanta erano campo di studio di una piccola confraternita internazionale (King, 1982) ed erano state impiegate, a scopo sperimentale, principalmente per l’analisi di programmi regionali (quali il “Triangolo di Jenka” in Malesia) oppure per progetti non marginali (quali il Terzo Aeroporto di Londra e l’Eurotunnel) , negli Anni Novanta diventarono pure in Italia di più vasta applicazione sia per l’esame di politiche pubbliche come quelle tributarie (Fossati, 1991) sia per la preparazione di programmi di sviluppo regionale (quali quelli della Toscana e della Regione Siciliana). Alla metà degli Anni Novanta, l’Istat approntò una matrice di contabilità sociale (ossia una rappresentazione dei nessi tra settori ed istituzioni nell’economia italiana) rilevata ed aggiornata alla data della pubblicazione. Pur se le matrici di contabilità sociale e la modellistica d’equilibrio economico restavano un campo specialistico, per iniziati, e non avevano un’immediatezza ed un’eloquenza nel dialogo tra valutatori tecnici e politici pari a quello dell’analisi costi-benefici, lo strumento rappresentava un nesso economico forte tra l’analisi degli impatti di gruppi di progetti o di un intero programma di investimenti, da un lato, e l’analisi dei singoli progetti, dall’altro. Coniugare le due analisi (ambedue di stampo strettamente e rigorosamente economico) rendeva possibile la definizione del legame tra valutazione di piani e di programmi e la valutazione di progetti senza dover ricorrere ad una strumentazione a carattere manageriale-organizzativo. Nonostante le affinità di questo approccio con il “metodo degli effetti”, non soltanto esso non permeò la Commissione Europea ed i suoi metodi, le sue tecniche e le sue procedure (e la Commissione Europea era il “principal player” nel campo) ma soprattutto aveva ed ha asperità tecniche da richiedere una formazione economica specializzata.

Una conseguenza per la professione fu che negli Anni Novanta la crescente attenzione alla valutazione– che in Italia portò alla creazione dell’Associazione Italiana di Valutazione (Aiv)- riguardò principalmente coloro appartenenti a discipline manageriali, organizzazione, sociologiche e gli economisti di scuola istituzionale e neo-istituzionale. Sono anche le categorie meglio attrezzate al dialogo con il committente, specialmente se e quando il committente è l’organo politico.

Un commento conclusivo sul periodo. Nella seconda metà degli Anni Novanta, il mio lavoro a tempo pieno era quello di docente stabile alla Scuola superiore della pubblica amministrazione. Almeno una dozzina di corsi sono stati organizzati ogni anno sulla valutazione di piani e progetti in cui si poneva l’accento sull’analisi dei costi e dei benefici “sociali”. Nei corsi di preparazione alla dirigenza, inoltre, si dedicavano anche due giornate alla valutazione degli impatti utilizzando matrici di contabilità sociale e modelli d’equilibrio economico, nonché utilizzando casi di studio concreti quali quelli ricavati da programmi di sviluppo regionali. I corsi di valutazione di progetti, la cui partecipazione era, ed è, assolutamente volontaria e richiede notevole impegno hanno sempre avuto moltissime adesioni. I vincitori di concorso per la dirigenza pubblica, per se in gran misura di formazione giuridica, hanno, in via generale, mostrato di sapere cogliere l’essenza dell’analisi degli impatti. Ciò indica come è fertile all’analisi economica (anche avanzata) un terreno, quello della pubblica amministrazione italiana, normalmente ritenuto piuttosto refrattario a materie indubbiamente ostiche per coloro che non hanno una preparazione economica di base.

Ciò indica anche qualcosa di più pregnante. L’obiettivo dei corsi in questione , specialmente di quelli per la dirigenza, non era tanto la formazione di valutari quanto la preparazione a indirizzare, a controllare ed a verificare i valutatori-consulenti , provenienti in gran misura della società di servizi economici a cui si è fatto riferimento nel paragrafo precedenze. L’intenzione era di addestrare dirigenti e funzionari con la preparazione di base più varia e più variegata a fare gli “acchiappafurbi”, ossia ad individuare quando e come i dati e le analisi venissero manipolati dall’”arroganza” del valutatore o a ragione della scarsa preparazione di quest’ultimo oppure in quanto il valutatore intendeva essere più realista del re e massaggiare l’analisi al fine compiacere l’organo politico più di quanto fosse disposta a fare la pubblica amministrazione.

Si è riusciti in questo intento? Si può dare una risposta soltanto impressionistica in base di conversazioni con chi , seguiti i corsi, ha partecipato a “follow up” ed è rimasto in contatto con docenti della Sspa. La mia impressione soggettiva è che in alcuni settori (beni culturali, salute, agricoltura, istruzione) l’impatto sia stato utile ed esteso, ma meno vasto e meno profondo in comparti (lavori pubblici, trasporti con una tradizione secolare di amministrazione di spesa pubblica per investimenti).

La valutazione economica nel primo scorcio del XXI secolo

A cavallo tra la fine del XX e l’inizio del XXI secolo, tuttavia, si stava verificando una rivoluzione silenziosa in materia di valutazione economica di piani e progetti di investimenti pubblici (nonché di politiche pubbliche). Era una rivoluzione, in primo luogo, in materia di teoria e di metodologia, e destinata, perciò, a restare a lungo confinata in ambito accademico: l’applicazione della teoria delle “opzioni reali” all’analisi di investimenti (inizialmente investimenti privati) in condizioni di incertezza (Dixit, Pindyck, 1994). Ancora una volta il metodo, le tecniche e le procedure avevano un appiglio teorico forte: le “opzioni reali” (dato che sono “titoli” rappresentano il nesso tra stime robuste e stime deboli). Ciò riguardava, innanzitutto, investimenti irreversibili ed investimenti a lunga gestazione ed, in misura crescente, investimenti in un quadro economico caratterizzato da un alto grado di incertezza in materia, ad esempio, di costi, di tassi d’interesse, di esigenze di flessibilità (di poter un domani espandere o contrarre l’investimento- oppure la politica). La metodologia ha avuto sviluppi di rilievo anche in Italia (Pennisi, Scandizzo, 2003; Pennisi, 2005; Pennisi, 2006). Non mancano applicazioni concrete di cui sono stati pubblicati il metodo, le tecniche ed i risultati: ad esempio, in Bezzi, 2006 ed in Smit, 2003 il metodo è applicato, a fini decisionali non sperimentali, ad operazioni che contengono un’elevata componente di investimenti di tipo progettuale ma che racchiudono, al tempo stesso, un programma ed una politica – in materia di telecomunicazioni ed alta tecnologia, la prima, ed in materia di trasporto aereo, la seconda.

Il metodo sta facendo progressi a ragione di un vasto programma di ricerca finanziato dalla Banca Mondiale in varie regioni dei Paesi in via di sviluppo e di recente industrializzazione. Nel Nord Europa un ampio studio di fattibilità ha utilizzato il metodo per la riprogrammazione degli aeroporti. In Italia di un programma, più modesto, coordinato dalla Sspa e sostenuto dai Ministeri dell’Economia e delle Finanze e delle Comunicazioni nella XIV Legislatura ma sospeso nella XV , ha riguardato le telecomunicazioni, il turismo ed i trasporti. Il metodo sta entrando gradualmente, pur se lentamente, nella prassi della professione.

E’ utile mettere in risalto non tanto i lati metodologici o tecnici ma due aspetti rilevanti alla valutazione: a) in che misura il metodo della valutazione dei costi e dei benefici “sociali” con “opzioni reali” risolva alcuni nodi di fondo dell’analisi costi benefici medesima; e b) in che modo il metodo delle “opzioni reali” integri l’analisi economica con le altre discipline – organizzative, sociologiche, manageriali che hanno prevalso sull’analisi economica negli Anni Novanta e che ancora adesso hanno un ruolo centrale nella valutazione di politiche, di programmi e di progetti.

In primo luogo, la definizione del metodo dell’analisi dei costi e dei benefici con “opzioni reali” ha riportato ad una rivisitazione analitica e dettagliata della metodologia, delle tecniche e delle procedure quali sviluppate nella manualistica degli Anni Settanta. Ne ha riconfermato la sostanziale validità e ne ha risolto alcuni punti tecnici e specialistici. Ha, quel che più conta, affrontato il nodo centrale, per la professione, e dato una risposta: come fare sì che la specificazione degli obiettivi di politica economica non venga, in mancanza di informazioni dettagliate, manipolata od artefatta dalla “arroganza” del valutatore. Il percorso possibile è quello di ipotizzare come obiettivo fondamentale della politica economica il miglioramento dei tenori di vita (ossia l’aumento del consumo, da assumere come “numerario”, unità di misura ai fini della valutazione economica) e, se si vuole, dalla loro distribuzione (con ponderazioni distributive come nella manualistica degli Anni Settanta) integrandolo, però, con la sommatoria algebrica delle “opzioni reali” (negative e positive, di tipo “call” e di tipo “put”) che l’operazione rende possibili ai soggetti interessati (in gergo gli “stakeholder”). Ciò consente un nesso forte tra gli aspetti macro-economici e distributivi e quelli micro-economici relativi all’operazione specifica. Il valutatore, dunque, non deve fare più ricorso alla propria capacità d’immaginazione per ricavare, in maniera “arrogante”, la funzione di benessere sociale alla cui luce derivare i “prezzi ombra” e valutare il progetto ma deve esaminare, anche con la strumentazione organizzativa e sociologica, le opportunità, ovvero le “opzioni reali” – nel senso di facoltà non di obbligo, ma in ogni caso “titoli”, cioè diritti- - che l’operazione rende possibile agli “stakeholder”. L’insieme di dette opportunità e l’aumento del tenore di vita, e, si vuole, della loro distribuzione per e tra gli “stakeholder” rappresentano il cardine della valutazione economica. E’ una valutazione più costosa, in termini di tempo e di risorse professionali, dell’analisi costi- benefici tradizionale. Tuttavia, è molto più informativa e consente al decisore non solo la scelta tra accettazione e rigetto del progetto ma anche varie “opzioni”- di differimento, di espansione, di abbandono (o di uscita), di sospensione, di contrazione. Sono le scelte con cui spesso si confronta il decisore pubblico; le domande a cui cerca risposte dalla valutazione e che a ragione del carattere dicotomico dell’analisi costi benefici spesso non ha potuto ottenere, perdendo, quindi, fiducia nel metodo, nella tecnica ed anche nelle procedure.

In secondo luogo, l’analisi con “opzioni reali” non può essere condotta soltanto o principalmente da economisti e da esperti tecnici ma richiede l’apporto di specialisti di management e di organizzazione aziendale , di professionisti di discipline socio-organizzative, di politologi. Non solo ma si integra con gli altri strumenti di analisi approntati dalla professione. Ad esempio, la tecnica SWOT, il “quadro logico”, “l’albero dei problemi e delle soluzioni” diventano utili strumenti per individuare la platea di progetti possibili per affrontare un nodo territoriale o settoriale. Con l’analisi multicriteri si può quindi giungere a ridurre il campo entro cui individuare il progetto (e le sue alternative tecniche) da sottoporre ad analisi dei costi e dei benefici “sociali” con “opzioni reali” al fine non solamente di sottoporlo ad un test di accettazione o rigetto ma di esaminare le opportunità che apre, o chiude, per gli “stakeholder” e le implicazioni delle principali “opzioni” sulla sua scansione temporale, sulle sue dimensioni, sulla flessibilità da prevedere nelle sue componenti. Ove possibile, la valutazione dovrebbe essere integrata da stime degli impatti seguendo le varie metodiche (più o meno raffinate) del “metodo degli effetti”.
Una recente analisi comparata della Banca Mondiale (Ravallion, 2008), pur senza fare riferimento esplicito alla metodologia dell’analisi con “opzioni reali”, pone l’accento su due aspetti che proprio con tale metodologia possono essere risolti: una maggiore attenzione alle questioni che rilevano per i policy maker ed un approccio più vasto (di quelli tradizionali) ai fini tanto della validità interna quanto della validità esterna della valutazione. Lo studio mette in risalto anche la necessità che maggiori risorse siano destinate alla “ricerca valutativa” per giungere alle finalità volute di effettivo efficiente ed efficace supporto alle scelte. La strada è ancora lunga (Pennisi, Scandizzo 2006; Arlsoon, 2007), specialmente in un campo in cui la disciplina economica è meno ferrata di altre (ad esempio, quelle relative alle strategie aziendali e militari): la definizione del perimetro degli “stakeholder”, l’individuazione di tecniche e procedure per delineare, a costi contenuti, scenari controfattuali. E’ un tassello non solo essenziale per analisi “con opzioni reali” ma per la credibilità dei valutatori tanto interna (nell’ambito delle organizzazioni in cui operano) quanto esterna (rispetto ai committenti ed alle altre professioni).

Alcune considerazioni

Le considerazioni riassuntive della mia esperienza nel campo della valutazione applicata a politiche, programmi e progetti, possono essere riassunte nel modo seguente:

• In primo luogo, i committenti (spesso organi politici oppure d’alta amministrazione) devono sapere, con chiarezza, cosa intendono fare valutare e, se possibile, quale approccio seguire. Raramente avranno contezza dei metodi, delle tecniche e delle procedure specifiche. Non è necessario ma indispensabile che questi aspetti siano chiariti pienamente sin dall’inizio del processo di valutazione. Può essere utile tenere seminari tra committenti, i loro dirigenti e funzionari ed i valutatori al fine che siano palesi a tutte le parti coinvolte il metodo, le tecniche e le procedure di valutazione. Idealmente tale metodo, tali tecniche e tali procedure dovrebbero essere non solo trasparenti ma anche e soprattutto condivisi.

• In secondo luogo, i dirigenti ed i funzionari del committente hanno un ruolo cruciale, spesso sottostimato da valutatori che si ritengono più professionali dei loro dante cause: sono i guardiani , ove non del metodo e della tecnica, della procedura (Simon, 1967) che è per molti aspetti più importante della qualità della singola valutazione . Devono essere gli “acchiappa-furbi” che ponendo domande appropriate e scavando nei documenti dei valutatori ne scoprono eventuali manipolazioni.

• In terzo luogo, i valutatori medesimi operano in un campo interdisciplinare in rapida evoluzione, specialmente se come auspicabile dalla valutazione dei programmi e dei progetti si passa all’ambito più complesso della valutazione della regolazione (Hahn, Tetlock, 2008). Il mio professore d’economia internazionale a Johns Hopkins terminava ogni lezione raccomandandoci umiltà e ricordandoci di non farci mai illusioni. E’ un insegnamento ancora valido a più di 40 anni dall’epoca in cui mi è stato impartito.



Riferimenti

Acquaviva G. (a cura di) (2005) “La politica economica italiana negli anni ottanta” Venezia, Marsilio

Amato G. (1990) “Due anni al Tesoro” Bologna, Il Mulino

Andreis M. (1967) “L’Africa e la Comunità economica europea” Torino, Enaudi

Arlsoon I. (2007) "Investment and Uncertainty: A Theory-Based Empirical Approach" Oxford Bulletin of Economics and Statistics, Vol. 69, Issue 5, pp. 603-617, October 2007


Bidier M-, Michailoff S. (1980) “Guide pratique d’analyse de projets” Parigi, Economica

Bezzi C.: & Alia (2006) “Valutazione in azione: lezioni apprese da casi concreti” Milano, F.Angeli


Boeri T. (1990) “Beyond the Rule of the Thumb . Methods for Evaluating Public Investiment Projects” Oxford, Westview Press

Bussery A. (1973) “Methods of Project Appraisal in Developing Countries”, Parigi OECD

Bussery A., Chartois B. (1975-82) “Analyse et évaluation des projets d’investissement” Washington D.C. Economic Development Institute

Centro Studi e Piani Economici (1987) “Una metodologia di valutazione dei programmi FAI” Roma

Chervel M. (1995) “L’évaluation économique des projets” Parigi, Publisud

Dasgupta P, Marglin S, Sen A. (1972) “Guidelines of project evaluation” Vienna, Unido

Drèze J, Stern N. “Cost Benefit Analisis”, “Handbook of Public Economics” Amsterdam, Elsevier 1987.

Dixit A.K., Pindyck R.S. “Investment under Uncertainty” Princeton, Princeton University Press

European Commission (1999) “Evaluating Socio-Economic Programmes- MEANS Collection” Luxemburg, Office for Official Publications of the European Communities

Fanciullacci D., Guelfi C. Pennisi G (1991) “Valutare lo sviluppo” Milano, F. Angeli

Fao (1988) “Rapport du programme de coopération Fao-Fida Centre d’Investissement- République de Côte d’Ivoire- Rapport de mission d’identifcation générale Roma

Florio M. (1991) “La valutazione economica dell’investimento pubblico “ Bologna, Il Mulino

Fossati A. (1991) “Equilibrio generale e simulazioni. Aspetti teorici ed applicazioni al caso Italia: Iva, Irpef, oneri sociali” Milano, F. Angeli.

Hahn R.W. , Tetlock P. C. (2008) “ Has Economic Analysis Improved Regulatory Decisions?“, The Journal of Economic Perspectives Wnter

Hansen J. (1978) “A Guide to Practical Project Appraisal” Vienna, Unido

King B (1982) “Wha is a Sam? A Layman’s Guide to Social Accounting Matrixes” Washingt D.C. The World Bank.

Little I.M.D., Mirrlees J (1974) “Project appraisal and planning for developing countries” Londra Heinemann

Marrama (1958) “Saggio sullo sviluppo economico dei Paesi arretrati” , Torino, Einaudi

Ministero del Bilancio e della Programmazione Economica (1985) “Tecniche di valutazione degli investimenti pubblici” Roma, Istituto Poligrafico e Zecca dello Stato.

Ministero dell’Industria (1988) “Relazione della Commissione Ministeriale sulla possibilità tecnica e sulla convenienza economica della conversione della centrale nucleare di Montalto di Castro” Roma

Moussa P. (1960) “L’économie de la zone franc” Parigi, Presse Universitarie de France

Myrdal G. (1962) “Teoria economica e Paesi sottosviluppati” Milano, Feltrinelli

Nuti F. (1987) “L’analisi costi benefici” Bologna, Il Mulino

Parmentola N. (1991) “Programmazione e valutazione dei progetti pubblici” Bologna, Il Mulino

Pennisi G. (1966) “L’associazione Cee-Sama: un esame critico” Como, Cairoli

Pennisi G. (1967)“L’Europa e il Sud del mondo” Bologna, Il Mulino 1967

Pennisi G. (1969) “L’argomento dell’industria nascente: un tentativo di riformulazione”, Rivista di Politica Economica Giugno

Pennisi G. (1987) “Strutturalismo economico”, MondOperaio gennaio.

Pennisi G. (1988 a) “I conti di Montalto”, MonOperaio maggio

Pennisi G. (1988 b) “Cost Benefit Analysis: Credibility and Feasibility- A Comment” Economia delle Scelte Pubbliche n. 2

Pennisi G. (1989) “Economic Appraisal of Enviroment-Related Projects. Many Certainties and a Few Uncertainties” Economia delle Scelte Pubbliche N.1 / 2

Pennisi G. (1991) “Economic Planning fo Vocational Training in a Decentralized Setting” Torino, ILO

Pennisi G. , Peterlini E. (1987) “Spesa pubblica e bisogno di inefficienza” Bologna, Il Mulino

Pennisi G., Scanni G. (1991) “Debito, crisi e sviluppo” Venezia, Marsilio

Pennisi G. (a cura di) (2005) “Le nuove frontiere dell’analisi costi benefici” Rassegna Italiana di Valutazione” n. 32

Pennisi G.(2006) “Analyse économique de la formation en gestion publique- Approche basé sur les options réelle”, Revue Internationale des Sciences Administratives- Octobre

Pennisi G., Scandizzo P.L (2003) “Valutare l’incertezza- L’analisi costi benefici nel XXI secolo” Torino, Giappichelli

Pennisi G., Scandizzo P.L. (2006) “Economic Evaluation in an Age of Uncertainty”, Evaluation , January 2006.

Perroux F. (1962) “L’économie des jeunes Nations”. Parigi, Presse Universitaire de France

Petriccione A., Piccioni L. (1976) “La programmazione matematica nella progettazione di grandi sistemi di opere: il caso del sistema idrico della Basilicata£ Milano, F. Angeli.

Pouliquen L. (1975) “Risk analysis in project appraisal” Washington D.C., the World Bank

Prebish R. (1951) “Theoretical and practical problems of growth” New York, United Nations

Ray A. (1984) “Cost Benefit Analysis- Issues and Methologies” Baltimora, Johns Hopkins University Press

Ravallion M. (2008) "Evaluation in the Practice of Development" World Bank Policy Research Working Paper No. 4547

Riviln A. (1991) “Distingished Lecture on Economics in Government: Strenghtening the Economy by Rithinking the Role of Federal and State Governments”, Journal of Economic Perspective, Spring

Simon I (1967) “Il comportamento amministrativo” Il Mulino, Bologna

Smit H.T.J (2003) “Infrastructure Investment as a Real Options Game: The Case of European Airport Expansion” Financial Management, Winter

Solustri A. (2002) “Cronache di Italconsult S.p.a.: Cinquant’anni d’ingegno e di ingegneria” Roma, Palombi Editore.

Sudgen H, William A. (1978) “The Principles of Practical Cost Benefit Analysis” Londra, Oxford University Press

Thias H, Carnoy M: (1972) “Cost Benefit Analysis in Education: a Case Study of Kenya” Baltimore, Johns Hopkins University Press