Seminario sullofferta economicamente pi vantaggiosa Con focus sulle

  • Slides: 48
Download presentation
Seminario sull’offerta economicamente più vantaggiosa Con focus sulle modalità e le formule di attribuzione

Seminario sull’offerta economicamente più vantaggiosa Con focus sulle modalità e le formule di attribuzione dei punteggi nelle gare di appalto di servizi Metodi per il calcolo dei coefficienti e per la valutazione delle offerte con il criterio di aggiudicazione dell’offerta economicamente più vantaggiosa Filippo Romano Bologna 17 febbraio 2012 www. scuolanazionaleservizi. it

Applicazione dell’offerta economicamente più vantaggiosa 1) MODALITA’ DI SCELTA DEL CORRETTO CRITERIO DI AGGIUDICAZIONE

Applicazione dell’offerta economicamente più vantaggiosa 1) MODALITA’ DI SCELTA DEL CORRETTO CRITERIO DI AGGIUDICAZIONE criterio del prezzo più basso - ART. 81 co. 1 Codice sotanziale equivalenza tra criterio dell’offerta economicamente più vantaggiosa Presupposti su cui la S. A. deve fondare la sua scelta I) art. 81, co. 2 : Le S. A. scelgono il criterio più adeguato in relazione a fattori oggettivamente riconducibili alle caratteristiche specifiche del contratto e delle relative prestazioni (oggetto del contratto) II) Direttiva 2004/18/CE, cons. 2 : la finalità deve essere quella di assicurare condizioni di effettiva concorrenza (la S. A. deve essere in grado di comparare diverse offerte e scegliere quella più conveniente in base a criteri obiettivi) 2

Applicazione dell’offerta economicamente più vantaggiosa N. B: * AVCP (Det. 7/2011; …. . )

Applicazione dell’offerta economicamente più vantaggiosa N. B: * AVCP (Det. 7/2011; …. . ) nel caso in cui è possibile e opportuno che l’appaltatore partecipi, in sede d’offerta, al processo ideativo del servizio o della fornitura oepv (apporto qualitativo del concorrente), come preferibile per: Servizi di ingegneria ed architettura ( specifica complessità) Servizi di ingegneria ed architettura Servizi sociali, socio sanitari ed educativi (garantire la piena espressione della progettualità degli operatori terzo settore) Servizi di tipo tecnologico (specificità e complessità; valutazione aspetti qualitativi e innovativi) Servizi di tipo tecnologico Forniture di prodotti analoghi con caratteristiche tecnologiche non comparabili (difficile confronto piano economico) Possibilità di dare rilievo ad elementi di ordine ambientale e sociale. Considerazione di aspetti ambientali, anche combinati con aspetti sociali. * GIURISPRUDENZA la scelta tra criteri astrattamente equiordinati deve orientarsi tenendo presente l’unicità e l’automatismo del criterio del prezzo più basso e la pluralità e variabilità dei criteri della oepv => è manifestamente illogica la scelta del primo quando la legge di gara attribuisca rilievo ad aspetti qualitativi variabili dell’offerta solo se la S. A. ha ben individuato l’oggetto della gara in modo da non lasciare nell’offerta margini di definizione alle imprese concorrenti (es. servizi ripetitivi e complessi) il criterio del prezzo più basso può essere utilizzato e ritenuto logico ed appropriato. 3

Applicazione dell’offerta economicamente più vantaggiosa 2) UTITLIZZO DEL CRITERIO DELL’OEPV - ART. 81 co.

Applicazione dell’offerta economicamente più vantaggiosa 2) UTITLIZZO DEL CRITERIO DELL’OEPV - ART. 81 co. 3 Codice utilizzo dell’oepv criterio complesso => integrazione criteri quantitativi (prezzo, tempo. . ) criteri qualitativi (qualità, pregio tecnico…) criteri quantitativi criteri qualitativi Definire a monte elementi di valutazione (pluralità) che riflettono correttamente le esigenze qualitative ed economiche della S. A. metodologie che individuano un unico parametro numerico finale Þ Risolvere problemi di comparabilità tra criteri di diversa natura (qualitativa / quantitativa) e che si esprimono in diverse unità di misura. Þ Art. 83 co. 5 il Regolamento indica le metodologie. 4

Applicazione dell’offerta economicamente più vantaggiosa PRIMA ADESSO DPR n. 559/99 DPR 207/2010 All G

Applicazione dell’offerta economicamente più vantaggiosa PRIMA ADESSO DPR n. 559/99 DPR 207/2010 All G All B – calcolo dell’oepv All M All P Metodi di calcolo oepv SERVIZI ATTINENTI ALL’ARCHITETTURA ED ALL’INGEGNERIA FORNITURE E ALTRI SERVIZI Metodi di calcolo oepv LAVORI art. 283 Reg. Selezione delle offerte art. 286 Reg. Servizi di pulizia 5

Applicazione dell’offerta economicamente più vantaggiosa La Commissione giudicatrice (art. 84 Codice): 1. 2. 3.

Applicazione dell’offerta economicamente più vantaggiosa La Commissione giudicatrice (art. 84 Codice): 1. 2. 3. 4. 5. 6. Valuta le offerte tecniche; Procede all’assegnazione dei relativi punteggi (criteri e formule allegato P); Dà lettura in seduta pubblica dei punteggi attribuiti alle offerte tecniche; Procede all’apertura delle buste con le offerte economiche; Dà lettura delle offerte quantitative (ribassi, prezzi, riduzione …) Valuta se sussistono i presupposti per la valutazione dell’anomalia delle offerte. 6

Applicazione dell’offerta economicamente più vantaggiosa A. I. III. Per poter utilizzare il criterio dell’oepv

Applicazione dell’offerta economicamente più vantaggiosa A. I. III. Per poter utilizzare il criterio dell’oepv la S. A. deve mettere in atto una strategia di gara: dal Progetto di servizi trarre criteri di valutazione per decidere l’importanza relativa di ciascuno nel Bando di gara indicare Criteri; sub criteri; pesi ponderali; metodi di formazione della graduatoria. Valutare la variabile ‘numero dei concorrenti’ v. d. l. 70/2011 (l. 106/2010) possibile forcella (art. forcella 62 C. ) IV. Correlare fase di gara ---Progettazione-----Esecuzione RUP Criteri/sub – pesi/sub individuati sinergicamente da progettista del contratto * Collegamento = CONTRATTO deve contenere elementi/strumenti per verificare il rispetto degli 7

Applicazione dell’offerta economicamente più vantaggiosa B. CRITERI E DEI SUB CRITERI Art. 83 co.

Applicazione dell’offerta economicamente più vantaggiosa B. CRITERI E DEI SUB CRITERI Art. 83 co. 2 : il bando di gara, ovvero, in caso di dialogo competitivo, il bando o il documento descrittivo, elencano i criteri di valutazione e precisano la ponderazione relativa attribuita a ciascuno di essi. Art. 83 co. 4 : se necessario al fine di determinare in modo corretto il coefficiente da applicare al peso o al punteggio massimo di un determinato criterio di valutazione procedere tramite valutazione di aspetti di dettaglio si possono stabilire sub criteri e sub pesi (disaggregare il criterio nei suoi aspetti più essenzali) DEFINZIONI: - criteri di valutazione = componenti dell’offerta di cui la stazione appaltante tiene conto per la propria valutazione – variabili in relazione a tipo di appalto/natura dell’intervento. 2 tipologie: 1. Criteri di natura qualitativa valutazione discrezionale della commissione di gara 2. Criteri di natura quantitativa calcolo numerico - Pesi o fattori di ponderazione = dati numerici che esprimono l’importanza che la S. A. attribuisce al criterio di valutazione art. 283 Reg : pesi/sub, punteggi/sub da assegnare ai criteri di valutazione devono essere globalmente pari a 100 - Coefficienti o valori di giudizio = voti assegnati dai commissari a ciascun offerta x criterio-sub/elemento –sub secondo la metodologia prescelta nei documenti di gara - Punteggi = risultato finale , numero di punti sul totale a disposizione della Commissione 8

Applicazione dell’offerta economicamente più vantaggiosa C. DEFINIZIONE DEI CRITERI Art. 67 Codice: la ponderazione

Applicazione dell’offerta economicamente più vantaggiosa C. DEFINIZIONE DEI CRITERI Art. 67 Codice: la ponderazione relativa dei criteri (rimesse alla valutazione discrezionale della S. A. ) deve figurare nel bando di gara o capitolato d’oneri o documento descrittivo AVCP la suddivisione di un criterio di valutazione in sub criteri è necessaria quando il criterio di valutazione è caratterizzato da più aspetti che devono essere valutati separatamente l’uno dall’altro. ES: il valore tecnico di un progetto deve essere guardato sotto più punti di vista: • funzionalità della soluzione progettuale; • soluzioni tecnologiche; • caratteristiche estetiche; • qualità dei materiali. => da ciò discende che il criterio ‘valore tecnico del progetto’ va suddiviso nei quattro sub criteri di cui sopra. Art. 83 Codice : elenco meramente esemplificativo di criteri*. *N. B. nonostante la natura ‘indicativa’ dell’elencazione, non appare possibile ignorarne totalmente alcuni: es. prezzo; qualità (Direttiva CE 2004/18/CE). 9

Applicazione dell’offerta economicamente più vantaggiosa C. DEFINIZIONE DEI CRITERI (segue) DEFINIZIONE DEI CRITERI =>

Applicazione dell’offerta economicamente più vantaggiosa C. DEFINIZIONE DEI CRITERI (segue) DEFINIZIONE DEI CRITERI => Nella scelta dei criteri la S. A. deve rispettare le seguenti prescrizioni: I criteri devono essere a) Collegati all’oggetto dell’appalto = cioè alle esigenze della S. A. in base alla definizione fornita nell’oggetto dell’appalto – dell’appalto garanzia utilizzo denaro contribuenti (uso efficiente denaro pubblico); b) Specifici e oggettivamente quantificabili = non devono conferire mai una libertà di scelta incondizionata alle S. A. (sent. Wienstrom C-448/01, “adeguatamente specifici e oggettivamente quantificabili”); c) Indicati nel bando o nel documento di gara affinché siano noti a tutti i concorrenti = la S. A. non può prendere in considerazione criteri diversi; d) Rispettare i principi fondamentali del trattato UE = non discriminazione, libera prestazione di servizi, libertà di stabilimento. AVCP ha in più occasioni indicato cosa NON può essere ‘criterio’: ü La garanzia definiva art. 113 Codice; ü La certificazione di qualità aziendale; ü L’esperienza professionale acquisita dal concorrente; ü Le referenze in ordine a servizi analoghi prestati; ü Il fatturato globale o specifico utilizzato nel triennio; ü Elenco di attrezzature e macchinari, importo fatturato, numero medio lavoratori dipendenti; ü Un criterio che favorisca esclusivamente le imprese locali. 10

Applicazione dell’offerta economicamente più vantaggiosa D. PONDERAZIONE = utilità che il singolo criterio riveste

Applicazione dell’offerta economicamente più vantaggiosa D. PONDERAZIONE = utilità che il singolo criterio riveste per la S. A. definita con pesi o punteggi. la scelta relativa al peso o punteggio da attribuire a ciascun criterio rientra nella discrezionalità della S. A. che trova l’unico limite nella manifesta irrazionalità della distribuzione dei punteggi rispetto allo scopo dell’intervento. Unico vincolo: sia il prezzo che gli aspetti di carattere qualitativo dell’offerta devono essere oggetto di valutazione. rientra nella discrezionalità della S. A. la determinazione dell’incidenza del prezzo nella valutazione dell’offerta; non esiste un peso minimo o massimo predeterminato per tale criterio. (simulazioni in sede di impostazione di gara) L’individuazione del corretto rapporto tra prezzo (offerta economica) qualità (offerta tecnicna) deve essere effettuata dalla S. A. in base ad una preliminare valutazione correlata a: Ø Ø Ø Mercato di riferimento + tipologie delle tecnologie esistenti; Numero dei potenziali concorrenti in grado di garantire soluzioni idonee e qualitativamente rispondenti ai requisiti Al grado di puntualità delle specifiche tecniche poste a base di gara N. B. complessità possibilità di nominare uno o più esperti a cui affidare l’incarico di individuare criteri e sub criteri. 11

Applicazione dell’offerta economicamente più vantaggiosa D. PONDERAZIONE (segue. . ) art. 83 co. 3

Applicazione dell’offerta economicamente più vantaggiosa D. PONDERAZIONE (segue. . ) art. 83 co. 3 Codice: ECCEZIONE ALLA REGOLA GENERALE DELLA PONDERAZIONE impossibile procedere alla ponderazione per ragioni dimostrabili (alta complessità specificata nella delibera a contrarre) => si può indicare nel bando l’ordine decrescente di importanza dei criteri. E. QUESTIONI RELATIVE ALL’INDIVIDUAZIONE DEI CRITERI Possibilità di prevedere elementi di natura soggettiva (A) Rilievo ad elementi oggettivi legati ad esigenze sociali ed ambientali (B) Criteri motivazionali ( C ) -> criteri legati all’esperienza offerenti. DIVIETO. L’oepv può consentire di attribuire rilievo agli elementi oggettivi, legati alla realizzazione di particolari obiettivi di valenza non economica, purché inerenti a vario titolo alle prestazioni contrattuali Quali: A seguito delle modifiche all’art. 83 introdotte dal 3° correttivo -> la Commissione giudicatrice non può più specificare i criteri motivazionali prima dell’apertura delle buste. degli N. B. i criteri di valutazione devono sempre fare riferimento all’offerta e non all’azienda in quanto tale Ratio. Distinzione Tra Requisiti di Natura soggettiva Richiesti per Partecipare Criteri Oggettivi applicati per valutare e selezionare l’offerta. N. B. v. recente giurisprudenza. -criteri ambientali ART. 283 REG. -criteri sociali CONDIZIONI: 1) 2) Collegamento all’oggetto del contratto Consentire una valutazione degli offerenti su criteri economici/qualitativi Sono definiti al momento della redazione del bando (trasparenza) Capitolato e progetto => dettagliati e precisi nel descrivere i singoli elementi che compongono la prestazione. 12

Applicazione dell’offerta economicamente più vantaggiosa Sugli elementi di natura soggettiva ( A) Ø è

Applicazione dell’offerta economicamente più vantaggiosa Sugli elementi di natura soggettiva ( A) Ø è Una recente giurisprudenza, nel confermare quel principio di separazione, ne ha tuttavia evidenziato alcuni limiti ed ingiustificate rigidità: a) Cd. S Sent. n. 2770/2008 determinate caratteristiche soggettive del concorrente, in quanto direttamente afferenti all’oggetto del contratto, possono essere valutate per la selezione dell’offerta’. b) Cd. S Sent. n. 837/2009 è legittimo che la S. A. preveda nel bando di gara anche elementi di valutazione dell’offerta 837/2009 tecnica di tipo soggettivo = concernenti la specifica attitudine del concorrente, anche sulla base di pregresse esperienze, a realizzare lo specifico progetto oggetto di gara => ci sono infatti aspetti dell’attività di impresa che possono illuminare la qualità dell’offerta. c) Cd. S Sent. n. 3716/2009 il principio di separazione va applicato in concreto e non enfatizzato sulla base di valutazioni 3716/2009 astratte è legittima la valutazione della struttura aziendale del concorrente nell’ambito dell’offerta tecnica => ciò perché tali caratteristiche dell’offerente si proiettano (caso specifico) inevitabilmente sulla consistenza dell’offerta d) Cd. S Sent. n. 8933/2010 la distinzione tra canone oggettivo di valutazione dell’offerta e requisito soggettivo dell’offerente è particolarmente sottile il divieto di commistione non è violato quando gli aspetti organizzativi non sono destinati ad essere valutati in quanto tali, ma quale garanzia della prestazione del servizio secondo le modalità prospettate nell’offerta (=come parametro afferente alle caratteristiche oggettive dell’offerta). AVCP : il collegamento all’oggetto dell’appalto può legittimare, a determinate condizioni, il ricorso a criteri valutativi del merito tecnico di tipo soggettivo; l’utilizzo di detti criteri appare ragionevole quando consente di risponder e in concreto alle specificità che le procedure di affidamento possono presentare. In ogni caso tali criteri non possono avere un valore preponderante nella valutazione complessiva dell’offerta. 13 13

Applicazione dell’offerta economicamente più vantaggiosa F. LA SOGLIA (art. 83 co. 2) Innovazione di

Applicazione dell’offerta economicamente più vantaggiosa F. LA SOGLIA (art. 83 co. 2) Innovazione di origine comunitaria che consente alla S. A. di prevedere una soglia minima di punteggio (soglia punteggio di sbarramento) che i concorrenti devono raggiungere in relazione a alcuni criteri di valutazione. ai punteggi La soglia può essere stabilita con riferimento ai coefficienti Utile strumento con riferimento ai criteri qualitativi (es. offerte molto economiche non raggiungono certi standard di qualità ed efficienza) Determinata dalla S. A. va prefissata nella lex specialis e non può essere determinata ex post dalla commissione di gara (art. 83 Codice) I partecipanti alla gara devono essere messi nella condizione di conoscere prima della formulazione dell’offerta tutti gli elementi che possono incidere sulla determinazione della stessa. 14

Applicazione dell’offerta economicamente più vantaggiosa G. PROCEDIMENTO PER INDIVIDUARE LA MIGLIORE OFFERTA art. 83

Applicazione dell’offerta economicamente più vantaggiosa G. PROCEDIMENTO PER INDIVIDUARE LA MIGLIORE OFFERTA art. 83 co. 5 : le S. A. devono utilizzare metodologie tali da consentire l’individuazione dell’oepv con un unico parametro numerico finale Metodologie analisi multicriteri o multiobiettivi = sistemi di aiuto alle decisioni (consentono di esplicitare le proprie preferenze. Non hanno lo scopo di sostituire il giudizio umano con strumenti di decisione automatici, ma quello di fornire al decisore un supporto) - Metodo aggregativo compensatore o della somma pesata; Metodo aggregativo compensatore - Metodo electre; Metodo electre - Metodo AHP (analityc hierarchy process); Metodo AHP - Metodo TOPSIS (Tecnique to order preferences by similarity to ideal solution). Metodo TOPSIS Cd. S Sent. n. 5583/2011 le analisi multicriteria si propongono di individuare quale delle alternative realizzabili presenta la migliore combinazione del livello degli obiettivi tale che essa non possa essere migliorata nei riguardi di una delle sue caratteristiche in quanto l’aumento nel perseguimento o soddisfacimento di un obiettivo comporta sicuramente un peggioramento nel perseguimento o nel soddisfacimento di un altro. 15

Applicazione dell’offerta economicamente più vantaggiosa H. FASI DEL PROCEDIMENTO PER INDIVIDUARE LA MIGLIORE OFFERTA

Applicazione dell’offerta economicamente più vantaggiosa H. FASI DEL PROCEDIMENTO PER INDIVIDUARE LA MIGLIORE OFFERTA o. Costruire due matrici: M 1 (matrice degli impatti/ di valutazione/di fattibilità) carattere oggettivo =tabulazione delle misure quantitative e fattibilità qualitative dell’impatto prodotto da ciascuna alternativa rispetto a ciascuno degli obiettivi. Alternative obiettivi M 2 (matrice dei pesi/degli obiettivi) carattere soggettivo matrice dei pesi/degli obiettivi pdv dei decisori Il committente attribuisce ad ogni criterio un peso che rappresenta la % in cui un determinato elemento o criterio di valutazione contribuisce al giudizio complessivo, dovendo la somma di tutti essere pari a 100 (normalizzazione dei pesi). L’attribuzione del peso a ciascun criterio di valutazione esprime la discrezionalità politica e amministrativa del committente 16 16

Applicazione dell’offerta economicamente più vantaggiosa 1. Stabilire quale metodo seguire per ricavare, dai dati

Applicazione dell’offerta economicamente più vantaggiosa 1. Stabilire quale metodo seguire per ricavare, dai dati delle suddette tabelle, una graduatoria delle alternative che permetta di individuare la migliore proposta. Þ In questa fase si utilizza uno dei metodi indicati prima. individuare l’offerta che presenta il miglior compromesso = mostra la minore distanza dall’offerta ideale, cioè da quella che in teoria raggiunge la misura massima in ogni elemento di valutazione. Þ - Trasparenza e correttezza della procedura impongono che siano indicati nel bando di gara o nella lettera di invito : criteri di valutazione Pesi attribuiti dalla S. A. ai criteri Metodo che la commissione giudicatrice dovrà seguire per individuare l’oepv. 2. Qualunque sia il metodo prescelto, la procedura per costruire la graduatoria delle offerte comporta sempre 2 fasi operative: FASE 1 affronta la questione della valutazione integrata di una pluralità di offerte, anche in ragione della loro diversa natura (qualitativa - quantitativa) e delle diverse unità di misura in cui sono espresse. REGOLAMENTO (allegato G-M-P, art. 120) : • Criteri di valutazione di natura qualitativa (intangibile) trasformazione va effettuata con metodi di natura scientifica indicati nella letteratura • Criteri di valutazione di natura quantitativa la trasformazione va effettuata con formule matematiche discendenti da ‘funzioni di utilità’. FASE 2 comporta la formazione della graduatoria applicando il metodo previsto negli atti di gara. 17 17

Applicazione dell’offerta economicamente più vantaggiosa FASE 1 = Trasformazione dei valori delle offerte in

Applicazione dell’offerta economicamente più vantaggiosa FASE 1 = Trasformazione dei valori delle offerte in coefficienti variabili tra 0 e 1 secondo le indicazioni degli allegati G (lavori) M (servizi tecnici) e P (forniture e servizi diversi da quelli tecnici)- es. aggregativo. compensatore Per i Criteri di natura qualitativa intangibile Per i criteri di natura qualitativa e quantitativa tangibili (= misurabili) v. Allegati G-M-P (no differenza) (es prezzo. Questioni che non si pongono con metodi diversi da quello considerato). Es. confronto a coppie (1. ) coefficienti tra 0 e 1 vengono calcolati da ciascun commissario mediante I. Il confronto a coppie con matrice triangolare (sulla base di una scala di valori, es 1 -6); II. Terminati i confronti, ciascun commissario somma i valori attribuiti a ciascun concorrente (per ogni elemento) e li trasforma in coefficienti tra 0 e 1… III. . . attribuendo il coeff. 1 al concorrente che ha conseguito il punteggio più elevato e rapportando ad esso il valore conseguito dagli altri concorrenti. IV. Dei coefficienti determinati da tutti i commissari vengono fatte le medie e vengono trasformate in coefficienti definitivi, rapportando a 1 la media più alta e proporzionando ad essa le altre. Allegato P FORMULA - 2 formule, una indicata come alternativa per il solo elemento prezzo che è prevista, invece, dall’allegato M come formula obbligatoria per i servizi attinenti all’architettura ed all’ingegneria. - Al coefficiente (tra o e 1) individuato da queste formule va moltiplicato il punteggio previsto dal bando per l’offerta economica. - Si tratta di formule di tipo lineare (una retta), in considerazione del fatto che l’utilità marginale del ribasso è costante (= una differenza di ribasso corrisponde sempre alle stessa riduzione di costo). 18 18

Applicazione dell’offerta economicamente più vantaggiosa N. B. le formule previste dagli allegati al Regolamento

Applicazione dell’offerta economicamente più vantaggiosa N. B. le formule previste dagli allegati al Regolamento sono di tipo interdipendente = l’attribuzione del punteggio dipende dal confronto tra le offerte dei diversi concorrenti. L’eventuale utilizzo di formule diverse, di tipo indipendente, devono seguire ad un’attenta analisi del mercato di riferimento, perché implicano una valutazione ex ante che fissi un parametro di riferimento per lo sconto massimo realizzabile. In entrambi i casi, per evitare che la graduatoria possa essere modificata artatamente da un concorrente a favore dell’altro accorgimenti: - prevedere che i punteggi conseguiti per l’offerta tecnica e quella economica non si modificano dopo l’apertura delle buste, anche se un concorrente ritira la sua offerta economica; - Stabilire una soglia di ammissibilità delle offerte tecniche e qualitative (evitare ribassi elevati). Laura Mascali 19 19

Applicazione dell’offerta economicamente più vantaggiosa RIPARAMETRAZIONE: Necessaria nel caso di scomposizione di 1 criterio

Applicazione dell’offerta economicamente più vantaggiosa RIPARAMETRAZIONE: Necessaria nel caso di scomposizione di 1 criterio in sub criteri Ratio: attribuire alla migliore offerta sul piano della qualità il medesimo coefficiente (uno) che viene attribuito alla migliore offerta sul piano quantitativo. Viceversa, nel giudizio aumenterebbe il peso del prezzo alterando il rapporto prezzo/qualità che la S. A. ha stabilito nel bando. All. M (servizi tecnici) ma estensibile a tutto. V. et. AVCP n. 1/2009 e n. 4/2009. Laura Mascali 20 20

Applicazione dell’offerta economicamente più vantaggiosa FASE 2 Formazione della graduatoria. allegati G e P

Applicazione dell’offerta economicamente più vantaggiosa FASE 2 Formazione della graduatoria. allegati G e P Regolamento. determinare, attraverso i coefficienti calcolati come sopra, il dato numerico finale atto ad individuare la migliore offerta. Le formule per determinare la graduatoria variano in base al metodo prescelto. Nel metodo aggregativo compensatore è la seguente: formula metodo Inconvenienti: - gli aspetti economici possono pesare in misura elevata anche se gli scarti tra le offerte sono modesti. potrebbe vincere la gara un’offerta che sul piano della qualità ottiene un punteggio non elevato ma che riesce a colmare il gap per effetto di un elevato punteggio conseguito per l’offerta economica, senza che corrisponda una effettiva rilevante riduzione di costi per la S. A. in quanto i ribassi realmente offerti sono modesti. Laura Mascali 21 21

Applicazione dell’offerta economicamente più vantaggiosa Il Punteggio Assoluto Allegato P => non può essere

Applicazione dell’offerta economicamente più vantaggiosa Il Punteggio Assoluto Allegato P => non può essere applicato quando i criteri qualitativi comportano valutazioni di natura soggettiva e non oggettiva. Il metodo si basa su punteggi tabellari (una tabella mette in rapporto specifici criteri qualitativi e quantitativi con specifici coefficienti). Laura Mascali 22 22

Elementi qualitativi IL CONFRONTO A COPPIE 23

Elementi qualitativi IL CONFRONTO A COPPIE 23

Metodo aggregativo-compensatore Pi = punteggio del concorrente i-esimo Vij = coefficiente del concorrente i-esimo

Metodo aggregativo-compensatore Pi = punteggio del concorrente i-esimo Vij = coefficiente del concorrente i-esimo pwer l’elemento di valutazione j Wj=ponderazione dell’elemento di valutazione j stabiliti nel bando o nell’avviso di gara Come valutare Vij? Elementi quantitativi: interpolazione lineare o bilineare Elementi qualitativi: assegnazione discrezionale di un peso tra 0 e 1 da parte dei commissari; confronto a coppie, metodo dell’autovettore principale, ecc. 24

Scala semantica di importanza relativa (allegato G) Scala semantica dell'importanza relativa (allegato G) Intensità

Scala semantica di importanza relativa (allegato G) Scala semantica dell'importanza relativa (allegato G) Intensità di importanza (i/j) Intensità di importanza (j/i) aij Aji 1 Definizione Spiegazione 0 Parità I due elementi contribuiscono ugualmente all'obiettivo 2 0 preferenza minima Leggermente favorito l'elemento i rispetto all'elemento j 3 0 preferenza piccola La valutazione è più di leggermente a favore dell'elemento i rispetto all'elemento j 4 0 preferenza media La valutazione è fortemente a favore dell'elemento i rispetto all'elemento j 5 0 preferenza grande La valutazione è ancora più fortemente a favore dell'elemento i rispetto all'elemento j 6 0 preferenza massima La valutazione è estremamente a favore dell'elemento i rispetto all'elemento j 0 Valori intermedi tra due giudizi Quando è necessario un compromesso 1, 5; 2, 5; 3, 5; 4, 5; 5, 5;

Valutazione dei coefficienti per i requisiti qualitativi Il metodo del confronto a coppie B

Valutazione dei coefficienti per i requisiti qualitativi Il metodo del confronto a coppie B C D E A B C Preferenza massima 6 Preferenza grande 5 D Preferenza media 4 Preferenza piccola 3 Preferenza minima 2 Parità 1 26

Offerta economicamente più vantaggiosa Confronto a coppie Si supponga di avere una gara con

Offerta economicamente più vantaggiosa Confronto a coppie Si supponga di avere una gara con tre offerte. La stazione appaltante ha previsto nel bando i seguenti punteggi massimi e minimi: • Qualità 30 -0 • Prezzo 70 -0 La commissione è formata da tre componenti. Il primo componente assegna le seguenti preferenze alle offerte A, B, C VAQ = 2/10=0, 2 B C A A (2) C (4) B C (6) VBQ = 0/10=0 VCQ = 10/10=1 27

Offerta economicamente più vantaggiosa Confronto a coppie Il secondo componente assegna le seguenti preferenze

Offerta economicamente più vantaggiosa Confronto a coppie Il secondo componente assegna le seguenti preferenze B A C A (3) B C (4) Il terzo componente assegna le seguenti preferenze B A C B (2) C (4) B C (4) VAQ = 6/6=1 VBQ = 0/6=0 VCQ = 4/6=0, 66 VAQ = 0/8=0 VBQ = 2/8=0, 25 VCQ = 8/8=1 28

Offerta economicamente più vantaggiosa Metodo aggregativo compensatore Per il calcolo dei coefficienti si possono

Offerta economicamente più vantaggiosa Metodo aggregativo compensatore Per il calcolo dei coefficienti si possono seguire due vie: 1) Media dei coefficienti parziali ottenuti dai singoli commissari VAQ = (0, 2+1+0)/3=0, 4; VBQ = (0+0+0, 25)/3=0, 0816 ; VCQ = (1+0, 66+1)/3=0, 887 Riparametrazione VAQ = 0, 4/0, 887= 0, 451; VBQ =0, 0816/0, 887= 0, 092; VCQ = 0, 887/0, 887=1 2) Coefficienti basati sulla somma dei punteggi attribuiti dai singoli commissari A=8; B=2; C=22. Pertanto i coefficienti ottenuti da ciascuna impresa sono: VAQ =8/22=0, 36; VBQ=0, 91; VC=22/22=1 29

Confronto metodi determinazione coefficienti previsti allegato G tabella triangolare TABELLA CONFRONTO METODI DETERMINAZIONE COEFFICIENTI

Confronto metodi determinazione coefficienti previsti allegato G tabella triangolare TABELLA CONFRONTO METODI DETERMINAZIONE COEFFICIENTI PREVISTI ALLEGATO G TABELLA TRIANGOLARE GRADI DI PREFERENZA ATTRIBUITI DAI COMMISSARI ALLE OFFERTE (Xi) SOTTOCRITERIO 1. 1 CONCORRENTI A B C D E F G COMMISSARIO n. 1 21, 000 8, 000 31, 000 12, 000 14, 000 22, 000 COEFFICIENTE (Y 1) Y 1=(Xi/Max. Xi) 0, 677 0, 258 1, 000 0, 387 0, 452 0, 710 COMMISSARIO n. 2 12, 000 3, 000 35, 000 9, 000 3, 000 40, 000 COEFFICIENTE (Y 2) Y 2=(Xi/Max. Xi) 0, 300 0, 075 0, 875 0, 225 0, 075 1, 000 COMMISSARIO n. 3 22, 000 8, 000 1, 000 35, 000 12, 000 21, 000 43, 000 COEFFICIENTE (Y 3) Y 3=(Xi/Max. Xi) 0, 512 0, 186 0, 023 0, 814 0, 279 0, 488 1, 000 MEDIA COEFFICIENTI W=(Y 1+Y 2+Y 3)/3 0, 496 0, 087 0, 119 0, 896 0, 297 0, 338 0, 903 MEDIA COEFFICIENTI Max 0, 903 COEFFICIENTI DEFINITIVI (riparametrati) 0, 550 0, 096 0, 131 0, 992 0, 329 0, 375 1, 000 SOMMA GRADI PREFERENZE 55, 000 11, 000 12, 000 101, 000 33, 000 38, 000 105, 000 SOMMA GRADI PREFERENZE Max 105, 000 COEFFICIENTI DEFINITIVI (riparametrati) 0, 524 0, 105 0, 114 0, 962 0, 314 0, 362 1, 000 Nel caso di cui al numero 1, una volta terminati i “confronti a coppie”, per ogni elemento ciascun commissario somma i valori attribuiti a ciascun concorrente e li trasforma in coefficienti compresi tra zero ed uno attribuendo il coefficiente pari ad uno al concorrente che ha conseguito il valore più elevato e proporzionando ad esso il valore conseguito dagli altri concorrenti; le medie dei coefficienti determinati da ciascun commissario vengono trasformate in coefficienti definitivi, riportando ad uno la media più alta e proporzionando ad essa le altre Nel caso di cui al numero 2, una volta terminati i “confronti a coppie”, si sommano i valori attribuiti ad ogni offerta da parte di tutti i commissari. Tali somme provvisorie vengono trasformate in coefficienti definitivi, riportando ad uno la somma più alta e proporzionando a tale somma massima le somme provvisorie prima calcolate. 30

Metodo Electre a) si indicano con: aki=il valore della prestazione dell’offerta i con riferimento

Metodo Electre a) si indicano con: aki=il valore della prestazione dell’offerta i con riferimento all’elemento di valutazione k; akj=il valore della prestazione dell’offerta j con riferimento all’elemento di valutazione k; sk=il massimo scarto dell’intera gamma di valori con riferimento all’elemento di valutazione k; pk=il peso (ponderazione) attribuito all’elemento di valutazione k; n=il numero degli elementi di valutazione k; r=il numero delle offerte da valutare; b) si calcolano, con riferimento ad ogni elemento di valutazione k, gli scarti fra ognuno dei valori offerti rispetto agli altri valori offerti attraverso le seguenti formule: fkij = aki – akj per aki akj nonché i j gkji = akj – aki per akj aki nonché i j 31

Metodo Electre c) si calcolano, con riferimento ad ogni elemento di valutazione k, sulla

Metodo Electre c) si calcolano, con riferimento ad ogni elemento di valutazione k, sulla base di tali scarti, gli indici di concordanza e di discordanza attraverso le seguenti formule: cij = (fkij / sk) pk (indice di concordanza ) con i j dij = (gkji / sk) pk (indice di discordanza ) con i j (qualora dij = 0 l’offerta i domina l’offerta j in ogni elemento di valutazione k pertanto la procedura di valutazione va effettuata con esclusione dell’offerta j). d) si calcolano, sulla base degli indici di concordanza e di discordanza, gli indicatori unici di dominanza di ogni offerta rispetto a tutte le altre offerte : qij = cij / dij (indicatore unico di dominanza ) con i j e) si determina il punteggio di ogni offerta : Pi = qij 32

Metodo Electre - Esempio Si supponga di avere 4 concorrenti e tre elementi di

Metodo Electre - Esempio Si supponga di avere 4 concorrenti e tre elementi di valutazione: ribasso, durata, e qualità con i pesi 0, 4, 0, 2 e 0, 4. Ribasso % Minore durata (gg) Qualità Concorrente 1 15 50 60 Concorrente 2 10 45 45 Concorrente 3 20 35 50 Concorrente 4 5 60 60 0, 4 0, 2 0, 4 Peso P 1 =6, 6; P 3=0, 5 33

Scala semantica dell’importanza relativa (Saaty) Intensità di importanz a (i/j) Intensità di importanza (j/i)

Scala semantica dell’importanza relativa (Saaty) Intensità di importanz a (i/j) Intensità di importanza (j/i) Definizione Spiegazione Importanza uguale I due elementi contribuiscono ugualmente all'obiettivo aij aji 1 1 3 1/3 =(0, 333) Importanza moderata 5 1/5 =(0, 200) Importanza forte La valutazione è fortemente a favore dell'elemento i rispetto all'elemento j 7 1/7 = (O, 143) Importanza molto forte La valutazione è ancora più fortemente a favore dell'elemento i rispetto all'elemento j 9 1/9 =( 0, 111) Importanza estrema 1/1, 5 (0, 667); 1/2 (0, 500); 1/2, 5 (0, 400); 1/3, 5 (0, 286); 1/4 (0, 250); 1/4, 5 (0, 222); 1/5, 5 (0, 182); 1/6 (0, 166); 1/6, 5 (0, 154); 1/7, 5 (0, 133); 1/8 (0, 125); 1/8, 5 (0, 118) Valori intermedi tra due giudizi 1, 5; 2; 2, 5; 3, 5; 4; 4, 5; 5, 5; 6, 5; 7, 5; 8; 8, 5 Leggermente favorito all'elemento j La l'elemento i valutazione è estremamente a dell'elemento i rispetto all'elemento j Quando è necessario un compromesso rispetto favore

Metodo AHP Matrice dei confronti (E 1) (E 2) (E 3) 1 3 1/5

Metodo AHP Matrice dei confronti (E 1) (E 2) (E 3) 1 3 1/5 5 1 5 3 1/3 (E 3) 5 (E 4) 1/5 1/3 1 (E 4) 7 1/7 1 La ponderazione degli elementi si ottiene “normalizzando” l’autovettore che si ottiene dall’ autovalore più grande associato alla matrice del confronto a coppie. Sia A la matrice ottenuta dal confronto a coppie ed I la matrice identità, gli autovalori si ottengono ponendo a zero il determinante: 35

Metodo AHP ; L’autovettore si otiene risolvendo il seguente sistema lineare (ponendo per una

Metodo AHP ; L’autovettore si otiene risolvendo il seguente sistema lineare (ponendo per una delle variabili il valore Xn=1) ; ; 36

Calcolo coefficienti scala semantica Saaty (commissario n. 1) OFFERTE TOT ALE Yj numero Xi=rad.

Calcolo coefficienti scala semantica Saaty (commissario n. 1) OFFERTE TOT ALE Yj numero Xi=rad. n Pi= coeffic. = auto- offerte (aij*…aij) Xi/totale. Xi Pi/Pmax valore 2, 000 7 0, 415 0, 039 0, 091 0, 873 7, 000 7 2, 720 0, 254 0, 598 1, 022 3, 500 7 1, 154 0, 108 0, 254 1, 285 4, 500 7 0, 964 0, 090 0, 212 1, 157 8, 500 7 4, 547 0, 425 1, 000 0, 465 3, 000 7 0, 602 0, 056 0, 132 1, 004 7 0, 291 0, 027 0, 064 0, 776 10, 692 1, 000 A B C D E F G A 0, 286 0, 133 0, 500 6, 000 0, 167 0, 333 B 3, 500 0, 333 5, 000 C 3, 000 0, 222 4, 500 D 3, 500 0, 286 E 7, 500 3, 000 6, 000 5, 000 3, 500 0, 167 2, 000 0, 200 3, 000 7, 000 F 2, 000 0, 200 0, 500 0, 333 0, 143 G 0, 500 0, 143 0, 286 0, 222 0, 118 0, 333 22, 50 4, 02 11, 90 12, 84 1, 09 17, 83 TOTALE 28, 50 6, 582 OFFERTE A B C D E F G A A↔B A↔C A↔D A↔E A↔F A↔G B B↔A C C↔A C↔D C↔E C↔F C↔G D D↔A D↔C E E↔A E↔C E↔F E↔G F F↔A F↔C F↔E G G↔A G↔C G↔E AUTOVALORE [Σ(Xi*totale. Yj )/ΣXi] CI {INDICE DI CONSISTENZA [(autovalore-n)/(n-1)]} = = 6, 582 -0, 070 INDICE MEDIO DI CONSISTENZA (nel caso il numero di offerte è minore di 10) = 1, 320 INDICE MEDIO DI CONSISTENZA (nel caso il numero di offerte è compreso fra 11 e 15) = INDICE MEDIO DI CONSISTENZA (nel caso il numero di offerte è compreso fra 16 e 21) = CR {RAPPORTO DI CONSISTENZA (CI/Indice medio di consistenza)} = -0, 053 37

Metodo EVAMIX • Il metodo è basato sulla costruzione di una matrice delle alternative

Metodo EVAMIX • Il metodo è basato sulla costruzione di una matrice delle alternative sulla base dei criteri di valutazione. Nella stessa matrice sono riportati sia gli elementi quantitavi (ordinali) sia gli elementi qualitativi (cardinali). • La matrice delle alternative è costruita nello stesso modo in cui si costruisce la matrice del metodo Electre o del Metodo Topsis. Agli elementi cardinali viene poi attribuito un punteggio rappresentativo dell’elemento oggetto di valutazione (per esempio: Buono = 2; discreto = 1; scadente =0). • La matrice viene successivamente normalizzata con riferimento ad ogni elemento di valutazione. • Gli elementi della matrice normalizzati vengono poi moltiplicati per i pesi stabiliti nel bando di gara. Il punteggio di ciascun concorrente è la somma dei punteggi parziali ottenuti per ogni elemento di valutazione. 38

Metodo TOPSIS METODO TOPSIS Il metodo parte dalla matrice delle prestazioni già vista nel

Metodo TOPSIS METODO TOPSIS Il metodo parte dalla matrice delle prestazioni già vista nel metodo Electre. Ogni elemento di detta matrice viene normalizzato nel seguente modo: 39

Metodo TOPSIS Successivamente gli elementi di ogni colonna vengono moltiplicati per il peso assegnato

Metodo TOPSIS Successivamente gli elementi di ogni colonna vengono moltiplicati per il peso assegnato all’elemento di valutazione: Soluzione ideale: Soluzione non ideale: 40

Metodo TOPSIS Distanze (Euclidee) Vicinanza 41

Metodo TOPSIS Distanze (Euclidee) Vicinanza 41

Esempi determinazione coefficienti e punteggi metodo previsto allegato G tabella quadrata COMMISSARI 1 2

Esempi determinazione coefficienti e punteggi metodo previsto allegato G tabella quadrata COMMISSARI 1 2 3 Media coefficienti Coefficiente medio max Coefficienti riparametrati Punti max sottocriterio Punti attribuiti COEFFICIENTI ATTRIBUITI DAI COMMISSARI ALLE OFFERTE SOTTOCRITERIO 2. 1. A B C D E F G 1, 000 0, 705 1, 000 0, 902 1, 000 0, 705 0, 608 0, 771 1, 000 0, 855 10, 000 8, 550 0, 676 0, 460 0, 608 0, 581 0, 906 1, 000 0, 608 0, 838 0, 902 0, 645 0, 929 10, 000 6, 445 9, 291 0, 272 0, 145 0, 344 0, 254 0, 149 0, 145 0, 210 0, 168 0, 384 0, 297 0, 210 0, 297 0, 281 0, 186 0, 329 2, 813 1, 862 3, 294 COEFFICIENTI ATTRIBUITI DAI COMMISSARI ALLE OFFERTE SOTTOCRITERIO 2. 2. A B C D E F G 0, 666 0, 647 0, 680 0, 665 1, 000 0, 665 1, 000 6, 645 10, 000 0, 264 0, 312 0, 382 0, 319 0, 505 0, 836 0, 360 0, 567 1, 000 0, 319 0, 567 10, 000 3, 195 5, 669 0, 129 0, 167 0, 177 0, 158 0, 200 0, 261 0, 177 0, 213 0, 309 0, 412 0, 177 0, 299 0, 158 0, 213 0, 299 1, 575 2, 128 2, 995 Nei casi di cui ai numeri 2, 3 e 4, una volta terminati i “confronti a coppie” o la procedura di "attribuzione discrezionale dei coefficienti", si procede a trasformare la media dei coefficienti attribuiti ad ogni offerta da parte di tutti i commissari in coefficienti definitivi, riportando ad uno la media più alta e proporzionando a tale media massima le medie provvisorie prima calcolate. 42

ELEMENTI QUANTITATIVI LE FORMULE PREVISTE DAL REGOLAMENTO 43

ELEMENTI QUANTITATIVI LE FORMULE PREVISTE DAL REGOLAMENTO 43

Principi generali relativi agli elementi quantitativi Gli aspetti quantitativi (per esempio prezzo, tempo di

Principi generali relativi agli elementi quantitativi Gli aspetti quantitativi (per esempio prezzo, tempo di esecuzione della prestazione, durata della concessione ecc. ) delle offerte possono essere espressi in due diversi modi: ribassi e riduzioni percentuali da applicarsi ai valori posti a base di gara oppure con valori assoluti che devono essere comunque minori di quelli posti a base di gara. In ogni caso, al valore più favorevole (nel caso del prezzo) ribasso massimo o prezzo minimo deve corrispondere il coefficiente pari ad uno e al valore meno favorevole (nel caso del prezzo) ribasso zero o prezzo posto a base di gara deve corrispondere il coefficiente pari a zero. La giurisprudenza ha più volte confermato che le formule devono essere tali che sia possibile attribuire l’intero range dei punteggi variabile da zero al massimo fissato nel bando. Quindi le formule devo essere costruite in modo tale da garantire che si possano attribuire i pesi fissati nel bando. Le formule previste nel DPR 207/2010 garantiscono il rispetto di tali principi.

Principi generali relativi agli elementi quantitativi Nella formula (Va = Ra/Rmax) dell’allegato P per

Principi generali relativi agli elementi quantitativi Nella formula (Va = Ra/Rmax) dell’allegato P per “valore offerto dal concorrente” si intende i valori di ribasso percentuale e non i valori assoluti. Altrimenti al prezzo massimo corrisponderebbe il coefficiente uno ed al prezzo minimo un coefficiente minore di uno. Qualora l’offerta fosse richiesta con riferimento ai valori assoluti per determinare i coefficienti andrebbe impiegata la formula prevista all’articolo 286, comma 6, che è fondata proprio sui valori assoluti (prezzi offerti e prezzi a base di gara). Qualora si intenda formulare i bandi con richiesta di valori assoluti e non di ribassi o riduzione percentuale, occorre prima di procedere all’applicazione delle formule trasformare i valori assoluti in ribassi o riduzione percentuali prevedendo nei bandi fino quale decimale deve essere arrotondato il calcolo.

Calcolo coefficienti nelle varie ipotesi (allegati M e P) Ribassi Ai soluzione Rmax Ai

Calcolo coefficienti nelle varie ipotesi (allegati M e P) Ribassi Ai soluzione Rmax Ai / Amax soluzione Rmedio per Ai < =Asoglia Ai / Asoglia per Ai > Asoglia 1, 00 0, 00 2, 00 4, 00 6, 00 8, 00 10, 00 12, 00 14, 00 16, 00 18, 00 20, 00 22, 00 24, 00 26, 00 28, 00 30, 00 32, 00 34, 00 36, 00 38, 00 40, 00 serie 1 0, 00 0, 05 0, 10 0, 15 0, 20 0, 25 0, 30 0, 35 0, 40 0, 45 0, 50 0, 55 0, 60 0, 65 0, 70 0, 75 0, 80 0, 85 0, 90 0, 95 1, 00 Ribasso Amax massimo Numero offerte Asoglia Media offerte serie 2 0, 000 0, 100 0, 200 0, 300 0, 400 0, 500 0, 600 0, 700 0, 800 0, 900 1, 000 1, 000 1, 000 40, 00 21, 00 20, 00 Calcolo coefficienti fra zero ed uno nuova soluzione per Ai < =Asoglia 0, 80*(Ai / Asoglia) 0, 85*(Ai / Asoglia) 0, 90*(Ai / Asoglia) per Ai > Asoglia 0, 80 + 0, 20*[(Ai - Asoglia) 0, 85 + 0, 15*[(Ai - Asoglia) 0, 90 + 0, 10*[(Ai - Asoglia) / (Amax - Asoglia)] serie 3 serie 4 serie 5 0, 000 0, 085 0, 090 0, 160 0, 170 0, 180 0, 240 0, 255 0, 270 0, 320 0, 340 0, 360 0, 400 0, 425 0, 450 0, 480 0, 510 0, 540 0, 560 0, 595 0, 630 0, 640 0, 680 0, 720 0, 765 0, 810 0, 800 0, 850 0, 900 0, 820 0, 865 0, 910 0, 840 0, 880 0, 920 0, 860 0, 895 0, 930 0, 880 0, 910 0, 940 0, 900 0, 925 0, 950 0, 920 0, 940 0, 960 0, 940 0, 955 0, 970 0, 960 0, 970 0, 980 0, 985 0, 990 1, 000 Non introdotta nel Regolamento 46

Andamento grafico dei coefficienti nelle diverse ipotesi 1. 20 1. 00 0. 80 serie

Andamento grafico dei coefficienti nelle diverse ipotesi 1. 20 1. 00 0. 80 serie 1 serie 2 0. 60 serie 3 serie 4 serie 5 0. 40 0. 20 0. 00 1 3 5 7 9 11 13 15 17 19 21 47

Riparametrazione DETERMINAZIONE PUNTI ATTRIBUITI PER IL CRITERIO 1 TRAMITE RIPARAMETRAZIONE DEI PUNTI ATTRIBUITI PER

Riparametrazione DETERMINAZIONE PUNTI ATTRIBUITI PER IL CRITERIO 1 TRAMITE RIPARAMETRAZIONE DEI PUNTI ATTRIBUITI PER I SOTTOCRITERI 1. 1, 1. 2, 1. 3 e 1. 4 PUNTI ATTRIBUITI PER I SOTTOCRITERI OFFERTE 1. 1. 2. 1. 3. 1. 4. SOMMA PUNTI MAX PUNTI ATTRIB. COEFF. PUNTI MAX CRITERIO PUNTI ATTR. A 3, 853 4, 316 3, 972 3, 185 15, 325 1, 000 20, 000 B 3, 427 2, 550 1, 748 3, 185 10, 911 0, 712 14, 238 C 1, 084 3, 250 4, 520 0, 944 9, 798 0, 639 12, 787 D 4, 735 2, 115 4, 286 4, 104 15, 240 0, 994 19, 888 E 1, 787 5, 000 1, 667 10, 241 0, 668 13, 365 F 1, 133 2, 070 3, 972 1, 667 8, 841 0, 577 11, 537 G 1, 968 1, 223 2, 776 1, 667 7, 634 H 2, 816 2, 550 3, 972 3, 185 12, 523 I 1, 133 2, 550 2, 240 1, 293 7, 216 0, 471 9, 417 J 5, 000 3, 436 0, 884 14, 320 0, 934 18, 688 K 1, 381 1, 787 4, 119 1, 293 8, 580 0, 560 11, 197 L 3, 499 2, 507 3, 972 3, 185 13, 163 0, 859 17, 178 M 0, 510 1, 223 1, 548 0, 884 4, 165 0, 272 5, 435 N 2, 390 1, 223 1, 548 5, 000 10, 160 0, 663 13, 259 15, 325 0, 498 0, 817 20 9, 963 16, 343 48