Importare CSV in MySQL

Per importare un file CSV in MySQL si usa il comando LOAD DATA:

LOAD DATA INFILE '/path/to/file.csv'
    INTO TABLE dbname.table
    FIELDS TERMINATED BY '|'
    ENCLOSED BY '"'
    LINES TERMINATED BY 'STRING\n'
    IGNORE 1 LINES;

in cui bisogna notare alcune righe opzionali, come

  • FIELDS TERMINATED BY: per specificare il separatore di campo
  • LINES TERMINATED BY: per specificare il terminatore di riga
  • IGNORE nnn LINES: per specificare quante righe del file CSV ignorare all’ inizio del file (utile se il file contiene anche le intestazioni)

Se l’ importazione riporta problemi o warnings, probabilmente il CSV ha una formattazione dei dati che MySQL non gradisce: mi è capitato che i campi DATETIME fossero ‘DD/MM/YYYY HH:MM:SS’ invece che ‘YYYY-MM-DD HH:MM:SS’, o che campi numerici fossero stringhe vuote.

Per risolvere simili problemi ci sono i comandi awk e sed.

Per correggere le date:

sed 's/\([0-9]\{2\}\)\/\([0-9]\{2\}\)\/\([0-9]\{4\}\)/\3-\2-\1/g' file.csv

I range dei gruppi di numeri sono racchiusi da \{ e \}.

Per correggere i campi vuoti

Con un if cerco il campo vuoto (notare l’ escape delle virgolette) e lo riscrivo come “\N”, quindi stampo l’ intera riga.
Con -v passo un parametro ad awk; se ne possono passare più di uno, mettendo altri -v.
OFS specifica il separatore di campo per l’ output.

awk -F'|' -v OFS='|' '{if($8=="\"\"") $8="\"\\N\""; print}' file.csv

Devo trovare un modo per eseguire questa operazione su più campi contemporaneamente, specificando il numero della colonna.

Campi vuoti gestiti in MySQL

Invece che awk si può usare lo stesso comando LOAD DATA per impostare una condizione di test e modificare il valore di un campo.
Però bisogna indicare a MySQL quali campi assegnare alle variabili e quali no, cioè bisogna indicare l’ elenco di tutte le colonne della tabella, cosa che può essere scomoda se ce ne sono molte: conviene allora tornare a sed e awk.

LOAD DATA INFILE '/path/to/file.csv'
    INTO TABLE dbname.table
    FIELDS TERMINATED BY '|'
    ENCLOSED BY '"'
    IGNORE 1 LINES
    (id, nome, @colx, indirizzo, @coly, smtg, @colz, ... )
    SET
    colx = (CASE WHEN @colx='' THEN null ELSE @colx END),
    coly = (CASE WHEN @coly='' THEN null ELSE @coly END),
    colz = (CASE WHEN @colz='' THEN null ELSE @colz END);

CAMPI MULTILINEA

Se i campi contengono del testo multilinea, sia awk che MySQL non possono interpretare correttamente il recordset a cui appartengono.
Bisogna modificare il file csv sostituendo il vero finelinea con una stringa da usare come nuovo finelinea.
Ma si deve fare attenzione: non è facile individuare i finelinea da sostituire.
Se per esempio i campi sono racchiusi da virgolette “”, si potrebbe usare una regex:

sed 's/"$/"STRINGA/' file.csv
# oppure: se il campo multilinea è in formato DOS
sed 's/\([^\r]\)$/\1STRINGA/' file.csv

Dopodichè, si indica ad awk o al comando LOAD DATA di MySQL quale è il nuovo finelinea:

awk -F'|' -v OFS='|' -v RS='STRINGA' -v ORS='STRINGA' '{... fa qualcosa ...}'

Notare che in sed il finelinea si indica con $.
Notare anche che in sed sostituiamo $ con STRINGA, ma poi in awk usiamo RS=’STRINGA\n’ !!

RIMUOVERE ULTIMA RIGA VUOTA

Se il csv contiene una riga vuota, questa viene sostituita con il finelinea STRINGA:
importandola in MySQL genera errori.
Per rimuoverla è semplicissimo:

sed '/^STRINGA$/d' file.csv

sed cancella ogni riga contenente la regexp indicata.

Script

#! /bin/bash

USAGE="Istruzioni: $0 [par1 par2 par3 ... parN]"
if [ "$#" == "0" ]; then
        echo "$USAGE"
        exit 1
fi

COMANDO="sed 's/\([0-9]*\)\/\([0-9]*\)\/\([0-9]*\)/\3-\2-\1/g' "$1" | "
COMANDO+="sed 's/"$/"FINELINEA/' | "

shift # avanziamo nella array degli argomenti
if [ $# -ge 1 ]; then
        COMANDO+="awk -F'|' -v OFS='|' -v RS='FINELINEA' -v ORS='FINELINEA' '{"
        while (("$#" )); do
                FIELD="$"$1
                COMANDO+='if('$FIELD'=="\"\"") '$FIELD'="\"\\N\""; '
                shift
        done
        COMANDO+="print}' | "
fi
# elimina eventuali righe vuote
COMANDO+="sed '/^FINELINEA$/d'"

# lancia il comando contenuto nella stringa
eval $COMANDO

Appalti pubblici in Italia

http://www.cosapubblica.it/i-crimini-economici-che-hanno-rovinato-litalia/

I crimini economici che hanno rovinato l’Italia

LA CORRUZIONE ALZA I COSTI DI OGNI OPERA

Una vera e propria giungla. Quella degli appalti e dei lavori pubblici è la madre di tutte le tangenti…. Non è facile per Piero Di Caterina, imprenditore che per lavorare deve per forza accedere agli appalti pubblici, raccontare ai magistrati e all’opinione pubblica tutto quello che ha dovuto vedere e vivere in un mondo ai limiti della legalità. Non è facile soprattutto perché sente dentro di sé di essere una vittima di enormi abusi e perché sa di non avere ancora ottenuto quella giustizia in cui ha confidato, denunciando reati gravi proprio nell’ambito di gare d’appalto pubbliche. In fondo, nel nostro sistema malato la denuncia è sempre un atto di grande coraggio che ha un prezzo esorbitante. Chi denuncia viene lasciato solo dallo Stato, dalla politica onesta e dalla magistratura che non lo incoraggiano e non lo tutelano a sufficienza.

Dalle pagine che seguono si comprendono profondamente i meccanismi della corruzione negli appalti pubblici.
Qualche dato.
Il 30% degli appalti in Italia viene affidato senza gara dalle tredicimila stazioni appaltanti (comuni, enti pubblici, comunità montane, Asl). Un vero e proprio dato allarmante. Come è possibile? Ancora una volta sono le leggi a permetterlo. A fotografare una situazione preoccupante è stato recentemente Giuseppe Santoro, presidente dell’Autority per i Contratti Pubblici che così ammette di aver fallito. «L’appalto senza gara è diventato prassi. Quasi la metà (il 48,1%) dei contratti di importo superiore a 150.000 euro nel 2011, è stata affidata attraverso una procedura negoziata senza pubblicazione del bando. Si tratta di 8.877 cantieri per un importo medio di 403.095 euro e un valore complessivo di 3,6 miliardi di euro. Una tendenza che va a crescere nel tempo. Si è passati infatti da una frequenza del 7% nel 2008 al 37,6% nel 2011.» Perché? Ancora una volta grazie alle modifiche del decreto legge 70/2011, che ha innalzato la soglia massima della trattativa privata da cinquecentomila a un milione di euro. Inutile la legge obiettivo. A dieci anni dall’entrata in vigore della norma che avrebbe dovuto accelerare la realizzazione delle opere strategiche è stata completata un’opera su tre. Insomma lavori lentissimi e richiesta di varianti, tempi dilatati di redazione della progettazione esecutiva. Risultato: l’incremento dei costi contrattuali.
Per non parlare delle varianti. Tra i casi eccellenti la Nuvola disegnata da Massimiliano Fuksas a Roma, che ha collezionato ben sei varianti, l’ospedale del Mare di Napoli (opera in stallo, con costi lievitati di oltre il 50% rispetto al progetto originario di duecentodiecimilioni) e l’auditorium di Isernia con costi quintuplicati da undici a cinquantacinque milioni. Ed è di ottobre scorso la notizia dell’inaugurazione dell’auditorium de L’Aquila, opera realizzata per il post-terremoto del 2010, che è stata chiusa solo dopo due giorni per mancanza di collaudo. I numeri sono impressionanti. Negli appalti pubblici che si realizzano i peggiori crimini economici del Paese.
La corruzione riguarda tutto ciò che è spesa pubblica. E non serve fare la spending review per risolvere il problema, se alla base non si eliminano i crimini. Ormai è un dato riconosciuto persino dall’Europa e da grandi studiosi: è nelle grandi opere infrastrutturali, negli appalti utili per la gestione ordinaria del Paese, in tutti i servizi pubblici e, più in generale, nel funzionamento della macchina dello Stato che si annida la corruzione. Le grandi opere e le costruzioni delle infrastrutture sono le situazioni più evidenti. Siamo circondati da cantieri fermi o aperti per decenni, dai quali sembra non ci libereremo mai. Nel frattempo tutte le infrastrutture vanno a rotoli. E si stima che in Italia un chilometro di autostrada costi anche quattro volte in più rispetto al resto del mondo. La Tav sei volte più che in Francia. E non c’è Authority o spending review che tengano per fermare i ladri o gli incapaci.

“Il sistema corruzione”

20 agosto 2013

Euro e Tangentopoli

articolo originale: http://arjelle.altervista.org/Economia/Pillole/italiaeuro.htm

COME E PERCHE’ L’ITALIA E’ ENTRATA NELL’EURO

Come è accaduto che siamo stati fagocitati in una struttura sovranazionale, l’Unione Europea?

Quale manifestazione hanno assunto, in questo contesto europeo, la moneta e la banca centrale, rispettivamente l’euro e la Banca Centrale Europea?

Quale visione complessiva emerge dai Trattati e sugli ulteriori meccanismi di distruzione economica messi in atto negli ultimi anni?

Non è facile sintetizzare gli aspetti fondamentali del sistema di potere europeo e le loro conseguenze sugli Stati e le popolazioni. Abbiamo cercato di farlo in modo di rendere il più comprensibile possibile queste dinamiche, che è fondamentale vengano afferrate da un numero sempre maggiore di persone.

Questo non è un saggio sulla storia dell’Unione Europea, che richiederebbe una lunga disamina; ci limiteremo a riportare per sommi capi le fondamentali tappe storiche della costruzione dell’edificazione comunitaria.

DALLA SECONDA GUERRA MONDIALE A MAASTRICHT

Dopo la Seconda Guerra mondiale, dal cosiddetto “piano Schuman” nasce a Parigi, il 18 aprile 1951, la prima forma larvale di unione, la Ceca (Comunità europea del carbone e dell’acciaio). I sei Paesi fondatori (Belgio, Francia, Italia, Lussemburgo, Olanda, Repubblica Federale Tedesca) intendevano affidare il potere di prendere decisioni riguardanti l’industria del carbone e dell’acciaio ad un organismo indipendente e sopranazionale denominato “Alta Autorità”, il cui primo presidente fu Jean Monnet. Con la Ceca il processo di integrazione europea era ormai avviato. Nell’arco di pochi anni gli stessi sei paesi decisero di compiere un passo successivo integrando altri settori delle proprie economie.

Il 25 marzo 1957, a Roma, vennero firmai i due trattati che istituirono istituirono e disciplinarono rispettivamente:

a) la Comunità Economica Europea (CEE), i cui obiettivi sono descritti nell’art. 2 del trattato: “La Comunità ha il compito di promuovere, mediante l’instaurazione di un mercato comune e il graduale ravvicinamento delle politiche economiche degli Stati membri, uno sviluppo armonioso delle attività economiche nell’insieme della Comunità, un’espansione continua ed equilibrata, una stabilità accresciuta, un miglioramento sempre più rapido del tenore di vita, e più strette relazioni tra gli Stati che ad essa partecipano”;

b) la Comunità Europea dell’Energia Atomica (CEEA o Euratom), creata per coordinare i programmi di ricerca dei Paesi aderenti al fine di promuovere un uso pacifico dell’energia nucleare.

Nel 1979 nacque il Sistema Monetario Europeo o SME (da non confondere col sistema attuale di moneta unica), che imponeva ai Paesi membri di versare il 20% delle riserve in oro e il 20% delle riserve in dollari in cambio diEcu, che poi diventeranno Euro. Di tutto questo beneficiava un sistema finanziario centrale, che era gestito da privati.

MAASTRICHT E LISBONA

Ma il vero spartiacque fu la firma, il 7 febbraio 1992, a Maastricht, del Trattato sull’Unione europea, chiamato spesso nel linguaggio giornalistico “Trattato di Maastricht”, dai dodici Paesi membri dell’allora Comunità Europea.

Con il trattato di Maastricht vennero poste le basi fondamentali dell’Unione Europea per come le conosciamo oggi, soprattutto in materia economica, venendo stabilita la nascita della moneta unica e del Sistema Europeo delle Banche Centrali con al vertice la B.C.E. (una sorta di Federazione delle Banche centrali): una struttura politicamente irresponsabile, libera da vincoli e controlli, indipendente dai governi e dai parlamenti. Il Trattato è entrato in vigore il 1º novembre 1993.

L’Unione europea e la moneta unica, l’euro, entrano ufficialmente in vigore il 1° gennaio 2002, tra le grida di entusiasmo delle classi politiche e dei mezzi di informazione. Furono meramente sottoscritti da Parlamenti nazionali ridotti a passacarte. E praticamente imposti agli italiani, senza alcun referendum, senza alcun dibattito.

L’altro passaggio fondamentale fu la la firma, a Lisbona, il 13 dicembre 2007, del Trattato di Lisbona (entrato in vigore il 1° dicembre 2009). Questo trattato nei fatti assorbe gran parte dei contenuti presenti nel progetto di Costituzione Europea.

Ma perché questo nuovo trattato? Cos’era accaduto in precedenza?

Era stato elaborato un progetto di Costituzione Europea, ma la via verso la Costituzione Europea era stata sbarrata dall’esito negativo del referendum di approvazione in Francia e in Olanda, nel 2005. E allora, si fece in modo di riprodurre nel nuovo Trattato gran parte del contenuto di quella Costituzione che era stata bocciata, in modo da non dovere passare di nuovo per un referendum. Per non fare capire quello che si stava facendo, il Tratto di Lisbona fu reso pressoché illeggibile, quasi 400 pagine di diversi e disconnessi emendamenti apportati a 17 concordati e che vanno inseriti nel posto giusto all’interno di 2800 pagine di leggi. Una massa indigeribile, quindi di disposizioni, dispersive, prolisse e illeggibili.

Giuliano Amato, che era uno dei vicepresidenti della Convenzione che doveva redigere la bozza di Costituzione Europea, lo disse senza giri di parole durante un discorso al Centro per la Riforma Europea a Londra il 12 luglio del 2007: “Fu deciso che il documento fosse illeggibile… Fosse invece stato comprensibile, vi sarebbero state ragioni per sottoporlo a referendum, perché avrebbe significato che c’era qualcosa di nuovo (rispetto alla Costituzione bocciata nel 2005)”.

Ma era una consapevolezza espressa anche da altri. Il parlamentare europeo danese Jens-Peter Bonde, ad esempio, che disse “i primi ministri erano pienamente consapevoli che il Trattato non sarebbe mai stato approvato se fosse stato letto, capito e sottoposto a referendum. La loro intenzione era di farlo approvare senza sporcarsi le mani con i loro elettori”.

Come denuncia Paolo Barnard: “un Trattato col potere di ribaltare tutta la nostra vita di comunità di cittadini, viene scritto in modo da essere illeggibile ed è stato ratificato dai nostri governi completamente di nascosto da noi, e volutamente di nascosto. Questo poiché una versione simile di questo Trattato (la Costituzione Europea) e con simili scopi fu bocciato da Francia e Olanda nel 2005,proprio perché scandalosamente sbilanciato a favore delle lobby di potere europee e negligente verso i cittadini.”

Anne-Marie Le Pourhiet, giurista ed insegnante di diritto pubblico all’Università di Rennes, afferma: “L’Unione Europea è antidemocratica. […] Il Trattato Europeo, detto anche Trattato di Lisbona, dal nome della capitale dove i governi europei si sono radunati non già per approvarlo, ma per ratificare a scatola chiusa un’approvazione decisa a porte chiuse dalla citata combriccola dell’Unione, sancisce quindi la fine della democrazia.”

Pare incredibile che esso sia stato approvato nel quasi-disinteresse generale e senza che i media dessero il minimo risalto ad un’operazione che, di fatto, esautora gli Stati nazionali privandoli della loro sovranità.

…E ARRIVA TANGENTOPOLI

Facciamo adesso un breve excursus storico.

Prendiamo la macchina nel tempo, per tornare nell’Italia che aveva da poco sottoscritto il Trattato di Maastricht, il Trattato con il quale abbiamo svenduto ogni barlume di sovranità monetaria e ci siamo legati mani e piedi all’euro e alla B.C.E.

L’Italia degli anni ’80 era un paese ingessato e corrotto, pieno di clientele e con un’alta inflazione. Ma era anche uno dei Paesi più ricchi dell’Occidente, con un livello di benessere diffuso e un sistema produttivo costituito da una infinità di piccole imprese dinamiche che lo rendevano quasi un modello produttivo.

Agli albori degli anni Novanta, Il 7 febbraio del 1992 veniva firmato il Trattato di Maastricht.

Dieci giorni dopo, il 17 febbraio 1992, viene arrestato Mario Chiesa a Milano, e inizia la stagione di Tangentopoli. Viene spazzata via una intera classe politica, corrotta e affarista ma intrinsecamente statalista, e incapace di abdicare a visioni di spesa sociale.

Annientati i partiti politici maggioritari, emerge una classe politica nuova, fondamentalmente riconducibile al

    centro sinistra storico

 

, che stringe un patto di ferro con la finanza, sdoganando per il governo uomini come Ciampi, Dini e Prodi, e gettandosi con entusiasmo sulla via delle privatizzazioni: cioè della svendita a gruppi di affari privati di un immenso patrimonio economico pubblico.

Naturalmente la strada dell’inferno è sempre lastricata di buone intenzioni. E le privatizzazioni verranno giustificate con la necessità di “modernizzare lo Stato”, di rendere “dinamica” l’economia e di stabilizzare il bilancio, riducendo il debito pubblico. Per anni, fino a tempi relativamente recenti, per essere considerati “moderni” bisognava dichiarsi favorevoli alle privatizzazioni, e sinistra e destra (nel frattempo era sorto il polo berlusconiano) facevano a gara nel definirsi “i veri privatizzatori”.

La vendita del patrimonio pubblico (privatizzazioni) era inoltre uno dei presupposti per potere entrare nell’euro.

Il risultato delle privatizzazioni: un immenso apparato produttivo pubblico venne svenduto per due lire a gruppi di affari amici o comunque espressione di potenti lobby. Il guadagno dello Stato fu minimo, così come minimo l’impatto sul c.d. debito pubblico. L’affare per gruppi privati e affaristici fu enorme; mentre ai cittadini fu riservata una gigantesca fregatura, con l’aumento dei costi per servizi che prima erano gratuiti o a un prezzo comunque “popolare.”

Le privatizzazioni furono uno dei prezzi richiesti per le splendide prospettive della moneta unica, che, come abbiamo visto, mascheravano quello che essa rappresentava davvero: la completa rinuncia alla sovranità monetaria, e il controllo della politica economica che passava in buona parte nelle mani di burocrati non eletti da nessuno.

L’INGRESSO NELL’EURO E LA DISTRUZIONE DELL’INDUSTRIA ITALIANA

Una delle conseguenze dell’entrata nell’euro era che i Paesi membri non potevano più svalutare la loro moneta. Con la svalutazione – ovvero la perdita indotta di valore di una moneta rispetto ad un’altra – le merci del Paese che svalutava costavano di fatto di meno in altri Paesi, ed erano così più convenienti. Questo riusciva soprattutto a quei Paesi che avevano storicamente una moneta non molto forte come l’Italia, il Portogallo e la Grecia. Anche per questo le merci di Paesi come l’Italia avevano una grande capacità di penetrazione in Europa e creavano grosse grane a Paesi come la Germania. Uno degli effetti dell’euro fu quello di impedire anche questa strategia ai Paesi dell’eurozona, e il contraccolpo fu micidiale per quei Paesi che avevano le condizioni giuste per avvantaggiarsene, Paesi come l’Italia, la Grecia e il Portogallo. Grazie all’inibizione di meccanismi di questo tipo, paesi come la Germania hanno in buona parte “sterilizzato” pericolosi competitori economici interni alle frontiere europee.

L’economista australiano Bill Mitchell, docente al Centre for Full Employment and Equity ala University of Newcastle NSW Australia, scrisse: “La Germania insistette nell’inclusione delle “sprecone” Italia e Spagna nei 17 Paesi dell’eurozona per impedire loro di mantenere lira e pesetas, che Roma e Madrid avrebbero potuto svalutare competitivamente fregando il mercato metalmeccanico tedesco.”

In pratica la Germania ha chiesto ed ottenuto, con il beneplacito della nostra classe politica, di distruggere il sistema produttivo italiano, come ben chiarito dal prof. Alain Parguez in alcuni suoi interventi1; sebbene, a nostro parere, il meccanismo edificato nell’eurozona rappresenti qualcosa di più complesso di una strategia della Germania per dominare l’Europa, ciò cui alcuni semplicisticamente riconducono tutta la questione.
Noi crediamo che la Germania ne tragga vantaggio e sostenga questo sistema e che i poteri tecnocratici e finanziari la usino come testa d’ariete. Ma crediamo che il vero Potere sia rappresentato da élite che prescindono dagli interessi nazionali, anche se disponibili ad avvantaggiare un determinato Stato se ciò può essere proficuo per i loro scopi.

Dieci giorni prima che si scatenasse il ciclone Tangentopoli, come abbiamo detto, il 7 febbraio veniva firmato il Trattato di Maastricht, che entrerà in vigore nell’anno successivo, il 1993. E il 1993 è l’anno in cui il governo Ciampi istituisce il Comitato Permanente di Consulenza Globale e di Garanzia per le Privatizzazioni.

La domanda che potremmo e dovremmo porci riguardo a quella straordinaria connessione di eventi che si verificò a partire dagli anni ’90 in Italia è: “fu tutto un caso?”.

(1) Si veda ad esempio l’intervento al meeting di Rimini (febbraio 2011).

Fonte:

Alfredo Cosco, “Anatomia di un massacro”, leggibile integralmente qui:

http://arjelle.altervista.org/Economiaascuola/massacro/massacro.htm