Gianni Amato » log

Rimuovere Duplicati su Log di tipo csv

guelfoweb — Tue, 15 Feb 2011 21:32:16 +0000

Ho visto gente entrare nel panico alle prese con file di log formato csv composti da milioni di righe. Inutile affidarsi al foglio di calcolo.

Tornando al titolo del post il problema è quello di dover rimuovere i duplicati limitatamente agli elementi presenti in una determinata colonna. La questione sarebbe risolvibile con uno script di una decina di righe ma se si lavora su un sistema linux, utilizzando il comando awk, una riga da shell è più che sufficiente.

$ awk '!x[$1]++' FS="," logfile.csv

$1 indica la colonna sulla quale lavorare, in questo caso verranno rimossi i duplicati in riferimento alla prima.

FS=”,” determina l’elemento separatore, nel nostro caso la virgola.

Alla ricerca di un tool per l’analisi forense dei Web Server Log

guelfoweb — Mon, 14 Jun 2010 14:28:08 +0000

Robert Hansen, meglio noto come RSnake, è alla ricerca di una applicazione per uso forense in grado di analizzare tipologie diverse di log estratti da web server.

Per esigenze lavorative piu’ volte mi è passato per la mente di scrivere uno strumento che mi aiuti ad automatizzare le operazioni, di volta in volta ho rimandato perchè puntualmente si sono presentate problematiche differenti. I requisiti elencati nel post rendono bene l’idea di quanto possa essere complesso scrivere una applicazione adatta per ogni esigenza, soprattutto quando ci si trova davanti a svariate giga o tera di log da analizzare.

Tralasciando il foglio di calcolo con il quale sarebbe assurdo operare o comode GUI tuttofare che in realtà non soddisfano mai a pieno le esigenze, al momento non vedo soluzioni idonee in grado di soddisfare ogni requisito. Ragione per cui continuo a “zappare” con linux a colpi di cat, cut e grep.

Intanto nei commenti al post saltano fuori una serie di interessanti soluzioni sia open sia free che possono sempre tornare utili.

Grep e il problema di encoding dei caratteri

guelfoweb — Mon, 15 Feb 2010 18:12:52 +0000

Non ho idea del perchè il “buon” MS Sql Server utilizza la codifica UTF-16 quando esporta i file di log – non è da escludere che chi ha configurato il database lo abbia impostato così di proposito (spero abbia avuto i suoi buoni motivi per farlo) o probabilmente per errore. Fatto sta che in queste condizioni andando di grep si riscontrano problemi di matching.

Naturalmente la soluzione è quella di convertire il file di log (un comune csv) da UTF-16 in UTF-8

iconv --from-code UTF-16 --to-code UTF-8 filelog.csv > newlog.csv

Date le impostazioni di codifica vi ritroverete con un file di log dalle dimensioni esattamente dimezzate e finalmente digeribile da grep.

Rinominare e concatenare file di log

guelfoweb — Wed, 15 Jul 2009 20:06:00 +0000

I log sono tipicamente dei file di testo facilmente ispezionabili con le più comuni applicazioni di text editing. Se per qualche insolito motivo vi capita di dover dare in pasto i file di log ad una applicazione che accetta solo file con una determinata estensione (ad esempio .log o .txt) e non volete perdere tempo con le espressioni regolari di rename potete utilizzare il comando mv all’interno di un banale ciclo for.

Supponiamo di dover rinominare i seguenti file di log con estensione .txt:

file.log.090714 file.log.090715 file.log.090716

$ for i in `ls file.log.*`; do mv $i $i.txt; done

Il risultato sarà il seguente:

file.log.090714.txt file.log.090715.txt file.log.090716.txt

Se volessimo concatenare tutti i file con estensione .txt possiamo ricorrere al classico comando cat.
$ cat *.txt > newfile

Se invece prima di concatenarli volessimo aggiungere un delimitatore alla fine di ogni singolo file (o una riga vuota) per trattamenti futuri o semplicemente per capire ad occhio quando un file finisce e comincia l’altro possiamo usare la seguente riga di comando:

$ for i in `ls file.log.*`; do echo "" >> $i; done

In questo caso il delimitatore è una riga vuota aggiunta alla fine di tutti i file il cui nome comincia con file.log