PE32 Information

Se provate a interrogare un file windows formato PE32 (es. exe o dll) il menu principale mostrerà una nuova voce: “PE32 Information“.

Questa azione consente di individuare gli oggetti invocati, le DLL, le possibili connessioni verso l’esterno e altre informazioni utili a chi svolge l’analisi di un malware.

Show thumbnail

FileInfo è in grado di individuare l’eventuale presenza di una thumbnail residente all’interno di un file JPEG. In tal caso al menu principale verrà aggiunta la nuova voce: “Show Thumbnail“.

Selezionando questa azione, dopo aver definito il percorso sul disco e scelto il nome da assegnare al file, si procederà con l’estrazione e il salvataggio della miniatura.

Info e download su Google Code: http://code.google.com/p/fileinfo-gui

Qualcuno suggeriva di utilizzare uno script che calcolasse l’hash di ogni singolo file presente nella directory di lavoro (fin qui ok) e popolasse un db basato su un engine SQLite per poi interrogarlo ed eseguire le operazioni di confronto.

Un processo un po’ troppo complicato dato che lo scopo non è quello di correlare diverse tipologie di informazioni ma di limitarci al confronto tra stringhe (hash). Considerando poi che la parte più onerosa (in termini di tempo) del lavoro è affidata ai tool per il calcolo dell’hash di ogni singolo file, l’uso di un db, che entra in gioco in un secondo momento, di certo non aiuta a velocizzare/ottimizzare le operazioni o i tempi di calcolo.

Sono sufficienti 8 righe di codice bash per risolvere il problema.

#!/bin/bash	

DIR="folder"		# File's Folder
OUT="filetmp.txt"	# File output hash

md5sum $DIR/* > $OUT

echo "Uniq"
awk '!x[$1]++' FS=" " $OUT

echo "Duplicate"
awk 'x[$1]++' FS=" " $OUT

A volte mi chideo, che mondo sarebbe senza bash?

L’ho testato e funziona correttamente sulla mia macchina Ubuntu 10.10, potrebbe funzionare anche su altre distribuzioni linux ma non vi assicuro nulla.

Download, screenshot e altre info su http://code.google.com/p/fileinfo-gui

Tornando al titolo del post il problema è quello di dover rimuovere i duplicati limitatamente agli elementi presenti in una determinata colonna. La questione sarebbe risolvibile con uno script di una decina di righe ma se si lavora su un sistema linux, utilizzando il comando awk, una riga da shell è più che sufficiente.

$ awk '!x[$1]++' FS="," logfile.csv

$1 indica la colonna sulla quale lavorare, in questo caso verranno rimossi i duplicati in riferimento alla prima.

FS=”,” determina l’elemento separatore, nel nostro caso la virgola.

Quando si ha a che fare con una lunga lista di IP e l’esigenza è quella di convertire tutti i valori nel formato decimale puntato (es. 111.112.113.114) non è semplice trovare tool adatti allo scopo. Probabilmente esisteranno, ma nel mio caso credo che avrei perso più tempo a cercarlo che a scriverne uno partendo dallo script bash di Mike Golvach per la conversione da binario a decimale.

#!/bin/bash

# by Gianni 'guelfoweb' Amato

# usage : bash decint2ip.sh 1869640050
# 	  bash decint2ip.sh -f filename.txt

function bin2dec(){

	number=$1
	length=${#number}

	set -a binnumber
	for x in $(seq 0 $((${#number} - 1)))
	do
	 binnumber[$x]=${number:$x:1}
	done

	if [ ${binnumber[7]} -eq 1 ]; then
	 total=$((total + 1))
	fi
	if [ ${binnumber[6]} -eq 1 ]; then
	 total=$((total + 2))
	fi
	if [ ${binnumber[5]} -eq 1 ]; then
	 total=$((total + 4))
	fi
	if [ ${binnumber[4]} -eq 1 ]; then
	 total=$((total + 8))
	fi
	if [ ${binnumber[3]} -eq 1 ]; then
	 total=$((total + 16))
	fi
	if [ ${binnumber[2]} -eq 1 ]; then
	 total=$((total + 32))
	fi
	if [ ${binnumber[1]} -eq 1 ]; then
	 total=$((total + 64))
	fi
	if [ ${binnumber[0]} -eq 1 ]; then
	 total=$((total + 128))
	fi
}

function ipcalc(){

	BIN=`echo "ibase=10; obase=2; $LINE;" | bc`
	LENSTR=`expr length $BIN`

	if [ $LENSTR -lt 32 ]; then
		ADD=$[32-$LENSTR]

		for i in `seq 1 $ADD`;
		do
			NULL=$NULL`echo -ne "0"`
		done
	fi

	IPBIN=$NULL$BIN
	NULL=""

	OTTETTO[4]=${IPBIN:24}
	OTTETTO[3]=${IPBIN:16:8}
	OTTETTO[2]=${IPBIN:8:8}
	OTTETTO[1]=${IPBIN:0:8}

	for i in `seq 1 4`
	do
		bin2dec ${OTTETTO[$i]}
		IP[$i]=$total
		total=0
	done
	echo -e "${IP[1]}.${IP[2]}.${IP[3]}.${IP[4]}"
}

function convertlist(){

	cat $FILE | while read LINE;
	do {
		ipcalc
	} done
}

function hlp(){
	echo "Error: argument(s) not valid."
	echo "	usage i.e.: bash decint2ip.sh 1869640050"
	echo "	usage i.e.: bash decint2ip.sh -f filename.txt"
	exit 0
}

ARG=2
if [ $# -lt 1 ]; then
	hlp
fi

if [ $# -gt "$ARG" ]; then
	hlp
fi

if [ $1 = "-f" ]; then
	if [ -n "$2" ]; then
		FILE=$2
		convertlist
	else
		hlp
	fi
else
	LINE=$1
	ipcalc
fi

Per utilizzarlo su un singolo valore:

$ bash decint2ip.sh 1869640050

Per utilizzarlo su un file contenente una lista di ip nel formato intero decimale:

$ bash decint2ip.sh -f filename.txt

Naturalmente la soluzione è quella di convertire il file di log (un comune csv) da UTF-16 in UTF-8

iconv --from-code UTF-16 --to-code UTF-8 filelog.csv > newlog.csv

Date le impostazioni di codifica vi ritroverete con un file di log dalle dimensioni esattamente dimezzate e finalmente digeribile da grep.

Per capire meglio come avviene l’inversione basta guardare bene questa immagine

E’ come se il file si guardasse allo specchio. In questo modo il primo byte diventa l’ultimo, il secondo il penultimo e così via fino a invertire completamente la posizione di tutti i byte che compongono il file.

Il sorgente è scaricabile da qui: mirror.sh

#!/bin/bash

## Reverse bytes
## by Gianni ‘guelfoweb’ Amato

## This script is released under the terms of the GNU GPL v3

usage(){
echo “usage: $0 [ source ] [ target ]”
}

if [ $# -lt 2 ]; then
usage
exit -1
fi

if [ ! -f $1 ]; then
echo “source file not found: $1″
usage
exit 0
fi

if [ -f $2 ]; then
echo “target file exists: $2″
usage
exit 0
fi

BYTEIN=`wc –byte $1 | cut -d” ” -f1`    #Byte count file input
echo “reverse current $1 in $2″
echo “writing $BYTEIN byte(s) in $2″

for i in `seq 1 $BYTEIN`
do
SKIP=$(($BYTEIN – $i))    #Decreases by one
dd if=$1 skip=$SKIP count=1 bs=1 >> $2 2> /dev/null
echo -ne “.”
done

BYTEOUT=`wc –byte $2 | cut -d” ” -f1`    #Byte count file output
if [ $BYTEIN = $BYTEOUT ]; then    #Byte verify
echo
echo “finished!”
else
echo
echo “error: invalid byte(s)”
fi
exit 0

usage: bash mirror.sh [ source ] [ target ]

La soluzione descritta da Denis è ancora più diabolica: anzichè lavorare sui byte propone l’inversione dei bit. Per i dettagli vi rimando al post sul suo blog.

Buono studio!

#!/bin/bash

## Zone Transfer (AXFR) enumeration
## axfr.sh is a supplement to knock
## http://knock.gianniamato.it

## by Gianni ‘guelfoweb’ Amato

usage(){
echo “usage: $0 [ domain ] [ fileoutput ]”
}

if [ $# -lt 1 ]; then
usage
exit -1
fi

DOMAIN=$1

fileverify(){
if [ -f $OUTPUT ]; then
echo “error: file exists: ‘$OUTPUT’”
usage
exit 1
fi
}

if [ -z $2 ]; then
OUTPUT=”output”
fileverify
else
OUTPUT=$2
fileverify
fi

QUERY=`dig $DOMAIN NS +short | sed ‘s/[.t]*$//’`
NS=($QUERY)

for((i=0;i<${#NS[@]};i++)); do
echo “Trying Zone Transfer on -> ${NS[$i]}” >> $OUTPUT
echo >> $OUTPUT
dig @${NS[$i]} $DOMAIN axfr | grep -v “^;” | grep -v “^$” >> $OUTPUT
done

if [ -f $OUTPUT ]; then
cat $OUTPUT
echo “Output saved in ‘$OUTPUT’ file.”
exit 1
else
echo “error: ‘$DOMAIN’ is not a valid domain name.”
fi

usage: bash axfr.sh [ domain ] [ fileoutput ]

in alternativa utilizzando i seguenti permessi chmod a+x axfr.sh

./axfr.sh example.com

l’output verra mostrato a video e scritto di default nel file ‘output’.

Se si vuole specificare il file output di destinazione:

./axfr.sh example.com filename.txt

Lo script bash è scaricabile direttamente da qui o dalla pagina di download.

Non sto qui a spiegare cosa è lo zone transfer o come, quando e in che modo dev’essere abilitato o inibito, voglio solo appuntare un esempio pratico di richiesta axfr utilizzando il comando DiG.

Andiamo per ordine:

Host in esame: gazzetta.it

DNS Name Server:

$: dig gazzetta.it NS | grep -v "^;" | grep -v "^$"| grep NS

gazzetta.it. 61355 IN NS ns2.ita.tip.net.
gazzetta.it. 61355 IN NS ns.ita.tip.net.


$: dig @ns2.ita.tip.net gazzetta.it axfr | grep -v "^;" | grep -v "^$"

gazzetta.it. 86400 IN NS ns.ita.tip.net.
gazzetta.it. 86400 IN NS ns2.ita.tip.net.
gazzetta.it. 86400 IN A 194.20.158.242
gazzetta.it. 86400 IN A 194.20.158.102
gazzetta.it. 86400 IN MX 15 posta3.rcs.it.
gazzetta.it. 86400 IN MX 15 posta2.rcs.it.
gazzetta.it. 86400 IN MX 15 posta1.rcs.it.
gazzetta.it. 86400 IN MX 15 posta4.rcs.it.
45parallelo.gazzetta.it. 86400 IN CNAME 45parallelo.splinder.com.
altrimondi.gazzetta.it. 86400 IN CNAME cw.rcs.tomato.it.
altrogirotv.gazzetta.it. 86400 IN A 213.92.76.242
americaalmassimo.gazzetta.it. 86400 IN CNAME americaalmassimo.splinder.com.
americalmassimo.gazzetta.it. 86400 IN CNAME americaalmassimo.splinder.com.
appuntidiviaggio.gazzetta.it. 86400 IN CNAME blog.splinder.com.
archivio.gazzetta.it. 86400 IN CNAME www.gazzetta.it.
archivio-sms.gazzetta.it. 86400 IN CNAME www.gazzetta.it.
archivioaltrimondi.gazzetta.it. 86400 IN CNAME gda.splinder.com.
archiviostorico.gazzetta.it. 86400 IN CNAME www.gazzetta.it.
beachtour.gazzetta.it. 86400 IN CNAME www.gazzetta.it.
beachtour8.gazzetta.it. 86400 IN A 194.20.158.99
beachtournews.gazzetta.it. 86400 IN CNAME www.gazzetta.it.
biciscuola.gazzetta.it. 86400 IN A 64.13.232.188
blog.gazzetta.it. 86400 IN CNAME www.gazzetta.it.
*.blog.gazzetta.it. 86400 IN CNAME blog.splinder.com.
cache1.gazzetta.it. 86400 IN A 62.94.132.21
cache2.gazzetta.it. 86400 IN A 10.31.255.10
cache3.gazzetta.it. 86400 IN A 151.1.208.3
cache4.gazzetta.it. 86400 IN A 213.92.76.194
cache5.gazzetta.it. 86400 IN A 213.255.2.197
cache6.gazzetta.it. 86400 IN A 195.110.98.8
cache7.gazzetta.it. 86400 IN A 212.123.79.244
cache8.gazzetta.it. 86400 IN A 217.169.110.148
calciofrancese.gazzetta.it. 86400 IN CNAME blog.splinder.com.
carovanaexodus.gazzetta.it. 86400 IN CNAME blog.splinder.com.
…..etc. etc. etc.

Supponiamo di dover rinominare i seguenti file di log con estensione .txt:

file.log.090714
file.log.090715
file.log.090716

$ for i in `ls file.log.*`; do mv $i $i.txt; done

Il risultato sarà il seguente:

file.log.090714.txt
file.log.090715.txt
file.log.090716.txt

Se volessimo concatenare tutti i file con estensione .txt possiamo ricorrere al classico comando cat.

$ cat *.txt > newfile

Se invece prima di concatenarli volessimo aggiungere un delimitatore alla fine di ogni singolo file (o una riga vuota) per trattamenti futuri o semplicemente per capire ad occhio quando un file finisce e comincia l’altro possiamo usare la seguente riga di comando:

$ for i in `ls file.log.*`; do echo "" >> $i; done

In questo caso il delimitatore è una riga vuota aggiunta alla fine di tutti i file il cui nome comincia con file.log ]]> http://www.gianniamato.it/2009/07/rinominare-e-concatenare-file-di-log.html/feed 2