Esta notebook lee archivos de una gran base de datos de mediciones de la torre de flujo de Natalia Tonti y prepara los datos para correr en el programa TK3 de procesamiento de informacion.
El dataset original tiene esta forma.
## Natalia Tonti - Paola Salio
## Curso Python DCAO Agosto 2016
import numpy as np
import os
import pandas as pd
import csv
from datetime import datetime
path='/home/salio/curso_python2/wpc-original/flux'
#listing = os.listdir(path) NO nos funciono por q lsta no temporalmente
# !unzip datos/2014-03-18T180000_AIU-0702.ghg
lista =!ls -l *.data
listing=[]
for jj in range(len(lista)):
di=lista[jj].split()[8]
listing.append(di)
no=0
for files in listing:
if files.endswith('.data'):
print(files)
no+=1
mm=str(no).zfill(4)
salida="marchi_"+mm+".dat"
f = pd.read_csv(files, skiprows=6, header=1, sep='\t')
f2=open(salida,'w')
# Creamos la lista de TOA5
ll=[]
for ii in range(f.Date.shape[0]):
dd=datetime.strptime(f.Date[ii],'%Y-%m-%d')
hh=datetime.strptime(f.Time[ii],'%H:%M:%S:%f')
ms=datetime.strftime(hh,'%f')
aux='"'+datetime.strftime(dd,'%Y-%m-%d')+' '+\
datetime.strftime(hh,'%H:%M:%S.')+ms[0]+'"'
ll.append(aux)
f = f.assign(TOA6=ll)
header = ['TOA6','Sequence Number','Aux 1 - U (m/s)','Aux 2 - V (m/s)',
'Aux 3 - W (m/s)', 'Aux 4 - SOS (m/s)','Temperature (C)','CO2 (mmol/m^3)',
'H2O (mmol/m^3)','Diagnostic Value','Pressure (kPa)']
# quoting=csv.QUOTE_NONE
f.to_csv(salida, sep=',',columns=header, quoting=csv.QUOTE_NONE, index=None, header=None)
#Este css es trabajo de @LorenaABarba y su grupo
from IPython.core.display import HTML
css_file = '../../css/personal.css'
HTML(open(css_file, "r").read())