Lectura de bases de datos recurrente y ejecucion de procesos

Integrantes:

  • Natalia Tonti
  • Paola Salio

Descripción

Esta notebook lee archivos de una gran base de datos de mediciones de la torre de flujo de Natalia Tonti y prepara los datos para correr en el programa TK3 de procesamiento de informacion.

El dataset original tiene esta forma.

In [ ]:
## Natalia Tonti - Paola Salio
## Curso Python DCAO Agosto 2016

import numpy as np
import os
import pandas as pd
import csv
from datetime import datetime

path='/home/salio/curso_python2/wpc-original/flux'

#listing = os.listdir(path) NO nos funciono por q lsta no temporalmente
# !unzip datos/2014-03-18T180000_AIU-0702.ghg

lista =!ls -l *.data
listing=[]
for jj in range(len(lista)):        
        di=lista[jj].split()[8]
        listing.append(di)
no=0

for files in listing:
    if files.endswith('.data'):
        print(files)
        
        no+=1
        mm=str(no).zfill(4)
        salida="marchi_"+mm+".dat"                      
        f = pd.read_csv(files, skiprows=6, header=1, sep='\t')
        f2=open(salida,'w')

        # Creamos la lista de TOA5
        ll=[]
        for ii in range(f.Date.shape[0]):
            dd=datetime.strptime(f.Date[ii],'%Y-%m-%d')
            hh=datetime.strptime(f.Time[ii],'%H:%M:%S:%f')
            ms=datetime.strftime(hh,'%f')
          
            aux='"'+datetime.strftime(dd,'%Y-%m-%d')+' '+\
            datetime.strftime(hh,'%H:%M:%S.')+ms[0]+'"'
                        
            ll.append(aux)
            
        f = f.assign(TOA6=ll)
        
        header = ['TOA6','Sequence Number','Aux 1 - U (m/s)','Aux 2 - V (m/s)',
                  'Aux 3 - W (m/s)', 'Aux 4 - SOS (m/s)','Temperature (C)','CO2 (mmol/m^3)',
                  'H2O (mmol/m^3)','Diagnostic Value','Pressure (kPa)']

        # quoting=csv.QUOTE_NONE
        f.to_csv(salida, sep=',',columns=header, quoting=csv.QUOTE_NONE, index=None, header=None)
In [2]:
#Este css es trabajo de @LorenaABarba y su grupo
from IPython.core.display import HTML
css_file = '../../css/personal.css'
HTML(open(css_file, "r").read())
Out[2]: