seewasser.py

   1 #! /usr/bin/python3
   2
   3 import argparse
   4 import logging
   5 import datetime
   6 import time
   7 import re
   8 import sys
   9 import csv
  10 import os
  11 import configparser
  12 from sqlalchemy import create_engine
  13 import warnings
  14 import MySQLdb.cursors
  15
  16 logging.basicConfig(format='%(levelname)s: %(message)s', level=logging.INFO)
  17
  18 #May 27 21:32 /sys/bus/w1/devices/28-0416a1bab9ff
  19 #May 27 21:33 /sys/bus/w1/devices/28-0416a1ac66ff
  20 #May 27 21:35 /sys/bus/w1/devices/28-0516a207a4ff
  21 #May 27 21:38 /sys/bus/w1/devices/28-0316a2193bff
  22 #May 27 21:38 /sys/bus/w1/devices/28-0316a21383ff
  23
  24 # Eine Funktion:
  25 # einen Sensor auslesen
  26 #/sys/bus/w1/devices/
  27
  28 class ReadsensorError(RuntimeError):
  29     pass
  30
  31
  32 def readsensor(sensor_id):
  33     sensorfile = "/sys/bus/w1/devices/28-{}/w1_slave".format(sensor_id)
  34     file = open(sensorfile)
  35
  36     # Inhalt des Sensors:
  37     # 64 01 4b 46 7f ff 0c 10 01 : crc=01 YES
  38     # 64 01 4b 46 7f ff 0c 10 01 t=22250
  39
  40     # Suche nach YES
  41     linecrc = file.readline()
  42     match = re.search(": crc=[0-9a-f]{2} (YES|NO)",linecrc)
  43
  44     yesno = match.group(1)
  45     if yesno != "YES":
  46         raise ReadsensorError('Could not evaluate sensorfile "{}"'.format(sensorfile))
  47
  48     # Temperatur raus
  49     linetemp = file.readline()
  50     match = re.search(" t=([-0-9]+)",linetemp)
  51
  52     temp_raw = match.group(1)
  53     temp = float(temp_raw)/1000
  54
  55     file.close()
  56     jetzt = datetime.datetime.now()
  57
  58     return jetzt, temp_raw, temp
  59
  60 def read_buggy_sensor(sensor_id):
  61     for i in range(120):
  62         jetzt, temp_raw, temp = readsensor(sensor_id)
  63         if temp < 30:
  64             return jetzt, temp_raw, temp
  65         time.sleep(1)
  66     raise ReadsensorError('Zu hoch')
  67
  68 def writesensordatacsv(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value):
  69     # Schreiben des csv-files
  70     with open(os.path.expanduser(config.get("csv", "filename")), "a", newline = "") as file:
  71         writer = csv.writer(file, dialect = "excel")
  72         writer.writerow([timestamp.strftime("%Y-%m-%d %H:%M"), sensor_id, sensor_name, "{:.1f}".format(value)])
  73
  74
  75 def readcsvfile(csvfile):
  76     with open(csvfile, "r", newline="") as file:
  77         yield from csv.DictReader(file, dialect = "excel", fieldnames=("timestamp", "sensor_id", "sensor_name", "value"))
  78
  79
  80 def writesensordatadb(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value):
  81     # Schreiben des db-files
  82     user = config.get('database', 'user')
  83     pwd = config.get('database','password')
  84     host = config.get('database','hostname')
  85     db = config.get('database','database')
  86
  87     engine = create_engine('mysql+mysqldb://{}:{}@{}/{}'.format(user, pwd, host, db), echo=False)
  88     conn = engine.connect()
  89     with warnings.catch_warnings():
  90         # ignore _mysql_exceptions.Warning: Duplicate entry '0316a2193bff-2018-08-29 14:30:00' for key 'sensorid_timestamp'
  91         warnings.simplefilter("ignore", category=MySQLdb.cursors.Warning)
  92         if args.verbose:
  93             logging.info("Writing to database: sensor_id={}, sensor_name={}, value_type={}, value_raw={}, value={}, timestamp={}".format(sensor_id, sensor_name, value_type, value_raw, value, timestamp))
  94         conn.execute("insert ignore into sensors (sensor_id, sensor_name, value_type, value_raw, value, timestamp) values (%s,%s,%s,%s,%s,%s)", sensor_id, sensor_name, value_type, value_raw, value, timestamp)
  95     conn.close()
  96
  97
  98 def process_csv_file(config, fromcsvfile, value_type, sensors):
  99     # "timestamp", "sensor_id", "sensor_name", "value"
 100     sensors_ids = [sensor_id for sensor_id, sensor_name in sensors]
 101     for record in readcsvfile(fromcsvfile):
 102         timestamp, sensor_id, sensor_name, value = (record["timestamp"], record["sensor_id"], record["sensor_name"], float(record["value"]))
 103         if sensor_id in sensors_ids:
 104             value_raw = None
 105             writesensordatadb(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value)
 106
 107
 108 def main(configfile, fromcsvfile):
 109     config = configparser.ConfigParser()
 110     config.read(configfile)
 111     sensors = config.items('temperature')
 112     value_type = "Wassertemperatur"
 113
 114     if fromcsvfile:
 115         process_csv_file(config, fromcsvfile, value_type, sensors)
 116         return
 117
 118     for sensor_id, sensor_name in sensors:
 119         timestamp, value_raw, value = read_buggy_sensor(sensor_id)
 120         writesensordatacsv(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value)
 121         writesensordatadb(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value)
 122         if args.verbose:
 123             logging.info('Sensor {}: {:.1f}°C'.format(sensor_id, value))
 124
 125
 126 if __name__ == '__main__':
 127     default_config_file = os.path.expanduser('~/seewasser.ini')
 128     parser = argparse.ArgumentParser(description='Read sensor data')
 129     parser.add_argument('--config', default=default_config_file, help='configuration file')
 130     parser.add_argument('--fromcsvfile', help='write values from csv file to database')
 131     parser.add_argument("--verbose", help='write some output', action='store_true')
 132     args = parser.parse_args()
 133     main(args.config, args.fromcsvfile)
 134