seewasser.py

   1 #! /usr/bin/python3
   2
   3 import argparse
   4 import logging
   5 import datetime
   6 import re
   7 import sys
   8 import csv
   9 import os
  10 import configparser
  11 from sqlalchemy import create_engine
  12 import warnings
  13 import MySQLdb.cursors
  14
  15 logging.basicConfig(format='%(levelname)s: %(message)s', level=logging.INFO)
  16
  17 #May 27 21:32 /sys/bus/w1/devices/28-0416a1bab9ff
  18 #May 27 21:33 /sys/bus/w1/devices/28-0416a1ac66ff
  19 #May 27 21:35 /sys/bus/w1/devices/28-0516a207a4ff
  20 #May 27 21:38 /sys/bus/w1/devices/28-0316a2193bff
  21 #May 27 21:38 /sys/bus/w1/devices/28-0316a21383ff
  22
  23 # Eine Funktion:
  24 # einen Sensor auslesen
  25 #/sys/bus/w1/devices/
  26
  27 class ReadsensorError(RuntimeError):
  28     pass
  29
  30
  31 def readsensor(sensor_id):
  32     sensorfile = "/sys/bus/w1/devices/28-{}/w1_slave".format(sensor_id)
  33     file = open(sensorfile)
  34
  35     # Inhalt des Sensors:
  36     # 64 01 4b 46 7f ff 0c 10 01 : crc=01 YES
  37     # 64 01 4b 46 7f ff 0c 10 01 t=22250
  38
  39     # Suche nach YES
  40     linecrc = file.readline()
  41     match = re.search(": crc=[0-9a-f]{2} (YES|NO)",linecrc)
  42
  43     yesno = match.group(1)
  44     if yesno != "YES":
  45         raise ReadsensorError('Could not evaluate sensorfile "{}"'.format(sensorfile))
  46
  47     # Temperatur raus
  48     linetemp = file.readline()
  49     match = re.search(" t=([-0-9]+)",linetemp)
  50
  51     temp_raw = match.group(1)
  52     temp = float(temp_raw)/1000
  53
  54     file.close()
  55     jetzt = datetime.datetime.now()
  56
  57     return jetzt, temp_raw, temp
  58
  59
  60 def writesensordatacsv(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value):
  61     # Schreiben des csv-files
  62     with open(os.path.expanduser(config.get("csv", "filename")), "a", newline = "") as file:
  63         writer = csv.writer(file, dialect = "excel")
  64         writer.writerow([timestamp.strftime("%Y-%m-%d %H:%M"), sensor_id, sensor_name, "{:.1f}".format(value)])
  65
  66
  67 def readcsvfile(csvfile):
  68     with open(csvfile, "r", newline="") as file:
  69         yield from csv.DictReader(file, dialect = "excel", fieldnames=("timestamp", "sensor_id", "sensor_name", "value"))
  70
  71
  72 def writesensordatadb(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value):
  73     # Schreiben des db-files
  74     user = config.get('database', 'user')
  75     pwd = config.get('database','password')
  76     host = config.get('database','hostname')
  77     db = config.get('database','database')
  78
  79     engine = create_engine('mysql+mysqldb://{}:{}@{}/{}'.format(user, pwd, host, db), echo=False)
  80     conn = engine.connect()
  81     with warnings.catch_warnings():
  82         # ignore _mysql_exceptions.Warning: Duplicate entry '0316a2193bff-2018-08-29 14:30:00' for key 'sensorid_timestamp'
  83         warnings.simplefilter("ignore", category=MySQLdb.cursors.Warning)
  84         if args.verbose:
  85             logging.info("Writing to database: sensor_id={}, sensor_name={}, value_type={}, value_raw={}, value={}, timestamp={}".format(sensor_id, sensor_name, value_type, value_raw, value, timestamp))
  86         conn.execute("insert ignore into sensors (sensor_id, sensor_name, value_type, value_raw, value, timestamp) values (%s,%s,%s,%s,%s,%s)", sensor_id, sensor_name, value_type, value_raw, value, timestamp)
  87     conn.close()
  88
  89
  90 def process_csv_file(config, fromcsvfile, value_type, sensors):
  91     # "timestamp", "sensor_id", "sensor_name", "value"
  92     sensors_ids = [sensor_id for sensor_id, sensor_name in sensors]
  93     for record in readcsvfile(fromcsvfile):
  94         timestamp, sensor_id, sensor_name, value = (record["timestamp"], record["sensor_id"], record["sensor_name"], float(record["value"]))
  95         if sensor_id in sensors_ids:
  96             value_raw = None
  97             writesensordatadb(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value)
  98
  99
 100 def main(configfile, fromcsvfile):
 101     config = configparser.ConfigParser()
 102     config.read(configfile)
 103     sensors = config.items('temperature')
 104     value_type = "Wassertemperatur"
 105
 106     if fromcsvfile:
 107         process_csv_file(config, fromcsvfile, value_type, sensors)
 108         return
 109
 110     for sensor_id, sensor_name in sensors:
 111         timestamp, value_raw, value = readsensor(sensor_id)
 112         writesensordatacsv(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value)
 113         writesensordatadb(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value)
 114         if args.verbose:
 115             logging.info('Sensor {}: {:.1f}°C'.format(sensor_id, value))
 116
 117
 118 if __name__ == '__main__':
 119     default_config_file = os.path.expanduser('~/seewasser.ini')
 120     parser = argparse.ArgumentParser(description='Read sensor data')
 121     parser.add_argument('--config', default=default_config_file, help='configuration file')
 122     parser.add_argument('--fromcsvfile', help='write values from csv file to database')
 123     parser.add_argument("--verbose", help='write some output', action='store_true')
 124     args = parser.parse_args()
 125     main(args.config, args.fromcsvfile)
 126