remove all traces about swimmers from seepark_web.py
[chrisu/seepark.git] / seewasser.py
1 #! /usr/bin/python3
2
3 import argparse
4 import logging
5 import datetime
6 import time
7 import re
8 import sys
9 import csv
10 import os
11 import configparser
12 from sqlalchemy import create_engine
13 import warnings
14 import MySQLdb.cursors
15
16 logging.basicConfig(format='%(levelname)s: %(message)s', level=logging.INFO)
17
18 #May 27 21:32 /sys/bus/w1/devices/28-0416a1bab9ff
19 #May 27 21:33 /sys/bus/w1/devices/28-0416a1ac66ff
20 #May 27 21:35 /sys/bus/w1/devices/28-0516a207a4ff
21 #May 27 21:38 /sys/bus/w1/devices/28-0316a2193bff
22 #May 27 21:38 /sys/bus/w1/devices/28-0316a21383ff
23
24 # Eine Funktion:
25 # einen Sensor auslesen
26 #/sys/bus/w1/devices/
27
28 class ReadsensorError(RuntimeError):
29     pass
30     
31     
32 def readsensor(sensor_id):
33     sensorfile = "/sys/bus/w1/devices/28-{}/w1_slave".format(sensor_id)
34     file = open(sensorfile)
35
36     # Inhalt des Sensors:
37     # 64 01 4b 46 7f ff 0c 10 01 : crc=01 YES
38     # 64 01 4b 46 7f ff 0c 10 01 t=22250
39
40     # Suche nach YES
41     linecrc = file.readline()
42     match = re.search(": crc=[0-9a-f]{2} (YES|NO)",linecrc)
43
44     yesno = match.group(1)
45     if yesno != "YES":
46         raise ReadsensorError('Could not evaluate sensorfile "{}"'.format(sensorfile))
47         
48     # Temperatur raus
49     linetemp = file.readline()
50     match = re.search(" t=([-0-9]+)",linetemp)
51
52     temp_raw = match.group(1)
53     temp = float(temp_raw)/1000
54
55     file.close()
56     jetzt = datetime.datetime.now()
57
58     return jetzt, temp_raw, temp
59
60 def read_buggy_sensor(sensor_id):
61     for i in range(120):
62         jetzt, temp_raw, temp = readsensor(sensor_id)
63         if temp < 30:
64             return jetzt, temp_raw, temp
65         time.sleep(1)
66     raise ReadsensorError('Zu hoch')
67
68 def writesensordatacsv(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value):
69     # Schreiben des csv-files
70     with open(os.path.expanduser(config.get("csv", "filename")), "a", newline = "") as file:
71         writer = csv.writer(file, dialect = "excel")
72         writer.writerow([timestamp.strftime("%Y-%m-%d %H:%M"), sensor_id, sensor_name, "{:.1f}".format(value)])
73
74
75 def readcsvfile(csvfile):
76     with open(csvfile, "r", newline="") as file:
77         yield from csv.DictReader(file, dialect = "excel", fieldnames=("timestamp", "sensor_id", "sensor_name", "value"))
78
79
80 def writesensordatadb(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value):
81     # Schreiben des db-files
82     user = config.get('database', 'user')
83     pwd = config.get('database','password')
84     host = config.get('database','hostname')
85     db = config.get('database','database')
86     
87     engine = create_engine('mysql+mysqldb://{}:{}@{}/{}'.format(user, pwd, host, db), echo=False)
88     conn = engine.connect()
89     with warnings.catch_warnings():
90         # ignore _mysql_exceptions.Warning: Duplicate entry '0316a2193bff-2018-08-29 14:30:00' for key 'sensorid_timestamp'
91         warnings.simplefilter("ignore", category=MySQLdb.cursors.Warning)
92         if args.verbose:
93             logging.info("Writing to database: sensor_id={}, sensor_name={}, value_type={}, value_raw={}, value={}, timestamp={}".format(sensor_id, sensor_name, value_type, value_raw, value, timestamp))
94         conn.execute("insert ignore into sensors (sensor_id, sensor_name, value_type, value_raw, value, timestamp) values (%s,%s,%s,%s,%s,%s)", sensor_id, sensor_name, value_type, value_raw, value, timestamp)
95     conn.close()
96
97
98 def process_csv_file(config, fromcsvfile, value_type, sensors):
99     # "timestamp", "sensor_id", "sensor_name", "value"
100     sensors_ids = [sensor_id for sensor_id, sensor_name in sensors]
101     for record in readcsvfile(fromcsvfile):
102         timestamp, sensor_id, sensor_name, value = (record["timestamp"], record["sensor_id"], record["sensor_name"], float(record["value"]))
103         if sensor_id in sensors_ids:
104             value_raw = None
105             writesensordatadb(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value)
106
107
108 def main(configfile, fromcsvfile):
109     config = configparser.ConfigParser()
110     config.read(configfile)
111     sensors = config.items('temperature')
112     value_type = "Wassertemperatur"
113
114     if fromcsvfile:
115         process_csv_file(config, fromcsvfile, value_type, sensors)
116         return
117
118     for sensor_id, sensor_name in sensors:
119         timestamp, value_raw, value = read_buggy_sensor(sensor_id)
120         writesensordatacsv(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value)
121         writesensordatadb(config, sensor_id, sensor_name, timestamp, value_type, value_raw, value)
122         if args.verbose:
123             logging.info('Sensor {}: {:.1f}°C'.format(sensor_id, value))
124
125
126 if __name__ == '__main__':
127     default_config_file = os.path.expanduser('~/seewasser.ini')
128     parser = argparse.ArgumentParser(description='Read sensor data')
129     parser.add_argument('--config', default=default_config_file, help='configuration file')
130     parser.add_argument('--fromcsvfile', help='write values from csv file to database')
131     parser.add_argument("--verbose", help='write some output', action='store_true')
132     args = parser.parse_args()
133     main(args.config, args.fromcsvfile)
134