4814d0fb22493f6381dfdbd79918aa31aaf3f66d
[chrisu/seepark.git] / web / seepark_web.py
1 from random import uniform
2 import datetime
3 import time
4 import configparser
5 import os
6 import sys
7 from collections import defaultdict
8 from flask import Flask, render_template, jsonify, request
9 import flask.json
10 from flask_sqlalchemy import SQLAlchemy, inspect
11
12
13 app_path = os.path.dirname(os.path.realpath(__file__))
14 lib_path = os.path.join(app_path, '..')
15 sys.path.append(lib_path)
16 from seeparklib.openweathermap import openweathermap_json, OpenWeatherMapError
17
18
19 # https://stackoverflow.com/a/37350445
20 def sqlalchemy_model_to_dict(model):
21     return {c.key: getattr(model, c.key)
22         for c in inspect(model).mapper.column_attrs}
23
24
25 class JSONEncoder(flask.json.JSONEncoder):
26     def default(self, object):
27         if isinstance(object, datetime.datetime):
28             return object.isoformat()
29         elif isinstance(object, db.Model):
30             return sqlalchemy_model_to_dict(object)
31         return super().default(object)
32
33
34 def parse_datetime(date_str):
35     return datetime.datetime.strptime(date_str, '%Y-%m-%dT%H:%M:%S')
36
37
38 def get_sqlalchemy_database_uri(config):
39     user = config.get('database', 'user')
40     pwd = config.get('database', 'password')
41     host = config.get('database', 'hostname')
42     db = config.get('database', 'database')
43     return 'mysql+mysqldb://{}:{}@{}/{}'.format(user, pwd, host, db)
44
45
46 config = configparser.ConfigParser()
47 config.read(os.environ['SEEPARKINI'])
48 apikey = config.get('openweathermap', 'apikey')
49 cityid = config.get('openweathermap', 'cityid')
50 mainsensor = config.get('temperature', 'mainsensor')
51
52 app = Flask(__name__)
53 app.json_encoder = JSONEncoder
54 app.config['SQLALCHEMY_DATABASE_URI'] = get_sqlalchemy_database_uri(config)
55 app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False
56 db = SQLAlchemy(app)
57 db.reflect(app=app)
58
59
60 class Sensors(db.Model):
61     __tablename__ = 'sensors'
62
63
64 class OpenWeatherMap(db.Model):
65     __tablename__ = 'openweathermap'
66
67
68 def select_sensordata(sensor_id, sensor_type, begin, end, mode):
69     query = Sensors.query
70     if sensor_id is not None:
71         query = query.filter(Sensors.sensor_id == sensor_id)
72     if sensor_type is not None:
73         query = query.filter(Sensors.value_type == sensor_type)
74     if begin is not None:
75         query = query.filter(Sensors.timestamp >= begin)
76     if end is not None:
77         query = query.filter(Sensors.timestamp <= end)
78     if mode == 'consolidated' and begin is None and end is None:
79         # copied from munin/master/_bin/munin-cgi-graph.in
80         # interval in seconds for data points
81         resolutions = dict(
82             day   =   300,
83             week  =  1800,
84             month =  7200,
85             year  = 86400,
86         )
87         duration = (end - begin).total_seconds()
88         day = 60 * 60 * 24
89         if duration < day:
90             resolution = resolutions['day']
91         elif duration < 7 * day:
92             resolution = resolutions['week']
93         elif duration < 31 * day:
94             resolution = resolutions['month']
95         else:
96             resolution = resolutions['year']
97         # TODO: filter out samples from 'result'
98         # something like 
99         # select to_seconds(datetime) DIV (60*60*24) as interval_id, min(datetime), max(datetime), min(temp), avg(temp), max(temp), count(temp) from openweathermap group by interval_id order by interval_id;
100     return query.all()
101
102
103 def select_openweatherdata(cityid, begin, end, mode):
104     query = OpenWeatherMap.query.filter(OpenWeatherMap.cityid == cityid)
105     if begin is not None:
106         query = query.filter(OpenWeatherMap.datetime >= begin)
107     if end is not None:
108         query = query.filter(OpenWeatherMap.datetime <= end)
109     if mode == 'consolidated' and begin is None and end is None:
110         # copied from munin/master/_bin/munin-cgi-graph.in
111         # interval in seconds for data points
112         resolutions = dict(
113             day   =   300,
114             week  =  1800,
115             month =  7200,
116             year  = 86400,
117         )
118         duration = (end - begin).total_seconds()
119         day = 60 * 60 * 24
120         if duration < day:
121             resolution = resolutions['day']
122         elif duration < 7 * day:
123             resolution = resolutions['week']
124         elif duration < 31 * day:
125             resolution = resolutions['month']
126         else:
127             resolution = resolutions['year']
128         # TODO: filter out samples from 'result'
129         # something like 
130         # select to_seconds(datetime) DIV (60*60*24) as interval_id, min(datetime), max(datetime), min(temp), avg(temp), max(temp), count(temp) from openweathermap group by interval_id order by interval_id;
131     return query.all()
132
133
134 def convert_to_c3(result):
135     c3result = defaultdict(list)
136     for row in result:
137         c3result[row.sensor_id].append(row.value)
138         dt = row.timestamp.strftime('%Y-%m-%d %H:%M:%S')
139         c3result[row.sensor_id + '_x'].append(dt)
140     return c3result
141
142
143 def sensordata(sensor_id=None, sensor_type=None):
144     begin = request.args.get('begin', None, parse_datetime)
145     end = request.args.get('end', None, parse_datetime)
146     mode = request.args.get('mode', 'full')
147     format = request.args.get('format', 'default')
148
149     result = select_sensordata(sensor_id, sensor_type, begin, end, mode)
150
151     if format == 'c3':
152         return convert_to_c3(result)
153     return result
154
155
156 def openweathermapdata(cityid):
157     begin = request.args.get('begin', None, parse_datetime)
158     end = request.args.get('end', None, parse_datetime)
159     mode = request.args.get('mode', 'full')
160     format = request.args.get('format', 'default')
161
162     result = select_openweatherdata(cityid, begin, end, mode)
163
164     if format == 'c3':
165         return convert_to_c3(result)
166     return result
167
168
169 def currentairtemperature(apikey, cityid):
170     """Retruns the tuple temperature, datetime (as float, datetime) in case of success, otherwise None, None."""
171     try:
172         url, weatherdata = openweathermap_json(apikey, cityid)
173         return weatherdata['main']['temp'], datetime.datetime.fromtimestamp(weatherdata['dt'])
174     except OpenWeatherMapError:
175         return None, None
176
177
178 def currentwatertemperature(sensorid):
179     result = Sensors.query.filter_by(sensor_id=sensorid).order_by(Sensors.timestamp.desc()).first()
180     return result.value, result.timestamp
181
182
183 @app.route('/api/<version>/sensors/')
184 def sensors(version):
185     """List all sensors found in the database"""
186     result = db.session.query(Sensors.sensor_id, Sensors.sensor_name, Sensors.value_type).distinct().all()
187     return jsonify(result)
188
189
190 @app.route('/api/<version>/sensor/id/<sensor_id>')
191 def sensorid(version, sensor_id):
192     """Return all data for a specific sensor
193
194     URL parameters:
195     begin=<datetime>, optional, format like "2018-05-19T21:07:53"
196     end=<datetime>, optional, format like "2018-05-19T21:07:53"
197     mode=<full|consolidated>, optional. return all rows (default) or with lower resolution (for charts)
198     format=<default|c3>, optional. return result as returned by sqlalchemy (default) or formatted for c3.js
199     """
200     result = sensordata(sensor_id=sensor_id)
201     return jsonify(result)
202
203
204 @app.route('/api/<version>/sensor/type/<sensor_type>')
205 def sensortype(version, sensor_type):
206     """Return all data for a specific sensor type
207
208     URL parameters:
209     begin=<datetime>, optional, format like "2018-05-19T21:07:53"
210     end=<datetime>, optional, format like "2018-05-19T21:07:53"
211     mode=<full|consolidated>, optional. return all rows (default) or with lower resolution (for charts)
212     format=<default|c3>, optional. return result as returned by sqlalchemy (default) or formatted for c3.js
213     """
214     result = sensordata(sensor_type=sensor_type)
215     return jsonify(result)
216
217
218 @app.route('/api/<version>/openweathermap/cities')
219 def openweathermap_cities(version):
220     """List all city IDs found in the database"""
221     result = db.session.query(OpenWeatherMap.cityid).distinct().all()
222     return jsonify(result)
223
224
225 @app.route('/api/<version>/openweathermap/city/<cityid>')
226 def openweathermap_city(version, cityid):
227     """List all data found for a city"""
228     result = openweathermapdata(cityid=cityid)
229     return jsonify(result)
230
231
232 @app.route('/data/', defaults={'timespan': 1})
233 @app.route("/data/<int:timespan>", methods=['GET'])
234 def data(timespan):
235     granularity = 5 * timespan               # (every) minute(s) per day
236     samples = 60/granularity * 24 * timespan # per hour over whole timespan
237     s4m   = []
238     s4m_x = []
239     s5m   = []
240     s5m_x = []
241     end   = time.time()
242     start = end - samples * granularity * 60
243
244     for i in range(int(samples)):
245         s4m.append(uniform(-10,30))
246         s5m.append(uniform(-10,30))
247         s4mt = uniform(start, end)
248         s5mt = uniform(start, end)
249         s4m_x.append(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(s4mt)))
250         s5m_x.append(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(s5mt)))
251
252     data = {
253         '0316a2193bff':   s4m,
254         '0316a2193bff_x': s4m_x,
255         '0316a21383ff':   s5m,
256         '0316a21383ff_x': s5m_x,
257         }
258
259     return jsonify(data)
260
261
262 @app.route("/")
263 def index():
264     airvalue, airtime     = currentairtemperature(apikey, cityid)
265     watervalue, watertime = currentwatertemperature(mainsensor)
266
267     return render_template(
268         'seepark_web.html',
269         apikey=apikey,
270         watervalue=watervalue,
271         watertime=watertime,
272         airvalue=airvalue,
273         airtime=airtime,
274     )