scripts/update_intermaps.py

   1 import argparse
   2 import configparser
   3 import datetime
   4 import json
   5 import os
   6 from typing import Optional, Tuple
   7 import urllib.request
   8 from sqlalchemy.engine import create_engine
   9 from sqlalchemy import orm
  10 from wrpylib.wrintermaps import update_wrintermapssledrun, update_wrintermapsreport
  11
  12
  13 INTERMAPS_URL = 'https://iski.intermaps.com/api/v1/winterrodeln_org.aspx'
  14
  15
  16 def download(src: str) -> bytes:
  17     with urllib.request.urlopen(src) as fp:
  18         return fp.read()
  19
  20
  21 def get_json_str(in_json: Optional[str]) -> Tuple[str, datetime.datetime]:
  22     if in_json is None:
  23         json_bytes = download(INTERMAPS_URL)
  24         return json_bytes.decode(), datetime.datetime.now()
  25     with open(in_json) as fp:
  26         return fp.read(), datetime.datetime.fromtimestamp(os.path.getmtime(in_json))
  27
  28
  29 def save_json_str(json_str: str, out_json: Optional[str]):
  30     if out_json is not None:
  31         with open(out_json, 'w') as fp:
  32             fp.write(json_str)
  33
  34
  35 def main(in_json: Optional[str], out_json: Optional[str], inifile: str):
  36     json_str, in_date = get_json_str(in_json)
  37     save_json_str(json_str, out_json)
  38     content = json.loads(json_str)
  39     config = configparser.ConfigParser()
  40     config.read(inifile)
  41     connection_string = config.get('mysql', 'sqlalchemy_user')
  42     engine = create_engine(connection_string)
  43     SessionMaker = orm.sessionmaker(bind=engine)
  44     session = SessionMaker()
  45     update_wrintermapssledrun(session, content)
  46     update_wrintermapsreport(session, content, in_date)
  47     session.commit()
  48
  49
  50 if __name__ == '__main__':
  51     parser = argparse.ArgumentParser(description='Downloads intermaps sledrun data (JSON) and updates the tables.')
  52     parser.add_argument('--in-json', help='Don\'t download but use this file instead')
  53     parser.add_argument('--out-json', help='Additionally save downloaded JSON data to this filename')
  54     parser.add_argument('inifile', help='Configuration file, see https://www.winterrodeln.org/trac/wiki/ConfigIni')
  55     args = parser.parse_args()
  56     main(args.in_json, args.out_json, args.inifile)