scripts/update_sledrun_wikitext.py

   1 #!/usr/bin/python
   2 import argparse
   3 import json
   4 from typing import List
   5
   6 import jsonschema
   7 import pywikibot
   8 from pywikibot import input_yn
   9
  10 from wrpylib.mwapi import WikiSite
  11 from wrpylib.wrmwmarkup import create_sledrun_wiki
  12
  13
  14 def update_sledrun(site: WikiSite, wiki_page: dict, json_page: dict, map_page: dict, impression_page: dict):
  15     json_page_main_slot = json_page['revisions'][0]['slots']['main']
  16     assert json_page_main_slot['contentmodel'] == 'json'
  17     sledrun_json = json.loads(json_page_main_slot['content'])
  18     jsonschema.validate(instance=sledrun_json, schema=site.sledrun_schema())
  19
  20     if 'missing' in map_page:
  21         map_json = None
  22     else:
  23         map_page_main_slot = map_page['revisions'][0]['slots']['main']
  24         assert map_page_main_slot['contentmodel'] == 'json'
  25         map_json = json.loads(map_page_main_slot['content'])
  26
  27     if 'missing' in impression_page:
  28         impression_title = None
  29     else:
  30         impression_title = impression_page['title']
  31
  32     new_text = create_sledrun_wiki(sledrun_json, map_json, impression_title).strip()
  33
  34     previous_text = wiki_page['revisions'][0]['slots']['main']['content'].strip()
  35     if new_text == previous_text:
  36         return
  37
  38     pywikibot.showDiff(previous_text.strip(), new_text.strip(), context=2)
  39     yn = input_yn('Do you accept the changes?', True)
  40     if not yn:
  41         return
  42
  43     site(
  44         'edit',
  45         pageid=wiki_page['pageid'],
  46         text=new_text,
  47         summary='Rodelbahnbeschreibung aus JSON Daten aktualisiert.',
  48         minor=1,
  49         bot=1,
  50         baserevid=wiki_page['revisions'][0]['revid'],
  51         nocreate=1,
  52         token=site.token(),
  53     )
  54
  55
  56 def update_sledrun_wikitext(ini_files: List[str], update_all: bool):
  57     site = WikiSite(ini_files)
  58     cm_limit = 5  # 'max'
  59     for wikitext_result in site.query(list='categorymembers', cmtitle='Kategorie:Rodelbahn', cmlimit=cm_limit):
  60         wikitext_title_list = [page["title"] for page in wikitext_result['categorymembers']]
  61         json_title_list = [f'{title}/Rodelbahn.json' for title in wikitext_title_list]
  62
  63         wikitext_result = query_revisions(site, wikitext_title_list, [])
  64         json_result = query_revisions(site, json_title_list, [])
  65
  66         update_wikitext_title_list = []
  67         update_json_title_list = []
  68         for wikitext_page, json_page in zip(wikitext_result, json_result):
  69             assert wikitext_page['title'] + '/Rodelbahn.json' == json_page['title']
  70             if 'missing' in json_page:
  71                 continue
  72             if wikitext_page['revisions'][0]['timestamp'] < json_page['revisions'][0]['timestamp']:
  73                 update_wikitext_title_list.append(wikitext_page['title'])
  74                 update_json_title_list.append(json_page['title'])
  75
  76         if len(update_wikitext_title_list) == 0:
  77             continue
  78
  79         update_map_title_list = [f'{title}/Landkarte.json' for title in update_wikitext_title_list]
  80         update_impression_title_list = [f'{title}/Impressionen' for title in update_wikitext_title_list]
  81
  82         update_wikitext_result = query_revisions(site, update_wikitext_title_list, ['content'])
  83         update_json_result = query_revisions(site, update_json_title_list, ['content'])
  84         update_map_result = query_revisions(site, update_map_title_list, ['content'])
  85         update_impression_result = query_revisions(site, update_impression_title_list, ['content'])
  86
  87         for wikitext_page, json_page, map_page, impression_page in \
  88                 zip(update_wikitext_result, update_json_result, update_map_result, update_impression_result):
  89             assert wikitext_page['title'] + '/Rodelbahn.json' == json_page['title']
  90             update_sledrun(site, wikitext_page, json_page, map_page, impression_page)
  91
  92
  93 def query_revisions(site: WikiSite, title_list: List[str], extra_rv_prop: List[str]) -> List[dict]:
  94     rv_prop = ['timestamp', 'ids'] + extra_rv_prop
  95     pages = next(site.query(prop='revisions', titles=title_list, rvslots='*', rvprop=rv_prop))['pages']
  96     pages = sorted(pages, key=lambda p: title_list.index(p['title']))
  97     assert len(title_list) == len(pages)
  98     return pages
  99
 100
 101 def main():
 102     parser = argparse.ArgumentParser(description='Update sledrun wikitext from JSON')
 103     parser.add_argument('--all', action='store_true',
 104                         help='update all sledruns regardless of modification date differences')
 105     parser.add_argument('inifile', nargs='+', help='inifile.ini, see: https://www.winterrodeln.org/trac/wiki/ConfigIni')
 106     args = parser.parse_args()
 107     update_sledrun_wikitext(args.inifile, args.all)
 108
 109
 110 if __name__ == '__main__':
 111     main()