Only allow floats in LonLat (and not None, None).
[philipp/winterrodeln/wrpylib.git] / wrpylib / wrmwmarkup.py
1 """This module contains winterrodeln specific functions that are processing the MediaWiki markup.
2 """
3 import re
4 import xml.etree.ElementTree
5 import collections
6 from typing import Tuple, Optional, List
7
8 from mwparserfromhell.nodes import Template
9
10 import wrpylib.wrvalidators
11 import wrpylib.mwmarkup
12 import wrpylib.wrmwdb
13 from wrpylib.wrvalidators import LonLat, opt_lonlat_from_str, opt_lonlat_to_str, opt_uint_from_str, opt_uint_to_str, \
14     opt_str_opt_comment_enum_to_str, lift_german_to_str, webauskunft_to_str, cachet_german_to_str, \
15     opt_phone_comment_enum_to_str, lift_german_from_str, GASTHAUSBOX_DICT
16
17
18 def sledrun_from_rodelbahnbox(value, sledrun):
19     """Takes a Rodelbahnbox as returned by rodelbahnbox_from_str (that is, an OrderedDict) and
20     updates the sledrun instance with all values present in the Rodelbahnbox. Other values are not
21     updated. Does not validate the arguments."""
22     # sledrun.page_id = None # this field is not updated because it is not present in the RodelbahnBox
23     # sledrun.page_title = None # this field is not updated because it is not present in the RodelbahnBox
24     # sledrun.name_url = None # this field is not updated because it is not present in the RodelbahnBox
25     sledrun.position_longitude, sledrun.position_latitude = value['Position']
26     sledrun.top_longitude, sledrun.top_latitude = value['Position oben']
27     sledrun.top_elevation = value['Höhe oben']
28     sledrun.bottom_longitude, sledrun.bottom_latitude = value['Position unten']
29     sledrun.bottom_elevation = value['Höhe unten']
30     sledrun.length = value['Länge']
31     sledrun.difficulty = value['Schwierigkeit']
32     sledrun.avalanches = value['Lawinen']
33     sledrun.operator = value['Betreiber']
34     sledrun.public_transport = value['Öffentliche Anreise']
35     sledrun.walkup_possible = value['Aufstieg möglich']
36     sledrun.walkup_time = value['Gehzeit']
37     sledrun.walkup_separate, sledrun.walkup_separate_comment = value['Aufstieg getrennt']
38     sledrun.lift = None if value['Aufstiegshilfe'] is None else len(value['Aufstiegshilfe']) > 0
39     sledrun.lift_details = lift_german_to_str(value['Aufstiegshilfe'])
40     sledrun.night_light, sledrun.night_light_comment = value['Beleuchtungsanlage']
41     sledrun.night_light_days, sledrun.night_light_days_comment = value['Beleuchtungstage']
42     sledrun.sled_rental = None if value['Rodelverleih'] is None else len(value['Rodelverleih']) > 0
43     sledrun.sled_rental_comment = opt_str_opt_comment_enum_to_str(value['Rodelverleih'])
44     sledrun.cachet = cachet_german_to_str(value['Gütesiegel'])
45     sledrun.information_web = webauskunft_to_str(value['Webauskunft'])
46     sledrun.information_phone = opt_phone_comment_enum_to_str(value['Telefonauskunft'])
47     sledrun.image = value['Bild']
48     sledrun.show_in_overview = value['In Übersichtskarte']
49     sledrun.forum_id = value['Forumid']
50     # sledrun.under_construction = None # this field is not updated because it is not present in the RodelbahnBox
51     return sledrun
52
53
54 def sledrun_to_rodelbahnbox(sledrun) -> collections.OrderedDict:
55     """Takes a sledrun instance that might come from the database and converts it to a OrderedDict ready
56     to be formatted as RodelbahnBox."""
57     value = collections.OrderedDict()
58     value['Position'] = LonLat(sledrun.position_longitude, sledrun.position_latitude)
59     value['Position oben'] = LonLat(sledrun.top_longitude, sledrun.top_latitude)
60     value['Höhe oben'] = sledrun.top_elevation
61     value['Position unten'] = LonLat(sledrun.bottom_longitude, sledrun.bottom_latitude)
62     value['Höhe unten'] = sledrun.bottom_elevation
63     value['Länge'] = sledrun.length
64     value['Schwierigkeit'] = sledrun.difficulty
65     value['Lawinen'] = sledrun.avalanches
66     value['Betreiber'] = sledrun.operator
67     value['Öffentliche Anreise'] = sledrun.public_transport
68     value['Aufstieg möglich'] = sledrun.walkup_possible
69     value['Gehzeit'] = sledrun.walkup_time
70     value['Aufstieg getrennt'] = sledrun.walkup_separate, sledrun.walkup_separate_comment
71     value['Aufstiegshilfe'] = lift_german_from_str(sledrun.lift_details)
72     value['Beleuchtungsanlage'] = sledrun.night_light, sledrun.night_light_comment
73     value['Beleuchtungstage'] = sledrun.night_light_days, sledrun.night_light_days_comment
74     value['Rodelverleih'] = sledrun.sled_rental, sledrun.sled_rental_comment
75     value['Gütesiegel'] = sledrun.cachet
76     value['Webauskunft'] = sledrun.information_web
77     value['Telefonauskunft'] = sledrun.information_phone
78     value['Bild'] = sledrun.image
79     value['In Übersichtskarte'] = sledrun.show_in_overview
80     value['Forumid'] = sledrun.forum_id
81     return value
82
83
84 def inn_from_gasthausbox(value, inn):
85     """Converts a dict with Gasthausbox properties to a Inn class. Does no validation.
86     value is a dict of properties as returned by gasthausbox_from_str."""
87     # page_id = None # this field is not updated because it is not present in the Gasthausbox
88     # page_title = None # this field is not updated because it is not present in the Gasthausbox
89     def convtodb(val, key):
90         v = GASTHAUSBOX_DICT[key].to_str(val[key])
91         if v == '':
92             return None
93         return v
94     inn.position_longitude, inn.position_latitude = value['Position']
95     inn.position_elevation = value['Höhe']
96     inn.operator = value['Betreiber']
97     inn.seats = value['Sitzplätze']
98     inn.overnight, inn.overnight_comment = value['Übernachtung']
99     inn.smoker_area = None if value['Rauchfrei'] is None else value['Rauchfrei'] < 0.9
100     inn.nonsmoker_area = None if value['Rauchfrei'] is None else value['Rauchfrei'] > 0.1
101     inn.sled_rental, inn.sled_rental_comment = value['Rodelverleih']
102     inn.mobile_provider = convtodb(value, 'Handyempfang')
103     inn.homepage = convtodb(value, 'Homepage')
104     inn.email_list = convtodb(value, 'E-Mail')
105     inn.phone_list = convtodb(value, 'Telefon')
106     inn.image = value['Bild']
107     inn.sledding_list = convtodb(value, 'Rodelbahnen')
108     # under_construction = None # this field is not updated because it is not present in the GasthausBox
109     return inn
110
111
112 def inn_to_gasthausbox(inn) -> collections.OrderedDict:
113     """Converts an inn class to a dict of Gasthausbox properties. inn is an Inn instance."""
114     def convfromdb(val, key):
115         v = '' if value is None else val
116         return GASTHAUSBOX_DICT[key].from_str(v)
117     value = collections.OrderedDict()
118     value['Position'] = LonLat(inn.position_longitude, inn.position_latitude)
119     value['Höhe'] = inn.position_elevation
120     value['Betreiber'] = inn.operator
121     value['Sitzplätze'] = inn.seats
122     value['Übernachtung'] = (inn.overnight, inn.overnight_comment)
123     value['Rauchfrei'] = {(False, True): 0.0, (True, True): 0.5, (True, False): 1.0} \
124         .get((inn.nonsmoker_area, inn.smoker_area), None)
125     value['Rodelverleih'] = (inn.sled_rental, inn.sled_rental_comment)
126     value['Handyempfang'] = convfromdb(inn.mobile_provider, 'Handyempfang')
127     value['Homepage'] = convfromdb(inn.homepage, 'Homepage')
128     value['E-Mail'] = convfromdb(inn.email_list, 'E-Mail')
129     value['Telefon'] = convfromdb(inn.phone_list, 'Telefon')
130     value['Bild'] = inn.image
131     value['Rodelbahnen'] = convfromdb(inn.sledding_list, 'Rodelbahnen')
132     return value
133
134
135 def lonlat_ele_from_template(template) -> Tuple[LonLat, Optional[int]]:
136     """Template is a `mwparserfromhell.nodes.template.Template` instance. Returns (lonlat, ele)."""
137     lonlat = opt_lonlat_from_str(template.params[0].strip())
138     ele = opt_uint_from_str(template.params[1].strip())
139     return lonlat, ele
140
141
142 def latlon_ele_to_template(lonlat_ele, name) -> Template:
143     lonlat, ele = lonlat_ele
144     template = Template(name)
145     template.add(1, opt_lonlat_to_str(lonlat))
146     template.add(2, opt_uint_to_str(ele))
147     wrpylib.mwmarkup.format_template_oneline(template)
148     return template
149
150
151 class ParseError(RuntimeError):
152     """Exception used by some of the functions"""
153     pass
154
155
156 def parse_wrmap_coordinates(coords: str) -> List[List[float]]:
157     """gets a string coordinates and returns an array of lon/lat coordinate pairs, e.g.
158     47.12 N 11.87 E
159     47.13 N 11.70 E
160     ->
161     [[11.87, 47.12], [11.70, 47.13]]"""
162     result = []
163     pos = 0
164     for match in re.finditer(r'\s*(\d+\.?\d*)\s*N?\s+(\d+\.?\d*)\s*E?\s*', coords):
165         if match.start() != pos:
166             break
167         result.append([float(match.groups()[1]), float(match.groups()[0])])
168         pos = match.end()
169     else:
170         if pos == len(coords):
171             return result
172     raise RuntimeError(f'Wrong coordinate format: {coords}')
173
174
175 WRMAP_POINT_TYPES = ['gasthaus', 'haltestelle', 'parkplatz', 'achtung', 'foto', 'verleih', 'punkt']
176 WRMAP_LINE_TYPES = ['rodelbahn', 'gehweg', 'alternative', 'lift', 'anfahrt', 'linie']
177
178
179 def parse_wrmap(wikitext):
180     """Parses the '<wrmap ...>content</wrmap>' of the Winterrodeln wrmap extension.
181     If wikitext does not contain the <wrmap> tag or if the <wrmap> tag contains 
182     invalid formatted lines, a ParseError is raised.
183     Use wrpylib.mwmarkup.find_tag(wikitext, 'wrmap') to find the wrmap tag within an arbitrary
184     wikitext before using this function.
185
186     :param wikitext: wikitext containing only the template. Example:
187
188     wikitext = '''
189     <wrmap lat="47.2417134" lon="11.21408895" zoom="14" width="700" height="400">
190     <gasthaus name="Rosskogelhütte" wiki="Rosskogelhütte">47.240689 11.190454</gasthaus>
191     <parkplatz>47.245789 11.238971</parkplatz>
192     <haltestelle name="Oberperfuss Rangger Köpfl Lift">47.245711 11.238283</haltestelle>
193     <rodelbahn>
194         47.238587 11.203360
195         47.244951 11.230868
196         47.245470 11.237853
197     </rodelbahn>
198     </wrmap>
199     '''
200     :returns: GeoJSON as nested Python datatype
201     """
202     # parse XML
203     try:
204         wrmap_xml = xml.etree.ElementTree.fromstring(wikitext)
205     except xml.etree.ElementTree.ParseError as e:
206         row, column = e.position
207         raise ParseError(f"XML parse error on row {row}, column {column}: {e}")
208     if wrmap_xml.tag not in ['wrmap', 'wrgmap']:
209         raise ParseError('No valid tag name')
210
211     # convert XML to geojson (http://www.geojson.org/geojson-spec.html)
212     json_features = []
213     for feature in wrmap_xml:
214         # determine feature type
215         is_point = feature.tag in WRMAP_POINT_TYPES
216         is_line = feature.tag in WRMAP_LINE_TYPES
217         if not is_point and not is_line:
218             raise ParseError(f'Unknown element <{feature.tag}>.')
219
220         # point
221         if is_point:
222             properties = {'type': feature.tag}
223             allowed_properties = {'name', 'wiki'}
224             wrong_properties = set(feature.attrib.keys()) - allowed_properties
225             if len(wrong_properties) > 0:
226                 raise ParseError(f"The attribute '{list(wrong_properties)[0]}' is not allowed at <{feature.tag}>.")
227             properties.update(feature.attrib)
228             coordinates = parse_wrmap_coordinates(feature.text)
229             if len(coordinates) != 1:
230                 raise ParseError(f'The element <{feature.tag}> has to have exactly one coordinate pair.')
231             json_features.append({
232                 'type': 'Feature',
233                 'geometry': {'type': 'Point', 'coordinates': coordinates[0]},
234                 'properties': properties})
235
236         # line
237         if is_line:
238             properties = {'type': feature.tag}
239             allowed_properties = {'farbe', 'dicke'}
240             wrong_properties = set(feature.attrib.keys()) - allowed_properties
241             if len(wrong_properties) > 0:
242                 raise ParseError(f"The attribute '{list(wrong_properties)[0]}' is not allowed at <{feature.tag}>.")
243             if 'farbe' in feature.attrib: 
244                 if not re.match('#[0-9a-fA-F]{6}$', feature.attrib['farbe']):
245                     raise ParseError('The attribute "farbe" has to have a format like "#a0bb43".')
246                 properties['strokeColor'] = feature.attrib['farbe']  # e.g. #a200b7
247             if 'dicke' in feature.attrib:
248                 try:
249                     properties['strokeWidth'] = int(feature.attrib['dicke'])  # e.g. 6
250                 except ValueError:
251                     raise ParseError('The attribute "dicke" has to be an integer.')
252             json_features.append({
253                 'type': 'Feature',
254                 'geometry': {'type': 'LineString', 'coordinates': parse_wrmap_coordinates(feature.text)},
255                 'properties': properties})
256
257     # attributes
258     properties = {}
259     for k, v in wrmap_xml.attrib.items():
260         if k in ['lat', 'lon']:
261             try:
262                 properties[k] = float(v)
263             except ValueError:
264                 raise ParseError(f'Attribute "{k}" has to be a float value.')
265         elif k in ['zoom', 'width', 'height']:
266             try:
267                 properties[k] = int(v)
268             except ValueError:
269                 raise ParseError(f'Attribute "{k}" has to be an integer value.')
270         else:
271             raise ParseError(f'Unknown attribute "{k}".')
272
273     geojson = {
274         'type': 'FeatureCollection',
275         'features': json_features,
276         'properties': properties}
277
278     return geojson
279
280
281 def create_wrmap_coordinates(coords):
282     result = []
283     for coord in coords:
284         result.append(f'{coord[1]:.6f} N {coord[0]:.6f} E')
285     return '\n'.join(result)
286  
287
288 def create_wrmap(geojson):
289     """Creates a <wrmap> wikitext from geojson (as python types)."""
290     wrmap_xml = xml.etree.ElementTree.Element('wrmap')
291     wrmap_xml.text = '\n\n'
292     for k, v in geojson['properties'].items():
293         if k in ['lon', 'lat']:
294             wrmap_xml.attrib[k] = f'{v:.6f}'
295         else:
296             wrmap_xml.attrib[k] = str(v)
297
298     assert geojson['type'] == 'FeatureCollection'
299     json_features = geojson['features']
300     last_json_feature = None
301     for json_feature in json_features:
302         feature_xml = xml.etree.ElementTree.SubElement(wrmap_xml, json_feature['properties']['type'])
303         geo = json_feature['geometry']
304         if geo['type'] == 'Point':
305             feature_xml.text = create_wrmap_coordinates([geo['coordinates']])
306             if last_json_feature is not None:
307                 last_json_feature.tail = '\n'
308         else:
309             if last_json_feature is not None:
310                 last_json_feature.tail = '\n\n'
311             feature_xml.text = '\n' + create_wrmap_coordinates(geo['coordinates']) + '\n'
312         last_json_feature = feature_xml
313         feature_xml.attrib = json_feature['properties']
314         del feature_xml.attrib['type']
315
316     if last_json_feature is not None:
317         last_json_feature.tail = '\n\n'
318     return xml.etree.ElementTree.tostring(wrmap_xml, encoding='utf-8').decode('utf-8')