Implemented parse_wrmap_coordinates.
[philipp/winterrodeln/wrpylib.git] / wrpylib / wrmwmarkup.py
index 8b0f5dc81b07946a5a7e723f9b5434c1cf2c2ba7..c968b20d4005453f620b2d32bd33599c74117db4 100644 (file)
@@ -1,19 +1,21 @@
-#!/usr/bin/python2.6
+#!/usr/bin/python2.7
 # -*- coding: iso-8859-15 -*-
 # $Id$
 # $HeadURL$
 """This module contains winterrodeln specific functions that are prcocessing the MediaWiki markup.
 """
 import re
+import xml.etree.ElementTree
 import formencode
 import wrpylib.wrvalidators
+import wrpylib.mwmarkup
 
 
 def _conv(fnct, value, fieldname):
     """Internal function.
     Like one of the to_xxx functions (e.g. to_bool), but adds the field name to the error message"""
     try: return fnct(value)
-    except formencode.Invalid as e: raise formencode.Invalid(u"Conversion error in field '%s': %s" % (fieldname, unicode_e(e)), e.value, e.state)
+    except formencode.Invalid as e: raise formencode.Invalid(u"Conversion error in field '%s': %s" % (fieldname, unicode(e)), e.value, e.state)
 
 
 def rodelbahnbox_to_sledrun(wikitext, sledrun=None):
@@ -21,12 +23,14 @@ def rodelbahnbox_to_sledrun(wikitext, sledrun=None):
     to a sledrun. sledrun may be an instance of WrSledrunCache or an "empty" class (object()) (default).
     Raises a formencode.Invalid exception if the format is not OK or the Rodelbahnbox is not found.
     :return: (start, end, sledrun) tuple of the Rodelbahnbox."""
-    if sledrun is None: sledrun = object()
+    if sledrun is None:
+        class Sledrun(object): pass
+        sledrun = Sledrun()
 
     # match Rodelbahnbox
     start, end = wrpylib.mwmarkup.find_template(wikitext, u'Rodelbahnbox')
     if start is None: raise formencode.Invalid(u"Rodelbahnbox nicht gefunden", wikitext, None)
-    template_name, properties = wrpylib.mwmarkup.split_template(wikitext[start:end])
+    template_title, properties = wrpylib.mwmarkup.split_template(wikitext[start:end])
     
     # process properties
     for key, value in properties.iteritems():
@@ -40,9 +44,9 @@ def rodelbahnbox_to_sledrun(wikitext, sledrun=None):
         elif key == u'Lawinen': sledrun.avalanches = _conv(wrpylib.wrvalidators.GermanAvalanches().to_python, value, key) # 'kaum'
         elif key == u'Betreiber': sledrun.operator = _conv(wrpylib.wrvalidators.UnicodeNone().to_python, value, key) # 'Max Mustermann'
         elif key == u'Öffentliche Anreise': sledrun.public_transport = _conv(wrpylib.wrvalidators.GermanPublicTransport().to_python, value, key) # 'Mittelmäßig'
-        elif key == u'Gehzeit': sledrun.walkup_time = _conv(wrpylib.wrvalidators.UnsignedNone().to_python, value, key) # 90
         elif key == u'Aufstieg möglich': sledrun.walkup_possible = _conv(wrpylib.wrvalidators.GermanBoolNone().to_python, value, key) # 'Ja'
         elif key == u'Aufstieg getrennt': sledrun.walkup_separate, sledrun.walkup_separate_comment = _conv(wrpylib.wrvalidators.GermanTristateFloatComment().to_python, value, key) # 'Ja'
+        elif key == u'Gehzeit': sledrun.walkup_time = _conv(wrpylib.wrvalidators.UnsignedNone().to_python, value, key) # 90
         elif key == u'Aufstiegshilfe': sledrun.lift, sledrun.lift_details = _conv(wrpylib.wrvalidators.GermanLift().to_python, value, key) # 'Gondel (unterer Teil)'
         elif key == u'Beleuchtungsanlage': sledrun.night_light, sledrun.night_light_comment = _conv(wrpylib.wrvalidators.GermanTristateFloatComment().to_python, value, key)
         elif key == u'Beleuchtungstage': sledrun.night_light_days, sledrun.night_light_days_comment = _conv(wrpylib.wrvalidators.UnsignedCommentNone(7).to_python, value, key) # '3 (Montag, Mittwoch, Freitag)'
@@ -89,10 +93,10 @@ def sledrun_to_rodelbahnbox(sledrun, version):
     if version == '1.4':
         keys.append(u'Aufstieg möglich')
         values.append(wrpylib.wrvalidators.GermanBoolNone().from_python(sledrun.walkup_possible))
-    keys.append(u'Gehzeit')
-    values.append(wrpylib.wrvalidators.UnsignedNone().from_python(sledrun.walkup_time))
     keys.append(u'Aufstieg getrennt')
     values.append(wrpylib.wrvalidators.GermanTristateFloatComment().from_python((sledrun.walkup_separate, sledrun.walkup_separate_comment)))
+    keys.append(u'Gehzeit')
+    values.append(wrpylib.wrvalidators.UnsignedNone().from_python(sledrun.walkup_time))
     keys.append(u'Aufstiegshilfe')
     values.append(wrpylib.wrvalidators.GermanLift().from_python((sledrun.lift, sledrun.lift_details)))
     keys.append(u'Beleuchtungsanlage')
@@ -113,34 +117,25 @@ def sledrun_to_rodelbahnbox(sledrun, version):
     values.append(wrpylib.wrvalidators.GermanBoolNone().from_python(sledrun.show_in_overview))
     keys.append(u'Forumid')
     values.append(wrpylib.wrvalidators.UnsignedNeinNone().from_python(sledrun.forum_id))
-    result = [u'{{Rodelbahnbox']
-    for i in xrange(len(keys)): result.append(u'| %-20s = %s' % (keys[i], values[i]))
-    result.append('}}')
-    return '\n'.join(result)
-
+    return wrpylib.mwmarkup.create_template(u'Rodelbahnbox', [], keys, values, True, 20)
 
 
-def gasthausbox_to_inn(wikitext, inn):
+def gasthausbox_to_inn(wikitext, inn=None):
     """Converts a inn wiki page containing a {{Gasthausbox}} to an inn.
     raises a formencode.Invalid exception if an error occurs.
-    :return: (start, end) tuple."""
+    :return: (start, end, inn) tuple."""
+    if inn is None:
+        class Inn(object): pass
+        inn = Inn()
+
     # Match Gasthausbox
-    regexp = re.compile(u"\{\{(Gasthausbox[^\}]*)\}\}", re.DOTALL)
-    match = regexp.search(wikitext)
-    if not match:
-        raise formencode.Invalid(u"No 'Gasthausbox' found")
-    box = match.group(1)
-    
-    # Process Gashausbox
-    for property in box.split('|'):
-        property = property.strip()
-        if property == u'Gasthausbox': continue
-        key_value = property.split('=')
-        if len(key_value) != 2:
-            raise formencode.Invalid(u"Property '%s' has unexpected format" % key_value, wikitext, None)
-        key = key_value[0].strip()
-        value = key_value[1].strip()
-        if key == u'Position': inn.position_latitude, inn.position_longitude = _conv(wrpylib.wrvalidators.GeoNone().to_python, value, key) # '47.583333 N 15.75 E'
+    start, end = wrpylib.mwmarkup.find_template(wikitext, u'Gasthausbox')
+    if start is None: raise formencode.Invalid(u"No 'Gasthausbox' found", wikitext, None)
+    template_title, properties = wrpylib.mwmarkup.split_template(wikitext[start:end])
+
+    # Process properties
+    for key, value in properties.iteritems():
+        if   key == u'Position': inn.position_latitude, inn.position_longitude = _conv(wrpylib.wrvalidators.GeoNone().to_python, value, key) # '47.583333 N 15.75 E'
         elif key == u'Höhe': inn.position_elevation = _conv(wrpylib.wrvalidators.UnsignedNone().to_python, value, key)
         elif key == u'Betreiber': inn.operator = _conv(wrpylib.wrvalidators.UnicodeNone().to_python, value, key)
         elif key == u'Sitzplätze': inn.seats = _conv(wrpylib.wrvalidators.UnsignedNone().to_python, value, key)
@@ -149,12 +144,12 @@ def gasthausbox_to_inn(wikitext, inn):
         elif key == u'Rodelverleih': inn.sled_rental, inn.sled_rental_comment = _conv(wrpylib.wrvalidators.BoolUnicodeTupleValidator().to_python, value, key)
         elif key == u'Handyempfang': inn.mobile_provider = _conv(wrpylib.wrvalidators.ValueCommentListNeinLoopNone().to_python, value, key)
         elif key == u'Homepage': inn.homepage = _conv(wrpylib.wrvalidators.UrlNeinNone().to_python, value, key)
-        elif key == u'E-Mail': inn.email_list = _conv(wrpylib.wrvalidators.EmailCommentListNeinLoopNone().to_python, value, key)
+        elif key == u'E-Mail': inn.email_list = _conv(wrpylib.wrvalidators.EmailCommentListNeinLoopNone(allow_masked_email=True).to_python, value, key)
         elif key == u'Telefon': inn.phone_list = _conv(wrpylib.wrvalidators.PhoneCommentListNeinLoopNone(comments_are_optional=True).to_python, value, key)
         elif key == u'Bild': inn.image = _conv(wrpylib.wrvalidators.UnicodeNone().to_python, value, key)
         elif key == u'Rodelbahnen': inn.sledding_list = _conv(wrpylib.wrvalidators.WikiPageListLoopNone().to_python, value, key)
         else: raise formencode.Invalid(u"Unbekannte Eigenschaft der Gasthausbox: '%s' (mit Wert '%s')" % (key, value), value, None)
-    return match.span()
+    return start, end, inn
 
 
 def inn_to_gasthausbox(inn):
@@ -180,7 +175,7 @@ def inn_to_gasthausbox(inn):
     keys.append(u'Homepage')
     values.append(wrpylib.wrvalidators.UrlNeinNone().from_python(inn.homepage))
     keys.append(u'E-Mail')
-    values.append(wrpylib.wrvalidators.EmailCommentListNeinLoopNone().from_python(inn.email_list))
+    values.append(wrpylib.wrvalidators.EmailCommentListNeinLoopNone(allow_masked_email=True).from_python(inn.email_list))
     keys.append(u'Telefon')
     values.append(wrpylib.wrvalidators.PhoneCommentListNeinLoopNone(comments_are_optional=True).from_python(inn.phone_list))
     keys.append(u'Bild')
@@ -188,8 +183,303 @@ def inn_to_gasthausbox(inn):
     keys.append(u'Rodelbahnen')
     values.append(wrpylib.wrvalidators.WikiPageListLoopNone().from_python(inn.sledding_list))
     result = [u'{{Gasthausbox']
-    for i in xrange(len(keys)): result.append(u'| %-17s = %s' % (keys[i], values[i]))
-    result.append('}}\n')
-    return '\n'.join(result)
+    return wrpylib.mwmarkup.create_template(u'Gasthausbox', [], keys, values, True)
+
+
+def find_template_latlon_ele(wikitext, template_title):
+    """Finds the first occurance of the '{{template_title|47.076207 N 11.453553 E|1890}}' template
+    and returns the tuple (start, end, lat, lon, ele) or (None, None, None, None, None) if the
+    template was not found. If the template has no valid format, an exception is thrown."""
+    start, end = wrpylib.mwmarkup.find_template(wikitext, template_title)
+    if start is None: return (None,) * 5
+    title, params = wrpylib.mwmarkup.split_template(wikitext[start:end])
+    lat, lon = wrpylib.wrvalidators.GeoNone().to_python(params[u'1'].strip())
+    ele = wrpylib.wrvalidators.UnsignedNone().to_python(params[u'2'].strip())
+    return start, end, lat, lon, ele
+
+
+def create_template_latlon_ele(template_title, lat, lon, ele):
+    geo = wrpylib.wrvalidators.GeoNone().from_python((lat, lon))
+    if len(geo) == 0: geo = u' '
+    ele = wrpylib.wrvalidators.UnsignedNone().from_python(ele)
+    if len(ele) == 0: ele = u' '
+    return wrpylib.mwmarkup.create_template(template_title, [geo, ele])
+
+
+def find_template_PositionOben(wikitext):
+    """Same as find_template_latlon_ele with template '{{Position oben|47.076207 N 11.453553 E|1890}}'"""
+    return find_template_latlon_ele(wikitext, u'Position oben')
+
+
+def create_template_PositionOben(lat, lon, ele):
+    return create_template_latlon_ele(u'Position, oben', lat, lon, ele)
+
+
+def find_template_PositionUnten(wikitext):
+    """Same as find_template_latlon_ele with template '{{Position unten|47.076207 N 11.453553 E|1890}}'"""
+    return find_template_latlon_ele(wikitext, u'Position unten')
+
+
+def find_template_unsigned(wikitext, template_title):
+    """Finds the first occurance of the '{{template_title|1890}}' template
+    and returns the tuple (start, end, unsigned_value) or (None, None, None) if the
+    template was not found. If the template has no valid format, an exception is thrown."""
+    start, end = wrpylib.mwmarkup.find_template(wikitext, template_title)
+    if start is None: return (None,) * 3
+    title, params = wrpylib.mwmarkup.split_template(wikitext[start:end])
+    unsigned_value = wrpylib.wrvalidators.UnsignedNone().to_python(params[u'1'].strip())
+    return start, end, unsigned_value
+
+
+def create_template_unsigned(template_title, unsigned):
+    unsigned = wrpylib.wrvalidators.UnsignedNone().from_python(unsigned)
+    if len(unsigned) == 0: unsigned = u' '
+    return wrpylib.mwmarkup.create_template(template_title, [unsigned])
+
+
+def find_template_Hoehenunterschied(wikitext):
+    """Same as find_template_unsigned with template '{{Höhenunterschied|350}}'"""
+    return find_template_unsigned(wikitext, u'Höhenunterschied')
+
+
+def create_template_Hoehenunterschied(ele_diff):
+    return create_template_unsigned(u'Höhenunterschied', ele_diff)
+
+
+def find_template_Bahnlaenge(wikitext):
+    """Same as find_template_unsigned with template '{{Bahnlänge|4500}}'"""
+    return find_template_unsigned(wikitext, u'Bahnlänge')
+
+
+def create_template_Bahnlaenge(length):
+    return create_template_unsigned(u'Bahnlänge', length)
+
+
+def find_template_Gehzeit(wikitext):
+    """Same as find_template_unsigned with template '{{Gehzeit|60}}'"""
+    return find_template_unsigned(wikitext, u'Gehzeit')
+
+
+def create_template_Gehzeit(walkup_time):
+    return create_template_unsigned(u'Gehzeit', walkup_time)
+
+
+def find_template_Forumlink(wikitext):
+    """Same as find_template_unsigned with template '{{Forumlink|26}}'"""
+    start, end = wrpylib.mwmarkup.find_template(wikitext, u'Forumlink')
+    if start is None: return (None,) * 3
+    title, params = wrpylib.mwmarkup.split_template(wikitext[start:end])
+    forumid = params[u'1'].strip()
+    if forumid == u'<nummer einfügen>': unsigned_value = None
+    else: unsigned_value = wrpylib.wrvalidators.UnsignedNone().to_python(forumid)
+    return start, end, unsigned_value
+    # return find_template_unsigned(wikitext, u'Forumlink')
+
+
+def find_template_Parkplatz(wikitext):
+    """Same as find_template_latlon_ele with template '{{Parkplatz|47.076207 N 11.453553 E|1890}}'"""
+    return find_template_latlon_ele(wikitext, u'Parkplatz')
+
+
+def find_template_Haltestelle(wikitext):
+    """Finds the first occurance of the '{{Haltestelle|Ortsname|Haltestellenname|47.076207 N 11.453553 E|1890}}' template
+    and returns the tuple (start, end, city, stop, lat, lon, ele) or (None, None, None, None, None, None, None) if the
+    template was not found. If the template has no valid format, an exception is thrown."""
+    start, end = wrpylib.mwmarkup.find_template(wikitext, u'Haltestelle')
+    if start is None: return (None,) * 7
+    title, params = wrpylib.mwmarkup.split_template(wikitext[start:end])
+    city = wrpylib.wrvalidators.UnicodeNone().to_python(params[u'1'].strip())
+    stop = wrpylib.wrvalidators.UnicodeNone().to_python(params[u'2'].strip())
+    lat, lon = wrpylib.wrvalidators.GeoNone().to_python(params[u'3'].strip())
+    ele = wrpylib.wrvalidators.UnsignedNone().to_python(params[u'4'].strip())
+    return start, end, city, stop, lat, lon, ele
+
+
+def find_all_templates(wikitext, find_func):
+    """Returns a list of return values of find_func that searches for a template.
+    Example:
+    >>> find_all_tempaltes(wikitext, find_template_Haltestelle)
+    Returns an empty list if the template was not found at all.
+    """
+    results = []
+    result = find_func(wikitext)
+    start, end = result[:2]
+    while start is not None:
+        results.append(result)
+        result = find_func(wikitext[end:])
+        if result[0] is None:
+            start = None
+        else:
+            start = result[0] + end
+            end  += result[1]
+            result = (start, end) + result[2:]
+    return results
+
+
+def parse_googlemap(wikitext):
+    """Parses the (unicode) u'<googlemap ...>content</googlemap>' of the googlemap extension
+    out of a page. If wikitext does not contain the googlemaps extension text None is returned.
+    If the googlemap contains invalid formatted lines, a RuntimeError is raised.
+
+    :param wikitext: wikitext containing the template. Example:
+
+    wikitext = '''
+    <googlemap version="0.9" lat="47.113291" lon="11.272337" zoom="15">
+    (Parkplatz)47.114958,11.266026
+    Parkplatz
+    
+    (Gasthaus) 47.114715, 11.266262, Alt Bärnbad (Gasthaus)
+    6#FF014E9A
+    47.114715,11.266262
+    47.114135,11.268381
+    47.113421,11.269322
+    47.11277,11.269979
+    47.112408,11.271119
+    </googlemap>
+    '''
+    :returns: (attributes, GeoJSON as Python datatypes)
+    """
+    center, zoom, coords, paths = wrpylib.mwmarkup.parse_googlemap(wikitext)
+    json_features = []
+
+    # point
+    for point in coords:
+        lon, lat, symbol, title = point
+        properties = {'type': symbol}
+        if title: properties['name'] = title
+        json_features.append({
+            'type': 'feature',
+            'geometry': {'type': 'Point', 'coordinates': [lon, lat]},
+            'properties': properties})
+        
+    # path
+    for path in paths:
+        style, entries = path
+        properties = {'type': 'line'}
+        json_features.append({
+            'type': 'feature',
+            'geometry': {
+                'type': 'LineString',
+                'coordinates': [[lon, lat] for lon, lat, symbol, title in entries]},
+            'properties': properties})
+
+    json = {'type': 'FeatureCollection', 'features': json_features}
+    return {'lon': center[0], 'lat': center[1], 'zoom': zoom}, json
+
+
+def parse_wrmap_coordinates(coords):
+    '''gets a string coordinates and returns an array of lon/lat coordinate pairs, e.g.
+    47.12 N 11.87 E
+    47.13 N 11.70 E
+    ->
+    [[11.87, 47.12], [11.70, 47.13]]'''
+    result = []
+    pos = 0
+    for match in re.finditer(r'\s*(\d+\.?\d*)\s*N?\s+(\d+\.?\d*)\s*E?\s*', coords):
+        if match.start() != pos:
+            break
+        result.append([float(match.groups()[1]), float(match.groups()[0])])
+        pos = match.end()
+    else:
+        if pos == len(coords):
+            return result
+    raise RuntimeError('Wrong coordinate format: {}'.format(coords))
+
+
+def parse_wrmap(wikitext):
+    """Parses the (unicode) u'<wrmap ...>content</wrmap>' of the Winterrodeln wrmap extension
+    out of a page. If wikitext does not contain the googlemaps extension text None is returned.
+    If the googlemap contains invalid formatted lines, a RuntimeError is raised.
+
+    :param wikitext: wikitext containing the template. Example:
+
+    wikitext = u'''
+    <wrmap lat="47.2417134" lon="11.21408895" zoom="14" width="700" height="400">
+    <gasthaus name="Rosskogelhütte" wiki="Rosskogelhütte">47.240689 11.190454</gasthaus>
+    <parkplatz>47.245789 11.238971</parkplatz>
+    <haltestelle name="Oberperfuss Rangger Köpfl Lift">47.245711 11.238283</haltestelle>
+    <rodelbahn>
+        47.238587 11.203360
+        47.244951 11.230868
+        47.245470 11.237853
+    </rodelbahn>
+    </wrmap>
+    '''
+    :returns: (attributes, GeoJSON as Python datatypes)
+    """
+    # parse XML
+    try:
+        wrmap_xml = xml.etree.ElementTree.fromstring(wikitext.encode('utf-8'))
+    except xml.etree.ElementTree.ParseError as e:
+        row, column = e.position
+        raise RuntimeError("XML parse error on row {}, column {}: {}".format(row, column, e))
+    # assert(in_array($tagname, array('wrmap', 'wrgmap'))); # TODO
+
+    # convert XML to geojson (http://www.geojson.org/geojson-spec.html)
+    json_features = []
+    point_type = {'gasthaus': 'inn', 'haltestelle': 'busstop', 'parkplatz': 'carpark', 'achtung': 'attention', 'punkt': 'point'}
+    line_type = {'rodelbahn': 'sledrun', 'gehweg': 'walk', 'alternative': 'alternative', 'lift': 'lift', 'linie': 'line'}
+    for feature in wrmap_xml:
+        # determine feature type
+        is_point = point_type.has_key(feature.tag)
+        is_line = line_type.has_key(feature.tag)
+        if (not is_point and not is_line):
+            raise RuntimeError('Unknown element <{}>.'.format(feature.tag))
+
+        # point
+        if is_point:
+            properties = {'type': point_type[feature.tag]}
+            allowed_properties = set(['name', 'wiki'])
+            wrong_properties = set(feature.attrib.keys()) - allowed_properties
+            if len(wrong_properties) > 0:
+                raise RuntimeError("The attribute '{}' is not allowed at <{}>.".format(list(wrong_properties)[0], feature.tag))
+            properties.update(feature.attrib)
+            coordinates = parse_wrmap_coordinates(feature.text)
+            if len(coordinates) != 1:
+                raise RuntimeError('The element <{}> has to have exactly one coordinate pair.'.format(feature.tag))
+            json_features.append({
+                'type': 'feature',
+                'geometry': {'type': 'Point', 'coordinates': coordinates[0]},
+                'properties': properties})
+
+        # line
+        if is_line:
+            properties = {'type': line_type[feature.tag]}
+            allowed_properties = set(['farbe', 'dicke'])
+            wrong_properties = set(feature.attrib.keys()) - allowed_properties
+            if len(wrong_properties) > 0:
+                raise RuntimeError("The attribute '{}' is not allowed at <{}>.".format(list(wrong_properties)[0], feature.tag))
+            if feature.attrib.has_key('farbe'): 
+                # TODO: check value
+                properties['strokeColor'] = feature.attrib['farbe'] # e.g. #a200b7
+            if feature.attrib.has_key('dicke'):
+                try:
+                    properties['strokeWidth'] = int(feature.attrib['dicke']) # e.g. 6
+                except ValueError:
+                    raise RuntimeError('The attribute "farbe" has to be an integer.')
+            json_features.append({
+                'type': 'feature',
+                'geometry': {'type': 'LineString', 'coordinates': parse_wrmap_coordinates(feature.text)},
+                'properties': properties})
+
+    json = {
+        'type': 'FeatureCollection',
+        'features': json_features}
+
+    # attributes # TODO: check
+    attributes = {}
+    attributes['lat']    = float(wrmap_xml.attrib.get('lat', 47.267648)) # center lat
+    attributes['lon']    = float(wrmap_xml.attrib.get('lon', 11.404655)) # center lon
+    attributes['zoom']   = int(wrmap_xml.attrib.get('zoom', 10))         # Google Zoom Level
+    attributes['width']  = int(wrmap_xml.attrib['width']) if wrmap_xml.attrib.has_key('width') else None # None corresponds to 100%
+    attributes['height'] = int(wrmap_xml.attrib.get('height', 450))      # map height in px
+    # show_sledruns = (wrmap_xml.tag == 'wrgmap')
+
+    return attributes, json
+
+
+def create_wrmap(geojson):
+    """Creates a <wrmap> wikitext from geojson."""
+    pass