💥 Wikipedia: using plaintext excerpts

Author: vokimon

CHANGES.md

@@ -1,5 +1,12 @@
 # Release history
 
+## Unreleased
+
+- ✨ `wikipedia`: Using non-deprecated api entrypoint
+- 💥 `wikipedia`: Using plain text description
+- 🐛 `wikipedia`: Fix: urlencoded already urldecoded lemma
+- ✅ Using a different source for dummy images
+
 ## markdown-customblocks 1.5.3 (2022-12-20)
 
 - map: fix: Geocoding failed because now requires user agent

customblocks/generators.py

@@ -349,7 +349,6 @@ def map(ctx, location=None, marker=True, *args, **kwds):
         'User-Agent': 'markdown-customblocks',
     })
     if not query.ok:
-        print(dir(query))
         warnings.warn(f"Error {query}")
         return E('.error',
             f'Error geolocating {location}',

customblocks/generators_test.py

@@ -897,15 +897,10 @@ def test_wikipedia(self):
             ::: wikipedia "Sant Joan Despí"
             ""","""\
 <div class="linkcard wikipedia">
-<div class="linkcard-featured-image side">
-<a href="https://en.wikipedia.org/wiki/Sant Joan Despí" target="_blank">
-<img src="https://upload.wikimedia.org/wikipedia/commons/thumb/e/e7/Torre_de_la_Creu.JPG/1200px-Torre_de_la_Creu.JPG" />
-</a>
-</div>
 <p class="linkcard-heading"><a href="https://en.wikipedia.org/wiki/Sant Joan Despí" target="_blank">Sant Joan Despí - Wikipedia</a></p>
 <div class="linkcard-excerpt">
 <p>
-<p><span title="Old Catalan-language text"><span lang="ca"><b>Sant Joan Despí</b></span></span> (Old Catalan for 'Saint John of the Pine'; <span>Catalan pronunciation:</span> <span lang="ca-Latn-fonipa">[ˈsaɲ<span> </span>ʒuˈan<span> </span>dəsˈpi]</span>) is a city and municipality located in the Baix Llobregat area (Barcelona province in Catalonia, Spain). It is situated on the left bank of the Llobregat river.</p>
+Sant Joan Despí (Old Catalan for 'Saint John of the Pine'; Catalan pronunciation: [ˈsaɲ ʒuˈan dəsˈpi]) is a city and municipality located in the Baix Llobregat area (Barcelona province in Catalonia, Spain). It is situated on the left bank of the Llobregat river.
 </p>
 <span class="linkcard-more"><a href="https://en.wikipedia.org/wiki/Sant Joan Despí" target="_blank">Read more</a></span>
 </div>
@@ -925,7 +920,7 @@ def test_wikipedia(self):
     def test_wikipedia_lang(self):
         self.assertMarkdown("""
             ::: wikipedia "Sant Joan Despí" lang=ca
-            ""","""\
+            """, """\
 <div class="linkcard wikipedia">
 <div class="linkcard-featured-image side">
 <a href="https://ca.wikipedia.org/wiki/Sant Joan Despí" target="_blank">
@@ -935,7 +930,7 @@ def test_wikipedia_lang(self):
 <p class="linkcard-heading"><a href="https://ca.wikipedia.org/wiki/Sant Joan Despí" target="_blank">Sant Joan Despí - Viquipèdia, l'enciclopèdia lliure</a></p>
 <div class="linkcard-excerpt">
 <p>
-<p><b>Sant Joan Despí</b> és un municipi dins de la comarca del Baix Llobregat, situat al pla del Llobregat, a l'esquerra del riu. El municipi confronta amb els de Sant Feliu de Llobregat, Sant Just Desvern, Esplugues de Llobregat, Cornellà de Llobregat, Sant Boi i Santa Coloma de Cervelló.</p>
+Sant Joan Despí és un municipi dins de la comarca del Baix Llobregat, situat al pla del Llobregat, a l'esquerra del riu. El municipi confronta amb els de Sant Feliu de Llobregat, Sant Just Desvern, Esplugues de Llobregat, Cornellà de Llobregat, Sant Boi de Llobregat i Santa Coloma de Cervelló.
 </p>
 <span class="linkcard-more"><a href="https://ca.wikipedia.org/wiki/Sant Joan Despí" target="_blank">Read more</a></span>
 </div>

customblocks/utils/fetcher.py

@@ -10,13 +10,16 @@ def __init__(self, cache):
         if not self.cachedir.exists():
             self.cachedir.mkdir(parents=True)
 
-    def _url2path(self, url):
-        return self.cachedir / (
-            url
-                .replace('://','_')
-                .replace('//','_')
-                .replace('/','_')
-            )
+    def _url2path(self, url, params={}):
+        parameters='_'.join(
+            f'_{k}_{v}'
+            for k,v in sorted(params.items())
+        )
+        return self.cachedir / ((url+parameters)
+            .replace('://','_')
+            .replace('//','_')
+            .replace('/','_')
+        )
 
     def clear(self):
         for item in self.cachedir.glob('*'):
@@ -59,14 +62,16 @@ def _namespace2response(namespace):
             result._content = namespace.content
         return result
 
-    def get(self, url):
-        cachefile = self._url2path(url)
+    def get(self, url, **kwds):
+        cachefile = self._url2path(url, **kwds)
         if cachefile.exists():
             info = ns.load(str(cachefile))
             return self._namespace2response(info)
-        response = requests.get(url)
+        response = requests.get(url,
+            headers={'User-Agent': 'Mozilla 2.0'},
+            **kwds)
         if response.ok:
-            self._response2namespace(response).dump(self._url2path(url))
+            self._response2namespace(response).dump(cachefile)
         return response
 
     def remove(self, url):

customblocks/utils/pageinfo.py

@@ -1,6 +1,6 @@
 from yamlns import namespace as ns
 from bs4 import BeautifulSoup
-from urllib.parse import urlparse, urljoin, urlunsplit
+from urllib.parse import urlparse, urljoin, urlunsplit, quote, unquote
 from decorator import decorator
 
 @decorator
@@ -57,7 +57,11 @@ def sitename(self):
 
     @property
     def siteurl(self):
-        return urlunsplit((self._url.scheme, self._url.netloc,'','','')) or None
+        return urlunsplit((
+            self._url.scheme,
+            self._url.netloc,
+            '', '', ''
+        )) or None
 
     @property
     @cached
@@ -85,13 +89,26 @@ def _mediawikiDescription(self):
         #description = self._soup.find(class_='shortdescription')
         #if description: return description
 
-        baseurl, lemma = self._rel('canonical').split('/wiki/')
-        excerpt_url = baseurl+ '/w/api.php?' + (
-            f'format=json&action=query&prop=extracts&exsentences=2&exintro&titles={lemma}'
-        )
+        canonical = self._rel('canonical')
+        if not canonical:
+            return
+        baseurl, lemma = canonical.split('/wiki/')
+        lemma = unquote(lemma)
+        excerpt_url = baseurl + '/w/api.php'
         from . import Fetcher
         fetcher = Fetcher('fetchercache/wikipedia') # TODO: Configurable
-        content = ns.deep(fetcher.get(excerpt_url).json())
+        content = ns.deep(fetcher.get(
+            excerpt_url,
+            params=dict(
+                format='json',
+                action='query',
+                titles=lemma,
+                prop='extracts',
+                exsentences='2',
+                exintro=True,
+                explaintext=True,
+            )
+        ).json())
         for page in content.query.pages.values():
             if 'extract' in page:
                 return page.extract

customblocks/utils/pageinfo_test.py

@@ -181,9 +181,11 @@ def test_description_fromMediawiki(self):
         ))
         self.assertEqual(info.description,
             # TODO: Fragile on wiki content changes, mockup api
-            "<p><b>Sant Joan Despí</b> és un municipi dins de la comarca del Baix Llobregat, "
-            "situat al pla del Llobregat, a l'esquerra del riu. El municipi confronta amb els de "
-            "Sant Feliu de Llobregat, Sant Just Desvern, Esplugues de Llobregat, Cornellà de Llobregat, Sant Boi i Santa Coloma de Cervelló.</p>"
+            "Sant Joan Despí és un municipi dins de la comarca del Baix Llobregat, "
+            "situat al pla del Llobregat, a l'esquerra del riu. "
+            "El municipi confronta amb els de Sant Feliu de Llobregat, Sant Just Desvern, "
+            "Esplugues de Llobregat, Cornellà de Llobregat, Sant Boi de Llobregat i "
+            "Santa Coloma de Cervelló."
         )
 
     def test_description_fromMediawiki_badArticle(self):