wechsler

Anreicherungs-Pipeline

Wie aus Rohdaten angereicherte Daten werden: welche Stufen es gibt, was sie lesen, was sie schreiben und in welcher Reihenfolge sie laufen. Der Graph wird aus enrichers.yaml erzeugt, nicht von Hand gepflegt.

  1. Rohdaten

    Was wechsler von den Quellen abholt und unverändert im Rohdatenspeicher ablegt. Jede Stufe wählt daraus nach Quelle oder Art der Nutzlast.

  2. Verarbeitung

    Die Stufen: lesen, parsen, verknüpfen, anreichern. Läuft eine Stufe nach einer anderen, steht sie im Graphen darunter.

  3. Angereicherte Daten

    Die Ergebnisse, die keine Stufe mehr liest. Sie sind für die Nutzung bestimmt.

Pipeline-Graph22 Knoten, 20 Verbindungen, in drei Bahnen: Rohdaten, Verarbeitung, Angereicherte Daten. Dieselben Angaben stehen in der Tabelle darunter.Rohdatenso abgeholt, im RohdatenspeicherVerarbeitungStufen und ZwischenergebnisseAngereicherte DatenErgebnisse zum Nutzendip.drucksache-text.listRohdatendip.drucksache-text.list (Rohdaten)dip.drucksache.listRohdatendip.drucksache.list (Rohdaten)dip.plenarprotokoll-text.l…Rohdatendip.plenarprotokoll-text.list (Rohdaten)dip.plenarprotokoll.listRohdatendip.plenarprotokoll.list (Rohdaten)dip.vorgang.listRohdatendip.vorgang.list (Rohdaten)geotag-bonn-areasRohdatengeotag-bonn-areas (Rohdaten)osm.overpass.jsonRohdatenosm.overpass.json (Rohdaten)rss.feed.xmlRohdatenrss.feed.xml (Rohdaten)parse-areasareasparse-areas (Parser)parse-dipdipparse-dip (Parser)parse-overpassoverpassparse-overpass (Parser)parse-rssrssparse-rss (Parser)Itemsitem · auch ErgebnisItems (Ergebnis)geo-termsgeo-termsgeo-terms (Anreicherung)geotag-pointgeotag-pointgeotag-point (Anreicherung)geotag-textgeotag-gazetteergeotag-text (Anreicherung)keywordskeywords-vocabkeywords (Anreicherung)Gebietsreferenzarea_geomGebietsreferenz (Ergebnis)Amtliche Einheitenitem_geo_unitAmtliche Einheiten (Ergebnis)Gebiete (Punkt)item_areaGebiete (Punkt) (Ergebnis)Gebiete (Text)item_areaGebiete (Text) (Ergebnis)Schlagwörteritem_keywordSchlagwörter (Ergebnis)
StufeArtRolleLiest vonErgebnisZustand
parse-dipdipParserdip.drucksache.list, dip.drucksache-text.list, dip.plenarprotokoll.list, dip.plenarprotokoll-text.list, dip.vorgang.listItemsaktiv
parse-overpassoverpassParserosm.overpass.jsonItemsaktiv
parse-rssrssParserrss.feed.xmlItemsaktiv
geo-termsgeo-termsAnreicherungparse-dipAmtliche Einheitenaktiv
parse-areasareasParsergeotag-bonn-areasGebietsreferenzaktiv
geotag-pointgeotag-pointAnreicherungparse-overpassGebiete (Punkt)aktiv
geotag-textgeotag-gazetteerAnreicherungparse-dip, parse-rss, parse-overpassGebiete (Text)aktiv
keywordskeywords-vocabAnreicherungparse-dip, parse-rss, parse-overpassSchlagwörteraktiv

Gestrichelte Umrandung: Rohdaten-Auswahl oder pausierte Stufe. Grün: Anreicherung und Ergebnis, blau: Parser.

Regel: Daten, die eine weitere Stufe liest (hier die Items), stehen unter „Verarbeitung“ und sind als „auch Ergebnis“ markiert; Daten, die keine Stufe mehr liest, stehen unter „Angereicherte Daten“.