Skip to content

Commit

Permalink
LAATSTE COMMIT VOOR v1.1.4
Browse files Browse the repository at this point in the history
  • Loading branch information
justb4 committed Jan 9, 2014
1 parent b93195b commit 8c73cb7
Show file tree
Hide file tree
Showing 7 changed files with 142 additions and 95 deletions.
174 changes: 107 additions & 67 deletions VERSIES
Original file line number Diff line number Diff line change
@@ -1,19 +1,98 @@
Dit bestand bevat versie informatie voor NLExtract. Versies en snapshots zijn te downloaden
via de link: http://www.nlextract.nl/file-cabinet
via de link: http://www.nlextract.nl/file-cabinet. Nieuwste bovenaan.
De rest ligt nog open afhankelijk van wensen gebruikers en natuurlijk eventuele bugs.

v1.0.0 - 27.feb.2012
- de allereerste versie !
- extraheren BAG en Top10NL
- verrijking BAG met gemeenten/provincies
- afgeleide BAG tabellen zoals ACN-achtige adressen
- visualisaties Top10NL voor met name QGIS
ONGEPLAND
- BGT Extractie
- AHN
- Bonne Bladen (historische kaarten)
- Linked Data
- Top10NL naar Oracle,
- gebruik Stetl als algemeen ETL framework: https://stetl.org

v1.0.1 - 5.mrt.2012
- BAG: laatste versie voor performance boost door native LXML/Etree XML-parsing!
- minor fixes
- BAG nieuwste (24jan2012) kadaster-woonplaats-gemeente koppeltabel
- BAG: LATIN1/UTF-8 encoding issues opgelost, nu alle bronnen/doelen UTF-8
- start met SQL scripts tbv reverse geocoding op Adres tabel
v1.1.5 - feb.2014 - GEPLAND

Mutatieverwerking!!

v1.1.4 - 9.jan.2014 - HUIDIGE VERSIE
Werd weer tijd, veel fixes, ook veel via Pull requests, dank! Features in:

#107 BAG Datumtijd kolommen moeten ook decimale seconden meenemen bag-extract


#105 (Her)gebruik database connecties in BAG Extract bag-extract


#102 Nevenadressen moeten meegenomen in genereren adres tabel bag-extract


#101 BAG - CSV gemeente-provincie koppeling van CBS upgrade van 2012 naar 2013 bag-extract

Pull request (Sebastic) tevens upgrade gemeente-provincie koppeling van CBS voor 2014

#99 Indexen op BAG tabellen bag-extract

#96 Reverse geocoding functies zijn out-of-date bag-extract

#95 Ondersteun PostgreSQL schema voor TOP10NL top10-extract

#94 Multipliciteit namen in TOP10NL niet altijd gewenst top10-extract

#89 Mysql bag-extract

#7 top10-extract.sh - uitgebreidere cmd args en functionaliteit top10-extract

Bonne bladen scripts

v1.1.3 - 13.dec.2012
Aantal bugfixes op 1.1.2 en verbeteringen in het algemeen.
Zie milestone issues die in deze release zitten:
https://github.com/opengeogroep/NLExtract/issues?milestone=6&state=closed

Onder andere:

Features
- Gebruik gemeente-woonplaats koppeltabel uit BAG Levering ipv .csv bag-extract
- Adressen met full text index - fuzzy zoeken in tabel "adres" met PostgreSQL tsvector

Bugs opgelost
- BAG documentdatum is altijd null door typefout in bagattribuut.py (bug)
- probe_geometry_columns niet aanroepen indien PostGIS 2.x


v1.1.2 - 16.okt.2012
De issues (werk-items) voor deze release zijn hier te vinden:
https://github.com/opengeogroep/NLExtract/issues?milestone=5&state=closed

Algemeen
- begin gemaakt documentatie op http://nlextract.readthedocs.org

BAG Extract
- bag-extract.sh werkt niet wanneer aangeroepen via symbolic link (patch) bag-extract
- Einddatum gemeente wordt niet verwerkt bag-extract
- adres script: gebruik woonplaatsnaam uit nummeraanduiding indien aanwezig bag-extract
- probe_geometry_columns niet meer in PostGIS2?
- woonplaats-gemeente koppeltabel .csv naar versie van 10 aug 2012

Top10NL Extract
- alle scripts in Python (ipv shell en .cmd)
- ondersteun nieuwste versie Top10NL 1.1.1
- Voeg XML validator toe voor Top10NL v1.1.1 top10-extract
- Top10NL: verwijder dashes '-' uit Python .py file namen top10-extract
- Top10NL: voeg test data en tests toe voor Top10NL versie 1.1.1 top10-extract
- Top10NL: Er worden geen GFS-bestanden bij verwerking van de september-levering bag-extract
- Vervanging e-trema door normale 'e' in Overigrelief top10-extract
- Opsplitsen naam / straatnaam kolommen in Nederland en Fries top10-extract

v1.1.1 - 20.juni.2012
Vooral bugfixes in BAG-Extract. Top10NL en BGT extractie uitstellen tot v1.1.2
De gesloten issues zijn hier te vinden:
https://github.com/opengeogroep/NLExtract/issues?milestone=4&page=1&state=closed
Samengevat:
- bugfix waardoor in v1.1.0 multipolygons voor woonplaatsen null waren
- geovlak toevoegen aan VIEWs voor Verblijfsobject
- warnings weg voor diacritische chars (unicode probleem)
- postgresql port parm ignored

v1.1.0 - 14.mei.2012
Speedup release voor BAG: nu BAG 3x zo snel inlezen als in v1.0.1!
Expand Down Expand Up @@ -47,67 +126,28 @@ Specifieke issues opgelost in v1.1.0
- BAG - LATIN1 encoding gebruikt voor UTF-8 prov/gem CSV
- Poort -P parameter wordt niet geparsed
- etree (native XML parsing via libxml2)
- BAG Foutafhandeling en validatie met logging in database

v1.1.1 - 20.juni.2012
Vooral bugfixes in BAG-Extract. Top10NL en BGT extractie uitstellen tot v1.1.2
De gesloten issues zijn hier te vinden:
https://github.com/opengeogroep/NLExtract/issues?milestone=4&page=1&state=closed
Samengevat:
- bugfix waardoor in v1.1.0 multipolygons voor woonplaatsen null waren
- geovlak toevoegen aan VIEWs voor Verblijfsobject
- warnings weg voor diacritische chars (unicode probleem)
- postgresql port parm ignored

v1.1.2 - 16.okt.2012
De issues (werk-items) voor deze release zijn hier te vinden:
https://github.com/opengeogroep/NLExtract/issues?milestone=5&state=closed

Algemeen
- begin gemaakt documentatie op http://nlextract.readthedocs.org

BAG Extract
- bag-extract.sh werkt niet wanneer aangeroepen via symbolic link (patch) bag-extract
- Einddatum gemeente wordt niet verwerkt bag-extract
- adres script: gebruik woonplaatsnaam uit nummeraanduiding indien aanwezig bag-extract
- probe_geometry_columns niet meer in PostGIS2?
- woonplaats-gemeente koppeltabel .csv naar versie van 10 aug 2012

Top10NL Extract
- alle scripts in Python (ipv shell en .cmd)
- ondersteun nieuwste versie Top10NL 1.1.1
- Voeg XML validator toe voor Top10NL v1.1.1 top10-extract
- Top10NL: verwijder dashes '-' uit Python .py file namen top10-extract
- Top10NL: voeg test data en tests toe voor Top10NL versie 1.1.1 top10-extract
- Top10NL: Er worden geen GFS-bestanden bij verwerking van de september-levering bag-extract
- Vervanging e-trema door normale 'e' in Overigrelief top10-extract
- Opsplitsen naam / straatnaam kolommen in Nederland en Fries top10-extract
- BAG Foutafhandeling en validatie met logging in datab

v1.1.3 - 13.dec.2012
Aantal bugfixes op 1.1.2 en verbeteringen in het algemeen.
Zie milestone issues die in deze release zitten:
https://github.com/opengeogroep/NLExtract/issues?milestone=6&state=closed
v1.0.1 - 5.mrt.2012
- BAG: laatste versie voor performance boost door native LXML/Etree XML-parsing!
- minor fixes
- BAG nieuwste (24jan2012) kadaster-woonplaats-gemeente koppeltabel
- BAG: LATIN1/UTF-8 encoding issues opgelost, nu alle bronnen/doelen UTF-8
- start met SQL scripts tbv reverse geocoding op Adres tabel

Onder andere:

Features
- Gebruik gemeente-woonplaats koppeltabel uit BAG Levering ipv .csv bag-extract
- Adressen met full text index - fuzzy zoeken in tabel "adres" met PostgreSQL tsvector
v1.0.0 - 27.feb.2012
- de allereerste versie !
- extraheren BAG en Top10NL
- verrijking BAG met gemeenten/provincies
- afgeleide BAG tabellen zoals ACN-achtige adressen
- visualisaties Top10NL voor met name QGIS

Bugs opgelost
- BAG documentdatum is altijd null door typefout in bagattribuut.py (bug)
- probe_geometry_columns niet aanroepen indien PostGIS 2.x
Nog veel oudere versies zijn te vinden op:

https://github.com/MinIenM/BAG-Extract

ONGEPLAND
- BGT Extractie
- AHN
- Bonne Bladen (historische kaarten)
- Linked Data
- Top10NL naar Oracle,
- gebruik SETL als algemeen ETL framework: https://github.com/justb4/setl

De rest ligt nog open afhankelijk van wensen gebruikers en natuurlijk evetuele bugs.



Expand Down
2 changes: 1 addition & 1 deletion bonnebladen/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ http://www.kadaster.nl/web/artikel/productartikel/Bonnebladen.htm
Uit: http://nl.wikipedia.org/wiki/Bonnekaart

"Bonnekaarten of Bonnebladen zijn de eerste Nederlandse militaire stafkaarten.
De oudste werden kort voor 1900 uitgegeven. De offici‘le naam is Chromotopografische Kaart des Rijks.
De oudste werden kort voor 1900 uitgegeven. De officiële naam is Chromotopografische Kaart des Rijks.
Ze vervingen de Topografische en Militaire Kaart (TMK) uit de periode 1850-1864. De kaarten staan bekend
als de Bonnekaarten of Bonnebladen naar de Franse landmeter Bonne wiens projectievorm gebruikt werd.
De kaarten zijn door hun schaal en de precisie van de vele details een belangrijke informatiebron bij de
Expand Down
27 changes: 0 additions & 27 deletions bonnebladen/bin/create-maskimage.sh~

This file was deleted.

31 changes: 31 additions & 0 deletions bonnebladen/data/bonne-raster.sld
Original file line number Diff line number Diff line change
@@ -0,0 +1,31 @@
<?xml version="1.0" encoding="ISO-8859-1"?>
<StyledLayerDescriptor version="1.0.0" xmlns="http://www.opengis.net/sld" xmlns:ogc="http://www.opengis.net/ogc"
xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.opengis.net/sld http://schemas.opengis.net/sld/1.0.0/StyledLayerDescriptor.xsd">
<NamedLayer>
<Name>Bonne</Name>
<UserStyle>
<Name>Bonne</Name>
<Title>Bonne</Title>
<Abstract>Bonne transparantie settings</Abstract>
<FeatureTypeStyle>
<FeatureTypeName>Feature</FeatureTypeName>
<Rule>
<RasterSymbolizer>

<ChannelSelection>
<GrayChannel>
<SourceChannelName>1</SourceChannelName>
</GrayChannel>
</ChannelSelection>

<ColorMap type="values" extended="false">
<ColorMapEntry color="#000000" quantity="0" label="0" opacity="1"/>
<!--<ColorMapEntry color="#ffffff" quantity="1" label="1" opacity="0"/>-->
</ColorMap>
</RasterSymbolizer>
</Rule>
</FeatureTypeStyle>
</UserStyle>
</NamedLayer>
</StyledLayerDescriptor>
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
3 changes: 3 additions & 0 deletions top10nl/test/data/test.gml
Original file line number Diff line number Diff line change
Expand Up @@ -814,6 +814,9 @@
</top10nl:hartLijn>
<top10nl:hoofdverkeersgebruik>gemengd verkeer</top10nl:hoofdverkeersgebruik>
<top10nl:hoogteniveau>0</top10nl:hoogteniveau>
<!-- multi attribuut voorbeeld -->
<top10nl:nWegnummer>N242</top10nl:nWegnummer>
<top10nl:nWegnummer>N243</top10nl:nWegnummer>
<top10nl:status>in gebruik</top10nl:status>
<top10nl:typeInfrastructuurWegdeel>verbinding</top10nl:typeInfrastructuurWegdeel>
<top10nl:typeWeg>straat</top10nl:typeWeg>
Expand Down

0 comments on commit 8c73cb7

Please sign in to comment.