installation avec adaptation à osm2pgsql

[etienneJr]

Salut !

Comme discuté sur le forum, je cherche à installer, adapter à osm2pgsql, et démarrer Underpass-API, mais j'ai l'impression que ça dépasse largement mes compétences informatiques !

J'ai suivi backends/postgres_osmosis/README.md

Déjà j'avais pas le plugin compose, c'est pour dire d'où je pars 😅​ mais j'ai réussi à l'installer ouf, et j'ai lancé docker compose --profile '*' build ​✅​

J'ai sauté le début de la partie Prepare the data car j'ai déjà une base créée par osm2pgsql, mais la partie init.sql m'a paru importante vu son contenu.

Dans docker-compose.yaml, j'ai remplacé les 2 occurences de DATABASE_URL: postgresql://postgres@postgres:5432/postgres par DATABASE_URL: postgresql://username@host:5432/database avec mon username, host=localhost et database=osm, car ce sont ceux de ma base osm2pgsql. C'était bien ça et dans cet ordre là le remplacement des différents postgres ?

J'ai ensuite lancé docker compose run --rm osmosis puis cat /backends/postgres_osmosis/init.sql | psql $DATABASE_URL -v ON_ERROR_STOP=1 (d'ailleurs il y a une typo dans le readme, c'est écrit postgres_osmosis_init.sql), et j'obtiens cette erreur :

xxx@yyy:~/Dev/Underpass-API/backends/postgres_osmosis$ docker compose run --rm osmosis
[+] Creating 1/1
 ✔ Container postgres_osmosis-postgres-1  Running                                                                                         0.0s 
root@92891c60a4cc:/# cat /backends/postgres_osmosis/init.sql | psql $DATABASE_URL -v ON_ERROR_STOP=1
cat: /backends/postgres_osmosis/init.sql: No such file or directory
psql: error: connection to server at "localhost" (::1), port 5432 failed: Connection refused
	Is the server running on that host and accepting TCP/IP connections?

J'ai quand même essayé de lancer docker compose up pour voir ce que ça donnait et j'ai obtenu ça :

[+] Running 2/2
 ✔ Container postgres_osmosis-postgres-1  Running                                                                                         0.0s 
 ✔ Container postgres_osmosis-api-1       Recreated                                                                                       0.1s 
Attaching to api-1, postgres-1
api-1       | bundler: failed to load command: rackup (/usr/local/bundle/bin/rackup)
api-1       | /srv/app/backends/duckdb_quackosm/duckdb_quackosm.rb:3:in `require': cannot load such file -- duckdb (LoadError)
api-1       |   from /srv/app/backends/duckdb_quackosm/duckdb_quackosm.rb:3:in `<top (required)>'
api-1       |   from /srv/app/config.ru:8:in `require_relative'
api-1       |   from /srv/app/config.ru:8:in `block in <main>'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/builder.rb:116:in `eval'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/builder.rb:116:in `new_from_string'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/builder.rb:105:in `load_file'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/builder.rb:66:in `parse_file'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/server.rb:349:in `build_app_and_options_from_config'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/server.rb:249:in `app'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/server.rb:422:in `wrapped_app'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/server.rb:312:in `block in start'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/server.rb:379:in `handle_profiling'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/server.rb:311:in `start'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/lib/rack/server.rb:168:in `start'
api-1       |   from /usr/local/bundle/gems/rack-2.2.9/bin/rackup:5:in `<top (required)>'
api-1       |   from /usr/local/bundle/bin/rackup:25:in `load'
api-1       |   from /usr/local/bundle/bin/rackup:25:in `<top (required)>'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/cli/exec.rb:58:in `load'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/cli/exec.rb:58:in `kernel_load'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/cli/exec.rb:23:in `run'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/cli.rb:479:in `exec'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/vendor/thor/lib/thor/command.rb:27:in `run'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/vendor/thor/lib/thor/invocation.rb:127:in `invoke_command'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/vendor/thor/lib/thor.rb:392:in `dispatch'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/cli.rb:31:in `dispatch'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/vendor/thor/lib/thor/base.rb:485:in `start'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/cli.rb:25:in `start'
api-1       |   from /usr/local/lib/ruby/gems/3.0.0/gems/bundler-2.2.33/libexec/bundle:49:in `block in <top (required)>'
api-1       |   from /usr/local/lib/ruby/3.0.0/bundler/friendly_errors.rb:103:in `with_friendly_errors'
api-1       |   from /usr/local/lib/ruby/gems/3.0.0/gems/bundler-2.2.33/libexec/bundle:37:in `<top (required)>'
api-1       |   from /usr/local/bin/bundle:23:in `load'
api-1       |   from /usr/local/bin/bundle:23:in `<main>'

Enfin j'ai jeté un coup d'oeil à view.sql j'imagine qu'il va falloir l'adapter au schéma osm2pgsql, et clairement ça dépasse mes compétences en SQL !

Merci pour ton aide !

[frodrigo]

osm2pgsql, mais la partie init.sql m'a paru importante vu son contenu.

You don't have to run the Osmosis init on a non Osmosis DB.

host=localhost

The localhost is relative the docker container, not to your "localhost" host. Use eg. your host name.

view.sql

Yes you have to write one for your own database schema.

Note. You can it without docker just by running

bundle install
bundle exec rackup

(Reading content of Dockerfile can help to run without docker)

[mgageo]

J'ai aussi suivi backends/postgres_osmosis/README.md en chargeant bien landes (un essai avec bretagne avait échoué par manque de place).
J'ai un échec sur la commande:
cat /backends/postgres_osmosis_init.sql | psql $DATABASE_URL -v ON_ERROR_STOP=1

Et je ne trouve pas comment lancer le serveur web.

Dans le fichier backends/postgres_osmosis/docker/postgres/docker-entrypoint-initdb.d/01_create-hstore.sql il y a une coquille
CREATE EXTENSION IF NOT EXISTS htsore;

[etienneJr]

Note. You can it without docker just by running

bundle install
bundle exec rackup

Merci pour l'idée, j'ai réussi à démarrer le serveur comme ça sans docker (après quelques bidouilles pour qu'il utilise bien le backend postgres et qu'il trouve bien ma database) et à lancer des requêtes avec curl.

Yes you have to write one for your own database schema.

Je ne pensais pas y arriver, mais finalement j'ai réussi à écrire une adaptation pour osm2pgsql qui permet que l'initialisation fonctionne, mais qui n'est pas encore complète. Je la posterai proprement dans un fork un autre soir. Quand je lance la requête donnée en exemple j'obtiens :
ERROR: operator does not exist: hstore ->> unknown LINE 12: (tags?'highway' AND tags->>'highway' = 'bus_stop') AND... ^ HINT: No operator matches the given name and argument types. You might need to add explicit type casts.
Une idée d'où ça peut venir ? (j'ai bien vérifié 18 fois : l'extension hstore est bien activée sur ma base)
Merci !

[frodrigo]

With hstore just use -> no ->> El jue, 20 mar 2025, 23:06, etienneJr ***@***.***> escribió:

…

Note. You can it without docker just by running bundle install bundle exec rackup Merci pour l'idée, j'ai réussi à démarrer le serveur comme ça sans docker (après quelques bidouilles pour qu'il utilise bien le backend postgres et qu'il trouve bien ma database) et à lancer des requêtes avec curl. Yes you have to write one for your own database schema. Je ne pensais pas y arriver, mais finalement j'ai réussi à écrire une adaptation pour osm2pgsql qui permet que l'initialisation fonctionne, mais qui n'est pas encore complète. Je la posterai proprement dans un fork un autre soir. Quand je lance la requête donnée en exemple j'obtiens : ERROR: operator does not exist: hstore ->> unknown LINE 12: (tags?'highway' AND tags->>'highway' = 'bus_stop') AND... ^ HINT: No operator matches the given name and argument types. You might need to add explicit type casts. Une idée d'où ça peut venir ? (j'ai bien vérifié 18 fois : l'extension hstore est bien activée sur ma base) Merci ! — Reply to this email directly, view it on GitHub <#1 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AANT5DUFJKO2IGZN2R52QOT2VNCXFAVCNFSM6AAAAABY2CA4FCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDONBRHA2TEOBXHE> . You are receiving this because you commented.Message ID: ***@***.***> [image: etienneJr]*etienneJr* left a comment (teritorio/Underpass-API#1) <#1 (comment)> Note. You can it without docker just by running bundle install bundle exec rackup Merci pour l'idée, j'ai réussi à démarrer le serveur comme ça sans docker (après quelques bidouilles pour qu'il utilise bien le backend postgres et qu'il trouve bien ma database) et à lancer des requêtes avec curl. Yes you have to write one for your own database schema. Je ne pensais pas y arriver, mais finalement j'ai réussi à écrire une adaptation pour osm2pgsql qui permet que l'initialisation fonctionne, mais qui n'est pas encore complète. Je la posterai proprement dans un fork un autre soir. Quand je lance la requête donnée en exemple j'obtiens : ERROR: operator does not exist: hstore ->> unknown LINE 12: (tags?'highway' AND tags->>'highway' = 'bus_stop') AND... ^ HINT: No operator matches the given name and argument types. You might need to add explicit type casts. Une idée d'où ça peut venir ? (j'ai bien vérifié 18 fois : l'extension hstore est bien activée sur ma base) Merci ! — Reply to this email directly, view it on GitHub <#1 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AANT5DUFJKO2IGZN2R52QOT2VNCXFAVCNFSM6AAAAABY2CA4FCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDONBRHA2TEOBXHE> . You are receiving this because you commented.Message ID: ***@***.***>

[etienneJr]

OK merci je savais pas. En l'occurrence le ->> vient de overpass_parser-rb, donc j'en déduis qu'il s'attend à ce que tags soit un jsonb ? Pourtant dans osmosis c'est un hstore non ? ou un jsonb ?
Et tu me conseilles quoi pour mon adaptation à osm2pgsql ? Je modifie overpass_parser-rb ? Ou je modifie les requêtes sql de mon view.sql pour transformer le hstore en jsonb ?
Merci