| Previous changeset 5:e7b39a7e0024 (2024-09-05) Next changeset 7:3b1d503c6260 (2024-10-03) |
|
Commit message:
planemo upload for repository https://github.com/galaxyproject/tools-iuc/tree/master/data_managers/data_manager_gtdbtk_database_installer commit a7a73e892ade5f3cb5207c411b8ac27b684316ff |
|
modified:
data_manager/gtdbtk_database_installer.py data_manager/gtdbtk_database_installer.xml |
|
added:
test-data/release220-test.tar.gz test-data/release220/readme.md |
| b |
| diff -r e7b39a7e0024 -r df84aaed4769 data_manager/gtdbtk_database_installer.py --- a/data_manager/gtdbtk_database_installer.py Thu Sep 05 11:30:01 2024 +0000 +++ b/data_manager/gtdbtk_database_installer.py Mon Sep 09 09:01:39 2024 +0000 |
| [ |
| @@ -104,9 +104,6 @@ # handle the test case for the DB return tarball - fh.extractall(target_directory) - fh.close() - os.remove(tarball) # The tarball extraction will create a directory named # something like release202 in the target_directory, so # we need to move the items in that directory to the @@ -133,7 +130,7 @@ # switch the DB to use the test case urls[release][ "full" - ] = "https://data.gtdb.ecogenomic.org/releases/release220/220.0/VERSION.txt" + ] = "https://zenodo.org/records/13734217/files/release220-test.tar.gz" # make use of the test to check if all urls exists for _version, items in urls.items(): |
| b |
| diff -r e7b39a7e0024 -r df84aaed4769 data_manager/gtdbtk_database_installer.xml --- a/data_manager/gtdbtk_database_installer.xml Thu Sep 05 11:30:01 2024 +0000 +++ b/data_manager/gtdbtk_database_installer.xml Mon Sep 09 09:01:39 2024 +0000 |
| b |
| @@ -2,7 +2,7 @@ <description></description> <macros> <token name="@TOOL_VERSION@">202</token> - <token name="@VERSION_SUFFIX@">1</token> + <token name="@VERSION_SUFFIX@">2</token> <token name="@PROFILE@">20.09</token> </macros> <requirements> |
| b |
| diff -r e7b39a7e0024 -r df84aaed4769 test-data/release220-test.tar.gz |
| b |
| Binary file test-data/release220-test.tar.gz has changed |
| b |
| diff -r e7b39a7e0024 -r df84aaed4769 test-data/release220/readme.md --- /dev/null Thu Jan 01 00:00:00 1970 +0000 +++ b/test-data/release220/readme.md Mon Sep 09 09:01:39 2024 +0000 |
| b |
| b'@@ -0,0 +1,267 @@\n+# Explanation\n+\n+This tar.gz is just a dummy file that mimics the structure of the GTDB-tk releases as shown below and can be used as test case for\n+the data manager !\n+\n+Thanks https://github.com/SantaMcCloud for downloading and providing the structure of all the latest releases !\n+\n+Folder structur from: https://data.gtdb.ecogenomic.org/releases/release202/202.0/auxillary_files/gtdbtk_r202_data.tar.gz\n+ ::\n+\n+ release202/\n+ \xe2\x94\x9c\xe2\x94\x80msa/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r202_bac120.faa\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_r202_ar122.faa\n+ \xe2\x94\x9c\xe2\x94\x80masks/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r202_ar122.mask\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_r202_bac120.mask\n+ \xe2\x94\x9c\xe2\x94\x80metadata/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80metadata.txt\n+ \xe2\x94\x9c\xe2\x94\x80pplacer/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r202_bac120.refpkg/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80bac120_r202_unroot.pplacer.tree\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80bac120_msa_reps_r202.faa\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80CONTENTS.json\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80fitting_stats.log\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80phylo_model0ghuj7aq.json\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_r202_ar122.refpkg/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80CONTENTS.json\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80fitting_stats.log\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80ar122_msa_reps_r202.faa\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80phylo_modelbf90ubog.json\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80ar122_r202_unroot.pplacer.tree\n+ \xe2\x94\x9c\xe2\x94\x80radii/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_radii.tsv\n+ \xe2\x94\x9c\xe2\x94\x80fastani/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80database/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80GCF/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80GCA/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80genome_paths.tsv\n+ \xe2\x94\x9c\xe2\x94\x80markers/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm.h3f\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80individual_hmms/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm.h3m\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm.h3i\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80tigrfam.hmm.h3p\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80pfam/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3i\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80generatePfamdat.py\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3p\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80individual_hmms/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3m\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3f\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80Pfam-A.hmm.dat\n+ \xe2\x94\x9c\xe2\x94\x80manifest.tsv\n+ \xe2\x94\x9c\xe2\x94\x80mrca_red/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdbtk_r202_bac120.tsv\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdbtk_r202_ar122.tsv\n+ \xe2\x94\x94\xe2\x94\x80taxonomy/\n+ \xe2\x94\x94\xe2\x94\x80gtdb_taxonomy.tsv\n+\n+Folder structur from: https://data.gtdb.ecogenomic.org/releases/release207/207.0/auxillary_files/gtdbtk_r207_data.tar.gz\n+ ::\n+\n+ release207/\n+ \xe2\x94\x9c\xe2\x94\x80pplacer/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r207_ar53.refpkg/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80fitting_stats_merge.log\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80ar53_msa_reps_r207.faa\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80phylo_model1xblv9t2.json\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r207_ar53_decorated_fullids_unrooted.tree\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80CONTENTS.json\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_r207_bac120.refpkg/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80bac120_msa_reps_r207.faa\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80phylo_modeloxtr1_fu.json\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r207_bac120_fasttree.log\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r207_bac120_decorated_unrooted.tree\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80CONTENTS.json\n+ \xe2\x94\x9c\xe2\x94\x80temp/\n+ \xe2\x94\x9c\xe2\x94\x80metadata/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80metadata.txt\n+ \xe2\x94\x9c\xe2\x94\x80masks/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r207_bac120.mask\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_r207_ar53.mask\n+ \xe2\x94\x9c\xe2\x94\x80msa/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r207_bac120.faa\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_r207_ar53.faa\n+ \xe2\x94\x9c\xe2\x94\x80mrca_red/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdbtk_r207_bac120.tsv\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdbtk_r207_ar53.tsv\n+ \xe2\x94\x9c\xe2\x94\x80split/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80high/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80red/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80pplacer/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80low/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tree_mapping.tsv\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80red/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80pplacer/\n+ \xe2\x94\x9c\xe2\x94'..b'\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80red/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80pplacer/\n+ \xe2\x94\x9c\xe2\x94\x80msa/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r214_ar53.faa\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_r214_bac120.faa\n+ \xe2\x94\x9c\xe2\x94\x80radii/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_radii.tsv\n+ \xe2\x94\x9c\xe2\x94\x80mash/\n+ \xe2\x94\x9c\xe2\x94\x80markers/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80pfam/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3p\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80individual_hmms/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3i\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3m\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80generatePfamdat.py\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.dat.origin\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.dat\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80Pfam-A.hmm.h3f\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80tigrfam/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm.h3m\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80individual_hmms/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm.h3p\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm.h3i\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80tigrfam.hmm.h3f\n+ \xe2\x94\x9c\xe2\x94\x80metadata/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80metadata.txt\n+ \xe2\x94\x9c\xe2\x94\x80fastani/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80database/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80GCF/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80GCA/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80genome_paths.tsv\n+ \xe2\x94\x94\xe2\x94\x80masks/\n+ \xe2\x94\x9c\xe2\x94\x80gtdb_r214_bac120.mask\n+ \xe2\x94\x94\xe2\x94\x80gtdb_r214_ar53.mask\n+\n+Folder structur from: https://data.gtdb.ecogenomic.org/releases/release220/220.0/auxillary_files/gtdbtk_package/full_package/gtdbtk_r220_data.tar.gz\n+ ::\n+\n+ release220/\n+ \xe2\x94\x9c\xe2\x94\x80radii/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_radii.tsv\n+ \xe2\x94\x9c\xe2\x94\x80split/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80class_level/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tree_mapping.tsv\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80red/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80pplacer/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80backbone/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80pplacer/\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80red/\n+ \xe2\x94\x9c\xe2\x94\x80taxonomy/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80ar53_taxonomy_r220_reps.tsv\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_taxonomy.tsv\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80bac120_taxonomy_r220_reps.tsv\n+ \xe2\x94\x9c\xe2\x94\x80markers/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm.h3i\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm.h3p\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80individual_hmms/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80tigrfam.hmm.h3m\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80tigrfam.hmm.h3f\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80pfam/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3m\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3i\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3p\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.dat.origin\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.dat\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80individual_hmms/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm.h3f\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80Pfam-A.hmm\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80generatePfamdat.py\n+ \xe2\x94\x9c\xe2\x94\x80msa/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r220_bac120.faa\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_r220_ar53.faa\n+ \xe2\x94\x9c\xe2\x94\x80masks/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r220_ar53.mask\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_r220_bac120.mask\n+ \xe2\x94\x9c\xe2\x94\x80mrca_red/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdbtk_r220_ar53.tsv\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdbtk_r220_bac120.tsv\n+ \xe2\x94\x9c\xe2\x94\x80skani/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80database/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80GCF/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80GCA/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80create_genome_paths.sh\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80genome_paths.tsv\n+ \xe2\x94\x9c\xe2\x94\x80pplacer/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r220_bac120.refpkg/\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80CONTENTS.json\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80bac120_msa_r220.faa\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r220_bac120_decorated_unrooted.tree\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r220_bac120_fasttree.log\n+ \xe2\x94\x82 \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80phylo_modelw962mykd.json\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80gtdb_r220_ar53.refpkg/\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80gtdb_r220_ar53_decorated_unrooted.tree\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80CONTENTS.json\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80phylo_model0lt93bak.json\n+ \xe2\x94\x82 \xe2\x94\x9c\xe2\x94\x80fitting_stats.log\n+ \xe2\x94\x82 \xe2\x94\x94\xe2\x94\x80ar53_msa_r220.faa\n+ \xe2\x94\x94\xe2\x94\x80metadata/\n+ \xe2\x94\x94\xe2\x94\x80metadata.txt\n\\ No newline at end of file\n' |