Mercurial > repos > iuc > data_manager_gtdbtk_database_installer
changeset 6:df84aaed4769 draft
planemo upload for repository https://github.com/galaxyproject/tools-iuc/tree/master/data_managers/data_manager_gtdbtk_database_installer commit a7a73e892ade5f3cb5207c411b8ac27b684316ff
| author | iuc |
|---|---|
| date | Mon, 09 Sep 2024 09:01:39 +0000 |
| parents | e7b39a7e0024 |
| children | 3b1d503c6260 |
| files | data_manager/gtdbtk_database_installer.py data_manager/gtdbtk_database_installer.xml test-data/release220-test.tar.gz test-data/release220/readme.md |
| diffstat | 4 files changed, 269 insertions(+), 5 deletions(-) [+] |
line wrap: on
line diff
--- a/data_manager/gtdbtk_database_installer.py Thu Sep 05 11:30:01 2024 +0000 +++ b/data_manager/gtdbtk_database_installer.py Mon Sep 09 09:01:39 2024 +0000 @@ -104,9 +104,6 @@ # handle the test case for the DB return tarball - fh.extractall(target_directory) - fh.close() - os.remove(tarball) # The tarball extraction will create a directory named # something like release202 in the target_directory, so # we need to move the items in that directory to the @@ -133,7 +130,7 @@ # switch the DB to use the test case urls[release][ "full" - ] = "https://data.gtdb.ecogenomic.org/releases/release220/220.0/VERSION.txt" + ] = "https://zenodo.org/records/13734217/files/release220-test.tar.gz" # make use of the test to check if all urls exists for _version, items in urls.items():
--- a/data_manager/gtdbtk_database_installer.xml Thu Sep 05 11:30:01 2024 +0000 +++ b/data_manager/gtdbtk_database_installer.xml Mon Sep 09 09:01:39 2024 +0000 @@ -2,7 +2,7 @@ <description></description> <macros> <token name="@TOOL_VERSION@">202</token> - <token name="@VERSION_SUFFIX@">1</token> + <token name="@VERSION_SUFFIX@">2</token> <token name="@PROFILE@">20.09</token> </macros> <requirements>
--- /dev/null Thu Jan 01 00:00:00 1970 +0000 +++ b/test-data/release220/readme.md Mon Sep 09 09:01:39 2024 +0000 @@ -0,0 +1,267 @@ +# Explanation + +This tar.gz is just a dummy file that mimics the structure of the GTDB-tk releases as shown below and can be used as test case for +the data manager ! + +Thanks https://github.com/SantaMcCloud for downloading and providing the structure of all the latest releases ! + +Folder structur from: https://data.gtdb.ecogenomic.org/releases/release202/202.0/auxillary_files/gtdbtk_r202_data.tar.gz + :: + + release202/ + ├─msa/ + │ ├─gtdb_r202_bac120.faa + │ └─gtdb_r202_ar122.faa + ├─masks/ + │ ├─gtdb_r202_ar122.mask + │ └─gtdb_r202_bac120.mask + ├─metadata/ + │ └─metadata.txt + ├─pplacer/ + │ ├─gtdb_r202_bac120.refpkg/ + │ │ ├─bac120_r202_unroot.pplacer.tree + │ │ ├─bac120_msa_reps_r202.faa + │ │ ├─CONTENTS.json + │ │ ├─fitting_stats.log + │ │ └─phylo_model0ghuj7aq.json + │ └─gtdb_r202_ar122.refpkg/ + │ ├─CONTENTS.json + │ ├─fitting_stats.log + │ ├─ar122_msa_reps_r202.faa + │ ├─phylo_modelbf90ubog.json + │ └─ar122_r202_unroot.pplacer.tree + ├─radii/ + │ └─gtdb_radii.tsv + ├─fastani/ + │ ├─database/ + │ │ ├─GCF/ + │ │ └─GCA/ + │ └─genome_paths.tsv + ├─markers/ + │ ├─tigrfam/ + │ │ ├─tigrfam.hmm.h3f + │ │ ├─tigrfam.hmm + │ │ ├─individual_hmms/ + │ │ ├─tigrfam.hmm.h3m + │ │ ├─tigrfam.hmm.h3i + │ │ └─tigrfam.hmm.h3p + │ └─pfam/ + │ ├─Pfam-A.hmm.h3i + │ ├─generatePfamdat.py + │ ├─Pfam-A.hmm.h3p + │ ├─individual_hmms/ + │ ├─Pfam-A.hmm + │ ├─Pfam-A.hmm.h3m + │ ├─Pfam-A.hmm.h3f + │ └─Pfam-A.hmm.dat + ├─manifest.tsv + ├─mrca_red/ + │ ├─gtdbtk_r202_bac120.tsv + │ └─gtdbtk_r202_ar122.tsv + └─taxonomy/ + └─gtdb_taxonomy.tsv + +Folder structur from: https://data.gtdb.ecogenomic.org/releases/release207/207.0/auxillary_files/gtdbtk_r207_data.tar.gz + :: + + release207/ + ├─pplacer/ + │ ├─gtdb_r207_ar53.refpkg/ + │ │ ├─fitting_stats_merge.log + │ │ ├─ar53_msa_reps_r207.faa + │ │ ├─phylo_model1xblv9t2.json + │ │ ├─gtdb_r207_ar53_decorated_fullids_unrooted.tree + │ │ └─CONTENTS.json + │ └─gtdb_r207_bac120.refpkg/ + │ ├─bac120_msa_reps_r207.faa + │ ├─phylo_modeloxtr1_fu.json + │ ├─gtdb_r207_bac120_fasttree.log + │ ├─gtdb_r207_bac120_decorated_unrooted.tree + │ └─CONTENTS.json + ├─temp/ + ├─metadata/ + │ └─metadata.txt + ├─masks/ + │ ├─gtdb_r207_bac120.mask + │ └─gtdb_r207_ar53.mask + ├─msa/ + │ ├─gtdb_r207_bac120.faa + │ └─gtdb_r207_ar53.faa + ├─mrca_red/ + │ ├─gtdbtk_r207_bac120.tsv + │ └─gtdbtk_r207_ar53.tsv + ├─split/ + │ ├─high/ + │ │ ├─red/ + │ │ └─pplacer/ + │ └─low/ + │ ├─tree_mapping.tsv + │ ├─red/ + │ └─pplacer/ + ├─markers/ + │ ├─pfam/ + │ │ ├─Pfam-A.hmm.h3i + │ │ ├─Pfam-A.hmm.h3p + │ │ ├─generatePfamdat.py + │ │ ├─Pfam-A.hmm.h3m + │ │ ├─individual_hmms/ + │ │ ├─Pfam-A.hmm + │ │ ├─Pfam-A.hmm.dat + │ │ ├─Pfam-A.hmm.dat.origin + │ │ └─Pfam-A.hmm.h3f + │ └─tigrfam/ + │ ├─tigrfam.hmm.h3p + │ ├─tigrfam.hmm.h3i + │ ├─tigrfam.hmm.h3m + │ ├─individual_hmms/ + │ ├─tigrfam.hmm + │ └─tigrfam.hmm.h3f + ├─fastani/ + │ ├─database/ + │ │ ├─GCA/ + │ │ ├─GCF/ + │ │ └─gtdb.log + │ ├─empty_dir/ + │ ├─create_genome_paths.sh + │ └─genome_paths.tsv + ├─taxonomy/ + │ ├─bac120_taxonomy_r207_reps.tsv + │ ├─gtdb_taxonomy.tsv + │ └─ar53_taxonomy_r207_reps.tsv + └─radii/ + └─gtdb_radii.tsv + +Folder structur from: https://data.gtdb.ecogenomic.org/releases/release214/214.1/auxillary_files/gtdbtk_r214_data.tar.gz + :: + + release214/ + ├─pplacer/ + │ ├─gtdb_r214_bac120.refpkg/ + │ │ ├─gtdb_r214_bac120_fasttree.log + │ │ ├─phylo_model15qtkqsz.json + │ │ ├─gtdb_r214_bac120_decorated_unrooted.tree + │ │ ├─bac120_msa_r214.faa + │ │ └─CONTENTS.json + │ └─gtdb_r214_ar53.refpkg/ + │ ├─ar53_msa_r214.faa + │ ├─gtdb_r214_ar53_decorated_unrooted.tree + │ ├─fitting_stats.log + │ ├─phylo_model9npj926p.json + │ └─CONTENTS.json + ├─temp/ + ├─taxonomy/ + │ ├─gtdb_taxonomy.tsv + │ ├─ar53_taxonomy_r214_reps.tsv + │ └─bac120_taxonomy_r214_reps.tsv + ├─mrca_red/ + │ ├─gtdbtk_r214_ar53.tsv + │ └─gtdbtk_r214_bac120.tsv + ├─split/ + │ ├─backbone/ + │ │ ├─red/ + │ │ └─pplacer/ + │ └─class_level/ + │ ├─tree_mapping.tsv + │ ├─red/ + │ └─pplacer/ + ├─msa/ + │ ├─gtdb_r214_ar53.faa + │ └─gtdb_r214_bac120.faa + ├─radii/ + │ └─gtdb_radii.tsv + ├─mash/ + ├─markers/ + │ ├─pfam/ + │ │ ├─Pfam-A.hmm.h3p + │ │ ├─individual_hmms/ + │ │ ├─Pfam-A.hmm.h3i + │ │ ├─Pfam-A.hmm.h3m + │ │ ├─generatePfamdat.py + │ │ ├─Pfam-A.hmm + │ │ ├─Pfam-A.hmm.dat.origin + │ │ ├─Pfam-A.hmm.dat + │ │ └─Pfam-A.hmm.h3f + │ └─tigrfam/ + │ ├─tigrfam.hmm.h3m + │ ├─tigrfam.hmm + │ ├─individual_hmms/ + │ ├─tigrfam.hmm.h3p + │ ├─tigrfam.hmm.h3i + │ └─tigrfam.hmm.h3f + ├─metadata/ + │ └─metadata.txt + ├─fastani/ + │ ├─database/ + │ │ ├─GCF/ + │ │ └─GCA/ + │ └─genome_paths.tsv + └─masks/ + ├─gtdb_r214_bac120.mask + └─gtdb_r214_ar53.mask + +Folder structur from: https://data.gtdb.ecogenomic.org/releases/release220/220.0/auxillary_files/gtdbtk_package/full_package/gtdbtk_r220_data.tar.gz + :: + + release220/ + ├─radii/ + │ └─gtdb_radii.tsv + ├─split/ + │ ├─class_level/ + │ │ ├─tree_mapping.tsv + │ │ ├─red/ + │ │ └─pplacer/ + │ └─backbone/ + │ ├─pplacer/ + │ └─red/ + ├─taxonomy/ + │ ├─ar53_taxonomy_r220_reps.tsv + │ ├─gtdb_taxonomy.tsv + │ └─bac120_taxonomy_r220_reps.tsv + ├─markers/ + │ ├─tigrfam/ + │ │ ├─tigrfam.hmm.h3i + │ │ ├─tigrfam.hmm.h3p + │ │ ├─tigrfam.hmm + │ │ ├─individual_hmms/ + │ │ ├─tigrfam.hmm.h3m + │ │ └─tigrfam.hmm.h3f + │ └─pfam/ + │ ├─Pfam-A.hmm.h3m + │ ├─Pfam-A.hmm.h3i + │ ├─Pfam-A.hmm.h3p + │ ├─Pfam-A.hmm.dat.origin + │ ├─Pfam-A.hmm.dat + │ ├─individual_hmms/ + │ ├─Pfam-A.hmm.h3f + │ ├─Pfam-A.hmm + │ └─generatePfamdat.py + ├─msa/ + │ ├─gtdb_r220_bac120.faa + │ └─gtdb_r220_ar53.faa + ├─masks/ + │ ├─gtdb_r220_ar53.mask + │ └─gtdb_r220_bac120.mask + ├─mrca_red/ + │ ├─gtdbtk_r220_ar53.tsv + │ └─gtdbtk_r220_bac120.tsv + ├─skani/ + │ ├─database/ + │ │ ├─GCF/ + │ │ └─GCA/ + │ ├─create_genome_paths.sh + │ └─genome_paths.tsv + ├─pplacer/ + │ ├─gtdb_r220_bac120.refpkg/ + │ │ ├─CONTENTS.json + │ │ ├─bac120_msa_r220.faa + │ │ ├─gtdb_r220_bac120_decorated_unrooted.tree + │ │ ├─gtdb_r220_bac120_fasttree.log + │ │ └─phylo_modelw962mykd.json + │ └─gtdb_r220_ar53.refpkg/ + │ ├─gtdb_r220_ar53_decorated_unrooted.tree + │ ├─CONTENTS.json + │ ├─phylo_model0lt93bak.json + │ ├─fitting_stats.log + │ └─ar53_msa_r220.faa + └─metadata/ + └─metadata.txt \ No newline at end of file