Repository 'ega_download_streamer'
hg clone https://toolshed.g2.bx.psu.edu/repos/yhoogstrate/ega_download_streamer

Changeset 0:0add1e8d751a (2016-03-29)
Next changeset 1:5bfcb2bffd03 (2016-03-29)
Commit message:
planemo upload for repository https://github.com/ErasmusMC-Bioinformatics/ega_client_galaxy_wrapper commit 72bbd9452fb48044cfafb0074b49a67a8530ff9c-dirty
added:
ega_download_streamer.xml
test-data/EGAF00001059069.fastq
tool_dependencies.xml
b
diff -r 000000000000 -r 0add1e8d751a ega_download_streamer.xml
--- /dev/null Thu Jan 01 00:00:00 1970 +0000
+++ b/ega_download_streamer.xml Tue Mar 29 03:54:13 2016 -0400
[
@@ -0,0 +1,92 @@
+<tool id="ega_download_streamer" name="EGA Download streamer" version="2.1.6.g0">
+    <description>data from the European Genome-phenome Archive in a secure manner</description>
+    <requirements>
+        <requirement type="package" version="2.1.6">EGA_download_streamer</requirement>
+    </requirements>
+    <stdio>
+        <!-- Anything other than zero is an error -->
+        <regex match="Login failed" source="both" level="fatal"/>
+        <exit_code range="1:" />
+        <exit_code range=":-1" />
+    </stdio>
+    <version_command>java -jar $EGA_DOWNLOAD_STREAMER_ROOT_DIR/jars/EgaDemoClient.jar -version | grep -i Version | grep -v -i new</version_command>
+    <command><![CDATA[
+        #import random
+        #import string
+        
+        #set $encryption_key = ''.join(random.SystemRandom().choice(string.ascii_uppercase + string.ascii_lowercase + string.digits) for _ in range(2048))
+        #set $random_request_uid = 'request_'+str($ega_file_identifier)+'_'+''.join(random.SystemRandom().choice(string.ascii_uppercase + string.ascii_lowercase + string.digits) for _ in range(64))
+        
+        echo \$user > credentials.txt &&
+        echo \$pass >> credentials.txt &&
+        
+        echo "Creating an encryption request at server" && 
+        java -jar
+            "\$EGA_DOWNLOAD_STREAMER_ROOT_DIR/jars/EgaDemoClient.jar"
+            -pf "credentials.txt"
+            -rf "$ega_file_identifier"
+            -re "$encryption_key"
+            -label "${random_request_uid}" | grep -v "Login failed" && 
+        
+        echo "\n\n\nDownloading request" && 
+        java -jar
+            "\$EGA_DOWNLOAD_STREAMER_ROOT_DIR/jars/EgaDemoClient.jar"
+            -pf "credentials.txt"
+            -dr "${random_request_uid}"
+            -nt 7 > download.log && 
+        
+        cat download.log &&
+         
+        ## Commands below may fail if authentication was not a success
+        ENCRYPTED_FILES_NAME=\$(grep -oE "Completed Download Target:[ ]+(.*?)\.cip" download.log | sed -r "s/^Completed Download Target:[ ]+//" ) && 
+        DECRYPTED_FILES_NAME=\${ENCRYPTED_FILES_NAME%.cip} && 
+        
+        echo "\n\n\n Decrpyting \$ENCRYPTED_FILES_NAME to \$DECRYPTED_FILES_NAME" && 
+        java -jar
+            "\$EGA_DOWNLOAD_STREAMER_ROOT_DIR/jars/EgaDemoClient.jar"
+            -pf credentials.txt
+            -dc "\$ENCRYPTED_FILES_NAME"
+            -dck "$encryption_key" &&
+        
+        if file --mime-type "\$DECRYPTED_FILES_NAME" | grep -q /gzip$; then
+            echo "Unpacking as well" &&
+            gunzip -cf "\$DECRYPTED_FILES_NAME" > "$output" ;
+        else
+            mv "\$DECRYPTED_FILES_NAME" "$output" ;
+        fi ;
+        
+        echo "Cleaning up credentials" && 
+        echo "overwriten" > "credentials.txt" && 
+        rm "credentials.txt"
+    ]]></command>
+    <inputs>
+        <param name="ega_file_identifier" type="text" value="" label="Identifier of the file in EGA" />
+    </inputs>
+    <outputs>
+        <data name="output" auto_format="true" label="${tool.name} on ${ega_file_identifier}" />
+    </outputs>
+    <tests>
+        <test>
+            <param name="ega_file_identifier" value="EGAF00001059069" />
+            
+            <output name="output" file="EGAF00001059069.fastq" />
+        </test>
+    </tests>
+    
+    <help>
+**What it does**
+
+Individual files or whole datasets may be downloaded from European Genome-phenome Archive (EGA) in a secure manner by first placing a download request and then downloading the file/s associated with the request. All files are automatically encrypted prior to streaming and must be decrypted using the streamer after download is complete. 
+
+To download a given dataset, the user should provide the corresponding EGA file identifier (e.g. EGAF00001059069).
+
+**Configuration**
+
+The admin has to configure the server such that the environment variables $user and $pass are exported and reflect the credentials of the EGA account. The user and password shall not be visible to users. This can also be done in the config/jobs_conf.xml file.
+
+https://www.ebi.ac.uk/ega/about/your_EGA_account/download_streaming_client
+    </help>
+    
+    <citations>
+    </citations>
+</tool>
b
diff -r 000000000000 -r 0add1e8d751a test-data/EGAF00001059069.fastq
--- /dev/null Thu Jan 01 00:00:00 1970 +0000
+++ b/test-data/EGAF00001059069.fastq Tue Mar 29 03:54:13 2016 -0400
b
b'@@ -0,0 +1,332 @@\n+@test_chimeric_mRNA_0\n+CAAACTCCTGATCCAGTTTAACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAG\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_2\n+AACTCCTGATCCAGTTTAACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_4\n+CTCCTGATCCAGTTTAACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_6\n+CCTGATCCAGTTTAACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTG\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_8\n+TGATCCAGTTTAACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_10\n+ATCCAGTTTAACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTA\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_12\n+CCAGTTTAACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAAT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_14\n+AGTTTAACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_16\n+TTTAACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_18\n+TAACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_20\n+ACTCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_22\n+TCACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_24\n+ACCAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTCAA\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_26\n+CAAATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTCAAGG\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_28\n+AATTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTCAAGGGT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_30\n+TTATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTCAAGGGTTT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_32\n+ATAGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTCAAGGGTTTTG\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_34\n+AGCCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTCAAGGGTTTTGGT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_36\n+CCATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTCAAGGGTTTTGGTCC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_38\n+ATACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTCAAGGGTTTTGGTCCGC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_40\n+ACAGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTCAAGGGTTTTGGTCCGCCC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_42\n+AGACCCAAATTTTAAATCATATCACGCGACTAGCCTCTGCTTAATTTCTGTGCTCAAGGGTTTTGGTCCGCCCGA\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@te'..b't_chimeric_mRNA_122\n+ATCGTAAGGAACAGCCGATCTTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_124\n+CGTAAGGAACAGCCGATCTTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAG\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_126\n+TAAGGAACAGCCGATCTTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_128\n+AGGAACAGCCGATCTTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_130\n+GAACAGCCGATCTTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_132\n+ACAGCCGATCTTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_134\n+AGCCGATCTTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCAC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_136\n+CCGATCTTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_138\n+GATCTTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTAC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_140\n+TCTTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACAC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_142\n+TTAATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTA\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_144\n+AATGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACG\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_146\n+TGGATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACGCT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_148\n+GATGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACGCTAA\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_150\n+TGGCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACGCTAACG\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_152\n+GCCGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACGCTAACGGG\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_154\n+CGCAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACGCTAACGGGCG\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_156\n+CAGGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACGCTAACGGGCGAT\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_158\n+GGTGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACGCTAACGGGCGATTC\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_160\n+TGGTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACGCTAACGGGCGATTCTA\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_162\n+GTATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACGCTAACGGGCGATTCTATA\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n+@test_chimeric_mRNA_164\n+ATGGAAGCTATAAGCGCGGGTGAGAGGGTAATTAGGCGTGTTCACCTACACTACGCTAACGGGCGATTCTATAAG\n++\n+IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII\n'
b
diff -r 000000000000 -r 0add1e8d751a tool_dependencies.xml
--- /dev/null Thu Jan 01 00:00:00 1970 +0000
+++ b/tool_dependencies.xml Tue Mar 29 03:54:13 2016 -0400
b
@@ -0,0 +1,6 @@
+<?xml version="1.0"?>
+<tool_dependency>
+    <package name="EGA_download_streamer" version="2.1.6">
+        <repository changeset_revision="04fdd0070044" name="package_ega_download_streamer_2_1_6" owner="yhoogstrate" toolshed="https://toolshed.g2.bx.psu.edu" />
+    </package>
+</tool_dependency>