Repository 'cravat_annotate_mutations'
hg clone https://toolshed.g2.bx.psu.edu/repos/in_silico/cravat_annotate_mutations

Changeset 28:4ca9ce54642f (2018-07-18)
Previous changeset 27:a7e641d146f5 (2018-07-18) Next changeset 29:738770b07556 (2018-07-18)
Commit message:
Uploaded
added:
cravat_annotate/cravat_annotate.py
cravat_annotate/cravat_annotate.xml
removed:
cravat_convert/__pycache__/base_converter.cpython-36.pyc
cravat_convert/__pycache__/vcf_converter.cpython-36.pyc
cravat_convert/base_converter.py
cravat_convert/cravat_convert.py
cravat_convert/cravat_convert.xml
cravat_convert/vcf_converter.py
b
diff -r a7e641d146f5 -r 4ca9ce54642f cravat_annotate/cravat_annotate.py
--- /dev/null Thu Jan 01 00:00:00 1970 +0000
+++ b/cravat_annotate/cravat_annotate.py Wed Jul 18 10:25:55 2018 -0400
[
@@ -0,0 +1,128 @@
+import requests
+import json
+import sys
+import re
+import argparse
+from __future__ import print_function
+
+
+# The endpoint that CravatQuerys are submitted to
+endpoint = 'http://www.cravat.us/CRAVAT/rest/service/query'
+
+
+# newline and delimiter values used in the output file
+delimiter = "\t"
+newline = "\n"
+
+
+# Defualt indices for intepretting a cravat file's row of data in to a CravatQuery
+cr_mapping = {
+ 'chromosome': 1,
+ 'position': 2,
+ 'strand': 3,
+ 'reference': 4,
+ 'alternate': 5
+}
+
+
+# The neccessary attributes neeeded to submit a query.
+query_keys = [
+ 'chromosome', 'position', 'strand', 'reference', 'alternate'
+]
+
+
+# Expected response keys from server. Ordered in list so that galaxy output has uniform column ordering run-to-run.
+# If cravat server returns additional keys, they are appended to and included in output.
+ordered_keys = [
+ "Chromosome", "Position", "Strand", "Reference base(s)", "Alternate base(s)",
+ "HUGO symbol", "S.O. transcript", "Sequence ontology protein change", "Sequence ontology",
+ "S.O. all transcripts", "gnomAD AF", "gnomAD AF (African)", "gnomAD AF (Amrican)",
+ "gnomAD AF (Ashkenazi Jewish)", "gnomAD AF (East Asian)", "gnomAD AF (Finnish)",
+ "gnomAD AF (Non-Finnish European)", "gnomAD AF (Other)", "gnomAD AF (South Asian)",
+ "1000 Genomes AF", "ESP6500 AF (average)", "ESP6500 AF (European American)",
+ "ESP6500 AF (African American)", "COSMIC transcript", "COSMIC protein change", 
+ "COSMIC variant count [exact nucleotide change]", "cosmic_site_nt", "CGL driver class",
+ "TARGET", "dbSNP", "cgc_role", "cgc_inheritance", "cgc_tumor_type_somatic",
+ "cgc_tumor_type_germline", "ClinVar", "ClinVar disease identifier", "ClinVar XRef",
+ "GWAS Phenotype (GRASP)", "GWAS PMID (GRASP)", "Protein 3D variant"
+]
+
+
+def get_args():
+    parser = argparse.ArgumentParser()
+    parser.add_argument('--input',
+                            '-i',
+                            required = True,
+                            help='Input path to a cravat file for querying',)
+    parser.add_argument('--output',
+                            '-o',
+                            default = None,
+                            help = 'Output path to write results from query')
+    return parser.parse_args()
+
+
+def format_chromosome(chrom):
+ """ : Ensure chromosome entry is propely formatted for use as querying attribute. """
+ if chrom[0:3] == 'chr':
+ return chrom
+ return 'chr' + str(chrom)
+
+
+def get_query_string(row):
+ """ : From a row dict, return a query string for the Cravat server.
+ : The row dict is cravat headeres associated to their values of that row.
+ """
+ return '_'.join([ row['chromosome'], row['position'], row['strand'], row['reference'], row['alternate'] ])
+
+
+def query(in_path, out_path):
+ """ : From a Cravat the file at in_path, query each line on the Cravat server.
+ : Write the response values to file at out_path.
+ """
+ with open(in_path, 'r') as in_file, \
+ open(out_path, 'w') as out_file:
+ for line in in_file:
+ try:
+ line = line.strip().split('\t')
+ # row is dict of cravat col headers assioted values in this line
+ row = { header: line[index] for header, index in cr_mapping.items() }
+ row['chromosome'] = format_chromosome(row['chromosome'])
+ query_string = get_query_string(row)
+ call = requests.get(endpoint, params={ 'mutation': query_string })
+ if call.status_code != 200 or call.text == "":
+ raise requests.RequestException('Bad server response for query="{}". Respone code: "{}", Response Text: "{}"'
+ .format(query_string, call.status_code, call.text))
+ json_response = json.loads(call.text)
+ # See if server returned additional json key-vals not expected in ordered_keys
+ for key in json_response:
+ if key not in ordered_keys:
+ ordered_keys.append(key)
+ # Write key in order of ordered_keys to standardize order of output columns
+ wrote = False
+ for key in ordered_keys:
+ if key in json_response:
+ val = json_response[key]
+ else:
+ val = None
+ # Standardize format for  numeric values
+ try:
+ val = float(val)
+ val = format(val, ".4f")
+ except:
+ pass
+ if wrote:
+ out_file.write(delimiter)
+ out_file.write(str(val))
+ wrote = True
+ out_file.write(newline)
+ except Exception as e:
+ print(e, file=sys.stderr)
+ continue
+
+
+if __name__ == "__main__":
+ cli_args = get_args()
+ if cli_args.output == None:
+ base, _ = os.path.split(cli_args.input)
+ cli_args.output = os.path.join(base, "cravat_converted.txt") 
+ query(cli_args.input, cli_args.output)
b
diff -r a7e641d146f5 -r 4ca9ce54642f cravat_annotate/cravat_annotate.xml
--- /dev/null Thu Jan 01 00:00:00 1970 +0000
+++ b/cravat_annotate/cravat_annotate.xml Wed Jul 18 10:25:55 2018 -0400
[
@@ -0,0 +1,25 @@
+<tool id="cravat_query" name="CRAVAT Query" version="1.0.0">
+    <description>Queries CRAVAT for cancer annotation</description>
+  <command interpreter="python">cravat_annotate.py -i $input -o $output</command>
+  
+  <inputs>
+    <param format="tabular" name="input" type="data" label="Source file"/>
+  </inputs>
+  
+  <outputs>
+    <data format="tabular" name="output" />
+  </outputs>
+
+  <tests>
+    <test>
+      <param name="input" value="input_call.txt"/>
+      <output name="output" file="Galaxy23-[CRAVAT_Query_on_data_22].tabular"/>
+    </test>
+  </tests>
+
+  <help>
+    This tool queries CRAVAT for cancer annotation.
+  </help>
+
+</tool>
+
b
diff -r a7e641d146f5 -r 4ca9ce54642f cravat_convert/__pycache__/base_converter.cpython-36.pyc
b
Binary file cravat_convert/__pycache__/base_converter.cpython-36.pyc has changed
b
diff -r a7e641d146f5 -r 4ca9ce54642f cravat_convert/__pycache__/vcf_converter.cpython-36.pyc
b
Binary file cravat_convert/__pycache__/vcf_converter.cpython-36.pyc has changed
b
diff -r a7e641d146f5 -r 4ca9ce54642f cravat_convert/base_converter.py
--- a/cravat_convert/base_converter.py Wed Jul 18 10:25:44 2018 -0400
+++ /dev/null Thu Jan 01 00:00:00 1970 +0000
b
@@ -1,22 +0,0 @@
-class BaseConverter(object):
-    def __init__(self):
-        self.format_name = None
-    def check_format(self,*args,**kwargs):
-        err_msg = 'Converter for %s format has no method check_format' %\
-            self.format_name
-        raise NotImplementedError(err_msg)
-    def setup(self,*args,**kwargs):
-        err_msg = 'Converter for %s format has no method setup' %\
-            self.format_name
-        raise NotImplementedError(err_msg)
-    def convert_line(self,*args,**kwargs):
-        err_msg = 'Converter for %s format has no method convert_line' %\
-            self.format_name
-        raise NotImplementedError(err_msg)
-
-
-class BadFormatError(Exception):
-    def __init__(self, message, errors=None):
-        super(BadFormatError, self).__init__(message)
-        # Support for custom error codes, if added later
-        self.errors = errors
\ No newline at end of file
b
diff -r a7e641d146f5 -r 4ca9ce54642f cravat_convert/cravat_convert.py
--- a/cravat_convert/cravat_convert.py Wed Jul 18 10:25:44 2018 -0400
+++ /dev/null Thu Jan 01 00:00:00 1970 +0000
[
@@ -1,80 +0,0 @@
-import os
-import argparse
-from vcf_converter import CravatConverter
-from __future__ import print_function
-
-def get_vcf_mapping():
-    """ : VCF Headers mapped to their index position in a row of VCF values.
-        : These are only the mandatory columns, per the VCF spec.
-    """
-    return {
-        'CHROM': 0,
-        'POS': 1,
-        'ID': 2,
-        'REF': 3,
-        'ALT': 4,
-        'QUAL': 5,
-        'FILTER': 6,
-        'INFO': 7
-    }
-
-
-def get_args():
-    parser = argparse.ArgumentParser()
-    parser.add_argument('--input',
-                            '-i',
-                            required = True,
-                            help='Input path to a VCF file for conversion',)
-    parser.add_argument('--output',
-                            '-o',
-                            default = None,
-                            help = 'Output path to write the cravat file to')
-    return parser.parse_args()
-
-
-def convert(in_path, out_path=None, cr_sep='\t', cr_newline='\n'):
-    """ : Convert a VCF file to a Cravat file.
-        : Arguments:
-            : in_path: <str> path to input vcf file
-            : out_path: <str> path to output cravat file. Will defualt to cravat_converted.txt in the input directory.
-            : cr_sep: <str> the value delimiter for the output cravat file. Default value of '\\t'.
-            : out_newline: <str> the newline delimiter in the output cravat file. Default of '\\n'
-    """
-    if not out_path:
-        base, _ = os.path.split(in_path)
-        out_path = os.path.join(base, "cravat_converted.txt")
-    
-    with open(in_path, 'r') as in_file, \
-    open(out_path, 'w') as out_file:
-
-        # cr_count will be used to generate the 'TR' field of the cravat rows (first header)
-        cr_count = 0
-        # VCF lines are always assumed to be '+' strand, as VCF doesn't specify that attribute
-        strand = '+'
-        # VCF converter. Adjusts position, reference, and alternate for Cravat formatting.
-        converter = CravatConverter()
-        # A dictionary of mandatory vcf headers mapped to their row indices
-        vcf_mapping = get_vcf_mapping()
-
-        for line in in_file:
-            if line.startswith("#"):
-                continue
-            line = line.strip().split()
-            # row is dict of VCF headers mapped to corresponding values of this line
-            row = { header: line[index] for header, index in vcf_mapping.items() }
-            for alt in row["ALT"].split(","):
-                new_pos, new_ref, new_alt = converter.extract_vcf_variant(strand, row["POS"], row["REF"], alt)
-                new_pos, new_ref, new_alt = str(new_pos), str(new_ref), str(new_alt)
-                cr_line = cr_sep.join([
-                    'TR' + str(cr_count), row['CHROM'], new_pos, strand, new_ref, new_alt, row['ID']
-                ])
-                out_file.write(cr_line + cr_newline)
-                cr_count += 1
-
-
-if __name__ == "__main__":
-    cli_args = get_args()
-    if cli_args.output == None:
-        base, _ = os.path.split(cli_args.input)
-        cli_args.output = os.path.join(base, "cravat_converted.txt") 
-    convert(in_path = cli_args.input, out_path = cli_args.output)
b
diff -r a7e641d146f5 -r 4ca9ce54642f cravat_convert/cravat_convert.xml
--- a/cravat_convert/cravat_convert.xml Wed Jul 18 10:25:44 2018 -0400
+++ /dev/null Thu Jan 01 00:00:00 1970 +0000
b
@@ -1,20 +0,0 @@
-<tool id="cravat_convert" name="CRAVAT Convert" version="1.0.0">
-    <description>Converts a VCF format file to a Cravat format file</description>
-    <command interpreter="python">cravat_convert.py -i $input -o $output</command>
-  
-    <inputs>
-        <param format="tabular" name="input" type="data" label="Source file"/>
-    </inputs>
-  
-    <outputs>
-        <data format="tabular" name="output" />
-    </outputs>
-
-    <!-- <tests></tests> -->
-
-    <help>
-        Converts a VCF format file to a Cravat format file
-    </help>
-
-</tool>
-
b
diff -r a7e641d146f5 -r 4ca9ce54642f cravat_convert/vcf_converter.py
--- a/cravat_convert/vcf_converter.py Wed Jul 18 10:25:44 2018 -0400
+++ /dev/null Thu Jan 01 00:00:00 1970 +0000
[
b'@@ -1,243 +0,0 @@\n-"""\r\n-A module originally obtained from the cravat package. Modified to use in the vcf\r\n-converter galaxy tool.\r\n-\r\n-\r\n-Register of changes made (Chris Jacoby):\r\n-    1) Changed imports as galaxy tool won\'t have access to complete cravat python package\r\n-    2) Defined BadFormatError in BaseConverted file, as I didn\'t have the BadFormatError module\r\n-"""\r\n-\r\n-from base_converter import BaseConverter, BadFormatError\r\n-import re\r\n-\r\n-class CravatConverter(BaseConverter):\r\n-    \r\n-    def __init__(self):\r\n-        self.format_name = \'vcf\'\r\n-        self.samples = []\r\n-        self.var_counter = 0\r\n-        self.addl_cols = [{\'name\':\'phred\',\r\n-                           \'title\':\'Phred\',\r\n-                           \'type\':\'string\'},\r\n-                          {\'name\':\'filter\',\r\n-                           \'title\':\'VCF filter\',\r\n-                           \'type\':\'string\'},\r\n-                          {\'name\':\'zygosity\',\r\n-                           \'title\':\'Zygosity\',\r\n-                           \'type\':\'string\'},\r\n-                          {\'name\':\'alt_reads\',\r\n-                           \'title\':\'Alternate reads\',\r\n-                           \'type\':\'int\'},\r\n-                          {\'name\':\'tot_reads\',\r\n-                           \'title\':\'Total reads\',\r\n-                           \'type\':\'int\'},\r\n-                          {\'name\':\'af\',\r\n-                           \'title\':\'Variant allele frequency\',\r\n-                           \'type\':\'float\'}]\r\n-    \r\n-    def check_format(self, f): \r\n-        return f.readline().startswith(\'##fileformat=VCF\')\r\n-    \r\n-    def setup(self, f):\r\n-        \r\n-        vcf_line_no = 0\r\n-        for line in f:\r\n-            vcf_line_no += 1\r\n-            if len(line) < 6:\r\n-                continue\r\n-            if line[:6] == \'#CHROM\':\r\n-                toks = re.split(\'\\s+\', line.rstrip())\r\n-                if len(toks) > 8:\r\n-                    self.samples = toks[9:]\r\n-                break\r\n-    \r\n-    def convert_line(self, l):\r\n-        if l.startswith(\'#\'): return None\r\n-        self.var_counter += 1\r\n-        toks = l.strip(\'\\r\\n\').split(\'\\t\')\r\n-        all_wdicts = []\r\n-        if len(toks) < 8:\r\n-            raise BadFormatError(\'Wrong VCF format\')\r\n-        [chrom, pos, tag, ref, alts, qual, filter, info] = toks[:8]\r\n-        if tag == \'\':\r\n-            raise BadFormatError(\'ID column is blank\')\r\n-        elif tag == \'.\':\r\n-            tag = \'VAR\' + str(self.var_counter)\r\n-        if chrom[:3] != \'chr\':\r\n-            chrom = \'chr\' + chrom\r\n-        alts = alts.split(\',\')\r\n-        len_alts = len(alts)\r\n-        if len(toks) == 8:\r\n-            for altno in range(len_alts):\r\n-                wdict = None\r\n-                alt = alts[altno]\r\n-                newpos, newref, newalt = self.extract_vcf_variant(\'+\', pos, ref, alt)\r\n-                wdict = {\'tags\':tag,\r\n-                         \'chrom\':chrom,\r\n-                         \'pos\':newpos,\r\n-                         \'ref_base\':newref,\r\n-                         \'alt_base\':newalt,\r\n-                         \'sample_id\':\'no_sample\',\r\n-                         \'phred\': qual,\r\n-                         \'filter\': filter}\r\n-                all_wdicts.append(wdict)\r\n-        elif len(toks) > 8:\r\n-            sample_datas = toks[9:]\r\n-            genotype_fields = {}\r\n-            genotype_field_no = 0\r\n-            for genotype_field in toks[8].split(\':\'):\r\n-                genotype_fields[genotype_field] = genotype_field_no\r\n-                genotype_field_no += 1\r\n-            if not (\'GT\' in genotype_fields):\r\n-                raise BadFormatError(\'No GT Field\')\r\n-            gt_field_no = genotype_fields[\'GT\']\r\n-            for sample_no in range(len(sample_datas)):\r\n-                sample = self.samples[sample_no]\r\n-                sample_data = sample_datas[sample_no].split(\':\')\r\n-                gts = {}\r\n-                for gt in sample_data[gt_field_no].replace(\'/\', \'|\').split(\'|\'):\r\n-                  '..b'\r\n-                ref_reads = sample_data[genotype_fields[\'AD\']].split(\',\')[0]\r\n-                alt_reads = sample_data[genotype_fields[\'AD\']].split(\',\')[1]\r\n-            elif gt == max(gts.keys()):    \r\n-                #if geontype has multiple alt bases, then AD will have #alt1 reads, #alt2 reads\r\n-                alt_reads = sample_data[genotype_fields[\'AD\']].split(\',\')[1]\r\n-            else:\r\n-                alt_reads = sample_data[genotype_fields[\'AD\']].split(\',\')[0]                            \r\n-                             \r\n-        if \'DP\' in genotype_fields and genotype_fields[\'DP\'] <= len(sample_data): \r\n-            depth = sample_data[genotype_fields[\'DP\']] \r\n-        elif alt_reads != \'\' and ref_reads != \'\':\r\n-            #if DP is not present but we have alt and ref reads count, dp = ref+alt\r\n-            depth = int(alt_reads) + int(ref_reads)   \r\n-\r\n-        if \'AF\' in genotype_fields and genotype_fields[\'AF\'] <= len(sample_data):\r\n-            af = float(sample_data[genotype_fields[\'AF\']] )\r\n-        elif depth != \'\' and alt_reads != \'\':\r\n-            #if AF not specified, calc it from alt and ref reads\r\n-            af = float(alt_reads) / float(depth)\r\n- \r\n-        return depth, alt_reads, af\r\n-            \r\n-    def extract_vcf_variant (self, strand, pos, ref, alt):\r\n-\r\n-        reflen = len(ref)\r\n-        altlen = len(alt)\r\n-        \r\n-        # Returns without change if same single nucleotide for ref and alt. \r\n-        if reflen == 1 and altlen == 1 and ref == alt:\r\n-            return pos, ref, alt\r\n-        \r\n-        # Trimming from the start and then the end of the sequence \r\n-        # where the sequences overlap with the same nucleotides\r\n-        new_ref2, new_alt2, new_pos = \\\r\n-            self.trimming_vcf_input(ref, alt, pos, strand)\r\n-                \r\n-        if new_ref2 == \'\':\r\n-            new_ref2 = \'-\'\r\n-        if new_alt2 == \'\':\r\n-            new_alt2 = \'-\'\r\n-        \r\n-        return new_pos, new_ref2, new_alt2\r\n-    \r\n-    # This function looks at the ref and alt sequences and removes \r\n-    # where the overlapping sequences contain the same nucleotide.\r\n-    # This trims from the end first but does not remove the first nucleotide \r\n-    # because based on the format of VCF input the \r\n-    # first nucleotide of the ref and alt sequence occur \r\n-    # at the position specified.\r\n-    #     End removed first, not the first nucleotide\r\n-    #     Front removed and position changed\r\n-    def trimming_vcf_input(self, ref, alt, pos, strand):\r\n-        pos = int(pos)\r\n-        reflen = len(ref)\r\n-        altlen = len(alt)\r\n-        minlen = min(reflen, altlen)\r\n-        new_ref = ref\r\n-        new_alt = alt\r\n-        new_pos = pos\r\n-        # Trims from the end. Except don\'t remove the first nucleotide. \r\n-        # 1:6530968 CTCA -> GTCTCA becomes C -> GTC.\r\n-        for nt_pos in range(0, minlen - 1): \r\n-            if ref[reflen - nt_pos - 1] == alt[altlen - nt_pos - 1]:\r\n-                new_ref = ref[:reflen - nt_pos - 1]\r\n-                new_alt = alt[:altlen - nt_pos - 1]\r\n-            else:\r\n-                break    \r\n-        new_ref_len = len(new_ref)\r\n-        new_alt_len = len(new_alt)\r\n-        minlen = min(new_ref_len, new_alt_len)\r\n-        new_ref2 = new_ref\r\n-        new_alt2 = new_alt\r\n-        # Trims from the start. 1:6530968 G -> GT becomes 1:6530969 - -> T.\r\n-        for nt_pos in range(0, minlen):\r\n-            if new_ref[nt_pos] == new_alt[nt_pos]:\r\n-                if strand == \'+\':\r\n-                    new_pos += 1\r\n-                elif strand == \'-\':\r\n-                    new_pos -= 1\r\n-                new_ref2 = new_ref[nt_pos + 1:]\r\n-                new_alt2 = new_alt[nt_pos + 1:]\r\n-            else:\r\n-                new_ref2 = new_ref[nt_pos:]\r\n-                new_alt2 = new_alt[nt_pos:]\r\n-                break  \r\n-        return new_ref2, new_alt2, new_pos\r\n-\r\n-\r\n-if __name__ == "__main__":\r\n-    c = CravatConverter()\n\\ No newline at end of file\n'