Mercurial > repos > artbio > facturation_ibps
changeset 0:27f2ef353554 draft
"planemo upload for repository https://github.com/ARTbio/tools-artbio/tree/master/tools/facturation_ibps commit 07c73df696d6d80e03f03232603d713882131625"
| author | artbio |
|---|---|
| date | Mon, 11 May 2020 19:42:27 -0400 |
| parents | |
| children | e93bf8bd0e93 |
| files | facturation.py facturation.xml requirements.txt template_SU.jpg template_facture_M_electronique.xlsx template_facture_M_electronique.xlsx.bak template_facture_M_photonique.xlsx template_facture_M_photonique.xlsx.bak test-data/Microscopie_Electronique-2018-67.html test-data/doublefacture.htm test-data/facture.htm test-data/testdouble.xlsx test-data/testfacture.xlsx test-data/testfacture_electronique.xlsx test-data/testfacture_electronique_reduc.xlsx |
| diffstat | 15 files changed, 434 insertions(+), 0 deletions(-) [+] |
line wrap: on
line diff
--- /dev/null Thu Jan 01 00:00:00 1970 +0000 +++ b/facturation.py Mon May 11 19:42:27 2020 -0400 @@ -0,0 +1,117 @@ +# -*- coding: utf-8 -*- + + +import argparse +import re +import warnings + +import openpyxl + +import pandas as pd + + +warnings.filterwarnings("ignore") + + +def Parser(): + the_parser = argparse.ArgumentParser() + the_parser.add_argument('--input', '-i', action='store', type=str, + help="input html code to convert to xlsx") + the_parser.add_argument('--output', '-o', action='store', type=str, + help='xlsx converted file') + the_parser.add_argument('--template', '-t', action='store', type=str, + help='xlsx template file') + the_parser.add_argument('--reduction', '-r', action='store', type=float, + help='reduction to apply', default=1.0) + args = the_parser.parse_args() + return args + + +def main(template, input_file, output_file, reduction): + """Script de parsing des fichiers de facturation de l'IBPS""" + + # ouverture fichier input + with open(input_file, 'rb') as file_object: + facture_html = file_object.read() + # convert to unicode utf-8, remove   and € + facture_html = facture_html.decode('utf-8') + facture_html = facture_html.replace(r' ', r' ') + facture_html = facture_html.replace(r' €', '') + facture_html = facture_html.replace(u' \u20ac', '') + # parsing de la référence, de la date et de la période de facturation + date = re.search(r'Paris le (.*?)</p>', + facture_html).group(1) + periode = re.search(r'de la prestation (.*?)</p>', + facture_html).group(1) + ref = re.search(r'rence interne d.*? :\s*(.*?)<', + facture_html).group(1) + + # parsing des tableaux html avec pandas + facture_parsed = pd.read_html( + facture_html, + thousands='', + decimal='.', + flavor='bs4') + # remove 'Adresse de l'appel à facturation : ' (\xa0:\xa0) + adresse = facture_parsed[0].replace( + r"Adresse de l\'appel \xe0 facturation : ", r'', regex=True) + adresse = adresse.replace( + r"Adresse du client : ", r'', regex=True) + elements = facture_parsed[1] + + # conversion des noms de colonnes + elements_col = elements.iloc[0] + cout_col = elements_col.str.extract(r'(cout.*)', + expand=False).dropna().iloc[0] + elements = elements.rename(columns=elements_col).drop( + elements.index[0]) + + # changement du type des éléments numériques du tableau + elements[u'nombre(s)'] = pd.to_numeric(elements[u'nombre(s)']) + elements[cout_col] = pd.to_numeric(elements[cout_col]) + + # ouverture fichier output + facture_output = openpyxl.load_workbook( + template, data_only='True', keep_vba=False) + ws = facture_output.worksheets[0] + + # rajout de l'image de SU qui ne survit pas à la conversion + img = openpyxl.drawing.image.Image('template_SU.jpg') + img.anchor = "A1" + ws.add_image(img) + + # ajout des éléments facturés dans le tableau + element_row = 23 + for i in range(len(elements)): + element_row += 1 + ws.cell(row=element_row, column=1, value=elements.iloc[i][u'Objet']) + ws.cell( + row=element_row, + column=2, + value=elements.iloc[i][u'nombre(s)']).number_format = '0.00' + ws.cell( + row=element_row, + column=4, + value=((1-reduction) * + elements.iloc[i][cout_col])).number_format = '0.00' + + # ajout de l'adresse + address_row = 7 + for i in range(len(adresse)): + address_row += 1 + ws.cell(row=address_row, column=3, + value=adresse.iloc[i, 0].encode('utf-8')) + + # ajout de la référence/période/date + ws.cell(row=2, column=3, value=ref.encode('utf-8')) + ws.cell(row=5, column=5, value=periode.encode('utf-8')) + ws.cell(row=21, column=5, value=date.encode('utf-8')) + + # export fichier output + facture_output.save(output_file) + return + + +if __name__ == '__main__': + args = Parser() + main(args.template, args.input, args.output, args.reduction)
--- /dev/null Thu Jan 01 00:00:00 1970 +0000 +++ b/facturation.xml Mon May 11 19:42:27 2020 -0400 @@ -0,0 +1,65 @@ +<tool id="facturation_ibps" name="IBPS facturation parser" version="0.6.0"> + <description /> + <requirements> + <requirement type="package" version="4.9.0">beautifulsoup4</requirement> + <requirement type="package" version="1.0.1">html5lib</requirement> + <requirement type="package" version="3.0.3">openpyxl</requirement> + <requirement type="package" version="1.0.3">pandas</requirement> + <requirement type="package" version="7.1.2=py38h9776b28_0">pillow</requirement> + </requirements> + <command detect_errors="exit_code"><![CDATA[ + cp $__tool_directory__/template_* . && + python $__tool_directory__/facturation.py + -t $__tool_directory__/"$template" + -r $reduction + -i $input + -o $output + ]]></command> + <inputs> + <param format="data" label="Fichier html source" name="input" type="data" /> + <param name="template" type="select" label="Service émetteur" help="Indiquer le service émetteur" > + <option value="template_facture_M_photonique.xlsx" >Microscopie Optique</option> + <option value="template_facture_M_electronique.xlsx" >Microscopie Electronique</option> + </param> + <param type="float" label="réduction à appliquer" name="reduction" value="0.00" + help="Entrer la réduction comme un nombre réel, ie si 20% réduction --> entrer '0.2'. + NB: cette réduction s'applique à l'ensemble des prestations du tableau" /> + </inputs> + <outputs> + <data format="xlsx" name="output" label="${input.name}.xlsx" /> + </outputs> + <tests> + <test> + <param ftype="txt" name="input" value="doublefacture.htm" /> + <param name="template" value="template_facture_M_photonique.xlsx" /> + <output file="testdouble.xlsx" name="output" decompress="true" /> + </test> + <test> + <param ftype="txt" name="input" value="facture.htm" /> + <param name="template" value="template_facture_M_photonique.xlsx" /> + <output file="testfacture.xlsx" name="output" decompress="true" /> + </test> + <test> + <param ftype="txt" name="input" value="Microscopie_Electronique-2018-67.html" /> + <param name="template" value="template_facture_M_electronique.xlsx" /> + <output file="testfacture_electronique.xlsx" name="output" decompress="true" /> + </test> + <test> + <param ftype="txt" name="input" value="Microscopie_Electronique-2018-67.html" /> + <param name="template" value="template_facture_M_electronique.xlsx" /> + <param name="reduction" value="0.34" /> + <output file="testfacture_electronique_reduc.xlsx" name="output" decompress="true" /> + </test> + </tests> + <help> + +.. class:: infomark + +**What it does** + +Génère un fichier Excel de facturation à partir du fichier html du système actuel de l'IBPS. + + </help> + <citations /> +</tool> +
--- /dev/null Thu Jan 01 00:00:00 1970 +0000 +++ b/requirements.txt Mon May 11 19:42:27 2020 -0400 @@ -0,0 +1,5 @@ +openpyxl==2.5.9 +pandas==0.23.4 +bs4==0.0.1 +m3-PIL==1.1.7 +
--- /dev/null Thu Jan 01 00:00:00 1970 +0000 +++ b/test-data/Microscopie_Electronique-2018-67.html Mon May 11 19:42:27 2020 -0400 @@ -0,0 +1,105 @@ +<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" + "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> +<html xmlns="http://www.w3.org/1999/xhtml" lang="en" xml:lang="en"> +<head><title>Appel à facturation</title> +<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta http-equiv="Content-Language" content="en-us" /> +<!--LIST-BASED MENUS WITHOUT IDs OR CLASSES ON THE LIST ELEMENTS--> +<!-- tested in NN7, Opera, Firefox, IE6, IE5.5, IE5, on Windows and Safari and IE5 on Mac --> +<!--this continues the horizontal menu demo--> +<LINK rel=stylesheet TYPE="text/css" HREF="../pagedestyle.css"> +</head><body> +<div class='blocun'><p class='titrefact'><img src ='../images/ibps.jpg'> IBPS - Institut de Biologie Paris Seine - FR3631</p><br><br> + + + <table> + <tr><td align='left'> + + <input type='button' value='Imprimer cette page' onClick='window.print()'> + + +<form action='../envoi-melfacture/melpourfacture.php' method='post' > +<input type='hidden' name='nom' value='G.Naudin'> +<input type='hidden' name='idlabo' value='485'> +<input type='hidden' name='unite' value='L'Oréal-Département de physique et caracté'> +<input type='hidden' name='mel' value=''> +<input type='hidden' name='annee' value='2018'> +<input type='hidden' name='numfact' value='67'> +<input type='hidden' name='passe' value=''> +<input type='hidden' name='login' value='G.Naudin'> +<input type='hidden' name='prenom' value=''> +<input type='submit' value='Envoyer le mail' /></form> + + + <INPUT TYPE='button' VALUE='Retour'onClick='history.back()'> + + </td></tr></table><br><br> + + + + + <p class='soustitrefact'> Paris le 09-01-2019</p> + + <table class='tableauto'> + <tr><td>Adresse du client : L'Oréal-Département de physique et caracté - G.Naudin<tr><td>Caractérisation - Lettre-accord C131378<tr><td>L'Oréal Advance Research<tr><td>A avenue Eugène Schueller<tr><td>Batiment <tr><td>etage<tr><td>Aulnay sous Bois<tr><td>96160</td></tr></table><br><br> + + + <p class='soustitrefact'> Période de la prestation Octobre Novembre Decembre -2018 </p><br><br><p class='titrefact'>Service de Microscopie Electronique</p><p><table class='tablefact'> + + <td class='tableautd'>Objet + <td class='tableautd'>nombre(s) + <td class='tableautd'>cout séance * + <td class='tableautd' >total + <tr><td> <tr> + <td class='bordurequestionnaire'> Cryoplonge 11-2018 + <td class='centre'>2.00 + <td class='centre'>385.00 € + <td class='centre'>700.00 €<tr> + <td class='bordurequestionnaire'> ACE Leica - E-beam / Cryo 12-2018 + <td class='centre'>2.00 + <td class='centre'>190.00 € + <td class='centre'>346.00 €<tr> + <td class='bordurequestionnaire'> JEOL 2100 cryo - EFTEM 11-2018 + <td class='centre'>2.00 + <td class='centre'>225.00 € + <td class='centre'>410.00 €<tr> + <td class='bordurequestionnaire'> Ultracut UCT 10-2018 + <td class='centre'>1.00 + <td class='centre'>86.00 € + <td class='centre'>78.00 €<tr> + <td class='bordurequestionnaire'> Ultracut UCT 12-2018 + <td class='centre'>4.00 + <td class='centre'>86.00 € + <td class='centre'>312.00 €<tr> + <td class='bordurequestionnaire'> ZEISS GeminiSEM 500 CRYO 12-2018 + <td class='centre'>6.00 + <td class='centre'>251.00 € + <td class='centre'>1368.00 €</td></tr></table><p><table class='tablefact'><tr><td class='bordurequestionnaire'> Sous total du relevé système<td class='tableautdcenter'>3214 €</td><tr><td> <tr><td class='bordurequestionnaire'> Total HT du relevé<td class='tableautdcenter'>3214 €</td></td></tr></table></table><br><br> + + <table class='tablefact'><tr><td class='centre'> Votre nouvel avoir est de 4574.00 €<tr><td class='centre'>Le total de votre facture est de 3214.00 € pas de réduction sur ce forfait<tr><td id='rouge'><center>Compte tenu de votre avoir vous n'avez rien à régler le total HT est là à titre indicatif</center> + +</td></tr></table><br> + + <table class='tablefact'> + + + <tr><td class='bordurequestionnaire' id='rouge'>Total hors taxes sert au paiement interne<td class='tableautd' id='rouge'>3214.00 € + + <tr><td class='bordurequestionnaire'> Total TTC <td class='tableautd'>3856.80 € + </tr></table> <h5>Ce document est un relevé et ne peut tenir lieu de facture.<br> +Veuillez régulariser ce relevé en nous envoyant un bon de commande par mail à nadia.baghli@upmc.fr, soit par fax au 01 44 27 22 91<br><br><br><br><font color='blue'></font></h5><br> + <p class='soustitrefact' id='rouge'>Référence interne du relevé : Microscopie Electronique-2018 / 67</p></td></tr></table><br><p class='soustitrefact'> Utilisateurs de l'équipe : G.Naudin G.Naudin-follicule </p><br> + + + <p class='soustitrefact'>* le cout de séance ne tient pas compte du tarif autonome si celui-ci existe + + </p><br><br> <br> <table class='tablefactbordure'> + <tr><td class='centre'> IBPS - Institut de Biologie Paris Seine - FR3631 <tr><td class='centre'> 9 Quai St Bernard Bat B 7 étage Case 25 75252 Paris cedex 05 <tr><td class='centre'> Contact :Nadia Baghli Téléphone: 33-(0) 01 44 27 22 90 Fax: 33-(0) 01 44 27 22 91</td></tr></table><br><br> + + </body></html> + + + + + + + \ No newline at end of file
--- /dev/null Thu Jan 01 00:00:00 1970 +0000 +++ b/test-data/doublefacture.htm Mon May 11 19:42:27 2020 -0400 @@ -0,0 +1,63 @@ +<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> +<!-- saved from url=(0076)http://icps.cnrs.fr/basetechnique///////////facture-multiple/appeldouble.php --> +<html xmlns="http://www.w3.org/1999/xhtml" lang="en" xml:lang="en"><head><title>Double de facture</title> +<!--LIST-BASED MENUS WITHOUT IDs OR CLASSES ON THE LIST ELEMENTS--> +<!-- tested in NN7, Opera, Firefox, IE6, IE5.5, IE5, on Windows and Safari and IE5 on Mac --> +<!--this continues the horizontal menu demo--> +<link rel="stylesheet" type="text/css" href="./Double de facture_files/pagedestyle.css"> +</head><body> +<div class="blocun"><p class="titrefact"><img src="./Double de facture_files/ibps.jpg">Institut de Biologie Paris Seine - FR 3631</p><br><br> + <p class="titrefact">Service Imagerie</p><br> + + <table> + <tbody><tr><td align="left"> + + <input type="button" value="Imprimer cette page" onclick="window.print()"> + + + <input type="button" value="Retour" onclick="history.back()"> + + </td></tr></tbody></table><br><br> + + + + + <p class="soustitrefact"> Paris le 20-09-2018</p> + + <table class="tableauto"> + <tbody><tr><td>Adresse de l'appel à facturation : UMR 7622 - S.Schneider-Maunoury</td></tr><tr><td>Morphogénèse du Cerveau des Vertébrés</td></tr><tr><td> Université Pierre et Marie Curie </td></tr><tr><td>9 Quai St Bernard</td></tr><tr><td>Batiment C </td></tr><tr><td>7etage</td></tr><tr><td>Paris</td></tr><tr><td>75005</td></tr></tbody></table><br><br> + + + <p class="soustitrefact"> Période de la prestation 8- 2018 </p><br><br><p></p><table class="tablefact"> + <tbody><tr><td class="tableautd">Objet + </td><td class="tableautd">nombre(s) + </td><td class="tableautd">cout séance * + </td><td class="tableautd">total + + </td></tr><tr><td> </td></tr><tr> <td class="bordurequestionnaire"> Confocal SP5 Droit 8-2018 + </td><td class="centre"> 77.00 + </td><td class="centre"> 21.00 € + </td><td class="centre"> 1617.00 €</td></tr><tr> <td class="bordurequestionnaire"> Confocal SP5 Inversé 8-2018 + </td><td class="centre"> 14.00 + </td><td class="centre"> 21.00 € + </td><td class="centre"> 294.00 €</td></tr></tbody></table><p></p><table class="tablefact"><tbody><tr><td class="bordurequestionnaire"> Sous total des relevés systeme</td><td class="tableautd">1911 €</td></tr><tr><td> </td></tr><tr><td class="bordurequestionnaire"> Total ht du relevé</td><td class="tableautd" id="rouge">1911 €</td></tr></tbody></table><table class="tableauto"><tbody><tr><td> </td></tr><tr><td class="centre">Le total de votre relevé est de 1911.00 € <p></p><table class="tablefact"> + + <tbody><tr><td class="bordurequestionnaire" id="rouge"> Total hors taxes sert au paiement interne</td><td class="tableautd" id="rouge">1911.00 € + + </td></tr><tr><td class="bordurequestionnaire"> Total TTC </td><td class="tableautd">2293.20 € + + + </td></tr></tbody></table><br> <h5>Ce document est le double d'un relevé et ne peut tenir lieu de facture.<br> +Veuillez régulariser ce relevé en nous envoyant un bon de commande par mail à nadia.baghli@upmc.fr, soit par fax au 01 44 27 22 91<br><br><br><br><font color="blue"></font></h5><br> + <p class="soustitrefact" id="rouge">Référence interne de l'appel à facturation, à rappeler sur le bon de commande : imagerie-2018/ 217</p></td></tr></tbody></table><br><p class="soustitrefact"> Utilisateurs de l'équipe : A.Donati A.Andreu cervera F.Giudicelli C.Vesque </p><br> + + + + + <table class="tablefact"> + <tbody><tr><td class="sansbordure">* le cout de séance ne tient pas compte du tarif autonome si celui-ci existe + + </td></tr></tbody></table> <br> <br> + + <table class="tablefactbordure"> + <tbody><tr><td class="centre"> Institut de Biologie Paris Seine - FR 3631 </td></tr><tr><td class="centre"> 9 Quai St Bernard Bat B 7 étage Case 25 75252 Paris cedex 05 </td></tr><tr><td class="centre"> Contact :Nadia Baghli Téléphone: 33-(0) 01 44 27 22 90 Fax: 33-(0) 01 44 27 22 91</td></tr></tbody></table><br><br></div><div id="techsmith-snagitchrome-extension"></div></body></html>
--- /dev/null Thu Jan 01 00:00:00 1970 +0000 +++ b/test-data/facture.htm Mon May 11 19:42:27 2020 -0400 @@ -0,0 +1,79 @@ +<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" + "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> +<html xmlns="http://www.w3.org/1999/xhtml" lang="en" xml:lang="en"> +<head><title>Appel à facturation</title> +<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta http-equiv="Content-Language" content="en-us" /> +<!--LIST-BASED MENUS WITHOUT IDs OR CLASSES ON THE LIST ELEMENTS--> +<!-- tested in NN7, Opera, Firefox, IE6, IE5.5, IE5, on Windows and Safari and IE5 on Mac --> +<!--this continues the horizontal menu demo--> +<LINK rel=stylesheet TYPE="text/css" HREF="../pagedestyle.css"> +</head><body> +<div class='blocun'><p class='titrefact'><img src ='../images/ibps.jpg'> IBPS - Institut de Biologie Paris Seine - FR3631</p><br><br> + + + <table> + <tr><td align='left'> + + <input type='button' value='Imprimer cette page' onClick='window.print()'> + + +<form action='../envoi-melfacture/melpourfacture.php' method='post' > +<input type='hidden' name='nom' value='M.Trichet'> +<input type='hidden' name='idlabo' value='447'> +<input type='hidden' name='unite' value='IBPS-FR3631'> +<input type='hidden' name='mel' value=''> +<input type='hidden' name='annee' value='2018'> +<input type='hidden' name='numfact' value='58'> +<input type='hidden' name='passe' value=''> +<input type='hidden' name='login' value='M.Trichet'> +<input type='hidden' name='prenom' value=''> +<input type='submit' value='Envoyer le mail' /></form> + + + <INPUT TYPE='button' VALUE='Retour'onClick='history.back()'> + + </td></tr></table><br><br> + + + + + <p class='soustitrefact'> Paris le 09-11-2018</p> + + <table class='tableauto'> + <tr><td>Adresse du client : IBPS-FR3631 - M.Trichet<tr><td>Service de microscopie électronique<tr><td>IBPS-UPMC<tr><td>9 quai Saint Bernard<tr><td>Batiment <tr><td>etage<tr><td>Paris<tr><td>75005</td></tr></table><br><br> + + + <p class='soustitrefact'> Période de la prestation Octobre -2018 </p><br><br><p class='titrefact'>Service de Microscopie Electronique</p><p><table class='tablefact'> + + <td class='tableautd'>Objet + <td class='tableautd'>nombre(s) + <td class='tableautd'>cout séance * + <td class='tableautd' >total + <tr><td> <tr> + <td class='bordurequestionnaire'> Point Critique 10-2018 + <td class='centre'>1.00 + <td class='centre'>24.00 € + <td class='centre'>24.00 €</td></tr></table><p><table class='tablefact'><tr><td class='bordurequestionnaire'> Sous total du relevé système<td class='tableautdcenter'>24 €</td><tr><td> <tr><td class='bordurequestionnaire'> Total HT du relevé<td class='tableautdcenter'>24 €</td></td></tr></table><br><br></td></tr></table><br><br> + <table class='tablefact'> + + <tr><td class='bordurequestionnaire' id='rouge'>Total hors taxes sert au paiement interne<td class='tableautd' id='rouge'>24.00</font> € + + <tr><td class='bordurequestionnaire' > Total TTC <td class='tableautd'>28.80 € + </td></tr></table> <h5>Ce document est un relevé et ne peut tenir lieu de facture.<br> +Veuillez régulariser ce relevé en nous envoyant un bon de commande par mail à nadia.baghli@upmc.fr, soit par fax au 01 44 27 22 91<br><br><br><br><font color='blue'></font></h5><br> + <p class='soustitrefact' id='rouge'>Référence interne du relevé : Microscopie Electronique-2018 / 58</p></td></tr></table><br><p class='soustitrefact'> Utilisateurs de l'équipe : M.Trichet </p><br> + + + <p class='soustitrefact'>* le cout de séance ne tient pas compte du tarif autonome si celui-ci existe + + </p><br><br> <br> <table class='tablefactbordure'> + <tr><td class='centre'> IBPS - Institut de Biologie Paris Seine - FR3631 <tr><td class='centre'> 9 Quai St Bernard Bat B 7 étage Case 25 75252 Paris cedex 05 <tr><td class='centre'> Contact :Nadia Baghli Téléphone: 33-(0) 01 44 27 22 90 Fax: 33-(0) 01 44 27 22 91</td></tr></table><br><br> + + </body></html> + + + + + + + \ No newline at end of file