on 27-Feb-2020 (Thu)

One of the most important string operations is split. It helps with separating data into pieces around a delimiter character. For example, the city column in the df dataframe here is split around the underscore character, returning an object with arrays of all the pieces for each row in the city column. To be clear, the city field now contains an array of strings rather than just the string. For the split function itself, notice that city_0 has been turned into two strings, city and zero. The same has been applied for each string in the city column.

The function contains, provides a simple way to check if a string has a given character in it. We already used this in our live video coding sessions before, but let’s look at this example when we check if any of the values in the city column contains two as a character. We see that only index two has it. So, the result is a boolean series with only one true value for that index two.

Using the replace operation, we can replace a substring with another one. For example, we are replacing the underscore character with two hashtags here.

The extract function will return the first match for a regular expression it finds. The top example here is a regular expression to extract words in a string and a bottom example is how we can extract the strings. In general, extract, can be a quick way to get new features and values. For example, you can use it to build a numeric feature out of text data like in the lower example.

In summary, string operations can be very handy in data cleaning. Please use the link provided here to get started on exploring more string operations to make yourself familiar with the rest of them.

As a reminder, the movies table has the title and genres columns. Both of these columns, however, have composite information. Let’s use some string operations to separate out the values here. When I said composite operation, I meant Toy Story has also the year, and genres has more than one genre, all stringed together by those pipe characters. So, we will start by the split function to convert each value in the genres into a separate column for each movie. We need to select the genres column from the movies, and on each row, or to that whole dataframe column, we will use the split function, str.split, with pipe as the separator. Normally, the split function will return a series of lists by providing expand true option here that we have given to the split operation. We make sure the output is not just a series of lists, but it’s an actual dataframe. We see it as a dataframe. So, let me run this, and . . . Display the first 10 rows in that new dataframe. Okay.

You can also add any column to detect each genre, if it’s comedy or not. This will be handy when creating new features in your machine learning course, later in the MicroMasters. What we are doing here is, now we split all the genres into a separate dataframe. So, when we look at that, this would be normally adventure, pipe, animation, pipe, children. So, we have this dataframe probably one of the rows has nine genres in it, which is why we have nine columns here. We will now add another one that says “True or false”, if the movie genres is comedy, and it will call that column isComedy. So, let’s run that, and select the first 10. Now, we see that last column is called isComedy, is added to the same movies genre dataframe, and it has true or false values.

Définitions L'hématurie est définie par la présence de plus de 10 hématies/mm 3 ou 10 000 hématies/ml émises dans les urines lors d'une miction. Chez la femme, la recherche d'une hématurie doit être réalisée en dehors d'une période menstruelle

Diagnostics positifs et différentiels de l'hématurie

La BU détecte la présence de sang dans les urines (≥ 5 hématies/mm 3 ) grâce aux propriétés peroxydasiques de l'hémoglobine. La sensibilité de cet examen est de 90 %, mais il existe des faux positifs : myoglobinurie, hémoglobinurie, porphyrie, prise médicamenteuse, consomma- tion de betterave

Diagnostics différentiels de l'hématurie

Hémorragie de voisinage

• Urétrorragie (persistance d'un saignement en dehors des mictions). • Génitale (menstruations, métrorragies), hémospermie.

Coloration d'origine alimentaire • Betteraves, mûres, myrtilles, rhubarbe, chou rouge, colorant alimentaire : rhodamine B.

Coloration liée à une prise médicamenteuse • Antibiotiques : rifampicine, érythromycine, métronidazole. • Anti-inflammatoires : acide aminosalicylique, salazopyrine, ibuprofène. • Vitamine : B12. • Laxatifs contenant de la phénolphtaléine. • Contact avec un antiseptique : povidone-iodine, eau de Javel.

Origine métabolique • Hémoglobinurie par hémolyse. • Myoglobinurie par rhabdomyolyse. • Urobilinurie, porphyrie. • Intoxication : plomb, mercure

• Caractéristiques du saignement : – caractère cyclique ou non du saignement (endométriose) ; – présence de caillots ; – chronologie de l'hématurie sur le temps mictionnel : – initiale (survenant au début de la miction) : suggère une localisation urétroprostatique, – terminale (en fin de miction) : signe une localisation vésicale, – totale (sur toute la durée de la miction) : peut être d'origine rénale, cependant en cas d'hématurie abondante, elle n'a pas de valeur localisatrice

Examen physique • Recherche de signes de gravité indispensable : – évaluation du retentissement hémodynamique en cas d'hématurie macroscopique : tachycardie, hypotension artérielle, marbrures… – recherche de signes d'anémie aiguë ou chronique : polypnée, pâleur cutanéomuqueuse ; – recherche de signes évocateurs d'une hypertension maligne en cas de néphropathie glomérulaire sévère. • Recherche d'un globe vésical (rétention aiguë sur caillotage) indispensable en cas d'héma- turie macroscopique par la palpation hypogastrique

Conduite à tenir symptomatique En cas d'hématurie macroscopique importante avec caillotage et/ou rétention aiguë d'urine, mise en place : • d'une sonde vésicale double courant avec mesures d'asepsie, en système clos. Réalisation d'un ECBU lors de la pose ; • d'irrigations/lavages en continu associés à des décaillotages à la seringue si nécessaire (fig. 13.3). Surveillance des volumes d'« entrée/sortie ». Contre-indication au cathéter sus-pubien. Toute hématurie pouvant révéler un cancer urothélial, la pose d'un cathéter pourrait aggraver le stade d'une éventuelle lésion en réalisant une dissémination le long de son trajet

• Recherche de signes d'orientation étiologique : – palpation des fosses lombaires : un contact lombaire évoque une tumeur ou une polykystose ; – une douleur à la percussion évocatrice de colique néphrétique (par lithiase ou caillotage de la voie excrétrice) ; – une varicocèle (signe de compression de la veine spermatique gauche ou de la veine cave) est parfois évocatrice d'une tumeur rénale gauche ; – les touchers pelviens sont requis à la recherche d'une hypertrophie ou d'un cancer prostatique, ou d'une masse pelvienne ; – l'inspection et la palpation des membres inférieurs doivent rechercher des œdèmes

Protéinurie des 24 heures L'existence d'une protéinurie est possiblement liée à la présence de sang en grande quan- tité dans les urines. Elle doit donc être recherchée en dehors d'un épisode d'hématurie macroscopique. Son taux est évocateur d'une atteinte glomérulaire au-delà de 0,5 g/24 h

L'échographie est de par son innocuité et son accessibilité l'examen morphologique de 1 re intention (PCZ). Cependant, sa sensibilité est limitée pour les lésions de petite taille, et sa négativité ne dispense pas d'une imagerie plus sensible

L'uroscanner est l'examen de référence pour l'étude du parenchyme rénal et des voies excrétrices urinaires supérieures. Il n'est toutefois pas proposé en première intention lors du bilan d'une hématurie. Il a remplacé en pratique clinique l'urographie intraveineuse (UIV). En cas de contre-indication, il sera rem- placé par une uro-IRM.

Les examens complémentaires à réaliser en première intention pour explorer une hématurie sont : • l'ECBU avec analyse quantitative et qualitative ; • la créatininémie ; • la protéinurie des 24 h ; • l'échographie rénovésicale ou réno-vésico-prostatique (homme). Tous les autres examens (urologiques ou néphrologiques) seront réalisés de manière orientée en fonction des résultats du bilan de première intention et non de manière systématique

La cystoscopie est un examen important du bilan d'hématurie. Elle est réalisée : • en cas de suspicion de tumeur vésicale à l'échographie ou au scanner ; • en cas d'hématurie isolée avec facteurs de risque : patient de plus de 50 ans, tabac, exposition profes- sionnelle, origine ethnique évocatrice de bilharziose

Urétrocystoscopie Elle est réalisée en consultation après instillation d'un gel anesthésique local intra-urétral. La réalisation d'un ECBU n'est plus recommandée de manière systématique avant une cystos- copie diagnostique. Cet examen est effectué le plus souvent avec un cystoscope souple. Elle permet l'exploration de l'urètre, de la paroi vésicale et des méats urétéraux.

Urétéroscopie Elle est réalisée sous anesthésie générale au bloc opératoire et permet l'exploration du haut appareil urinaire

Cytologie urinaire Elle est réalisée idéalement sur les urines du matin, ou lors d'un examen endoscopique. Cet examen est proposé dans les mêmes conditions que la cystoscopie, selon les résultats du bilan étiologiques de première intention. La cytologie urinaire a une sensibilité élevée pour la détection des cellules tumorales de haut grade (avec une sensibilité de plus de 90 % dans la détection du CIS vésical), mais présente une faible sensibilité pour les tumeurs de bas grade

La démarche diagnostique doit rechercher en 1 re intention les causes les plus fréquentes ou présentant un caractère de gravité : • tumeurs urothéliales +++ (vessie, voie excrétrice supérieure), rénales ; • infections urinaires ++, lithiases ; • néphropathies. Lors d'une hématurie macroscopique isolée, le bilan doit éliminer une origine urologique avant de s'orienter vers une cause néphrologique. Un traitement anticoagulant peut favoriser une hématurie mais n'est jamais à considérer comme responsable de 1 re intention. Il ne doit pas dispenser d'un bilan onco-urologique exhaustif

Néphropathies vasculaires

Nécrose papillaire
• Il s'agit d'une nécrose ischémique plus ou moins étendue des papilles rénales.

• Causes multiples :
– vasculaires directes : athérosclérose, spasme vasculaire…
– indirectes : compression des vaisseaux de la médullaire par une infection ou une inflammation du tissu interstitiel et l'augmentation de la pression intrapyélique ;
– causes les plus fréquentes : diabète, néphropathie médicamenteuse aux analgésiques, uropathie obstructive, néphropathies interstitielles, pyélonéphrite.

• Elle se présente comme une colique néphrétique (par migration des fragments papillaires dans l'uretère), possiblement associée à une hyperthermie et/ou une insuffisance rénale.

• Le diagnostic repose sur l'imagerie injectée (uroscanner) mettant en évidence une amputation calicielle.

Generalized linear models with nonlinear feature transformations are widely used for large-scale regression and classification problems with sparse inputs.

Memorization of feature interactions through a wide set of cross-product feature transformations are effective and interpretable, while generalization requires more feature engineering effort.

Infarctus rénal • Notion de terrain à risque : post-traumatique, drépanocytose, maladie à potentiel throm- boembolique (ACFA). • Se manifeste par une hématurie associée à un tableau de douleur lombaire brutale diffici- lement calmée par les antalgiques. • Le diagnostic est réalisé par un scanner abdominopelvien injecté, une angio-IRM ou une échographie-Doppler. • La prise en charge doit se faire en urgence (dans les 6 heures) par reperméabilisation de l'artère rénale par voie radio-interventionnelle (stent) ou chirurgicale (thrombectomie) sous peine d'ischémie définitive.

Autres étiologies Les hématuries d'effort surviennent après une activité physique prolongée. Le plus souvent microscopiques (80 % des cas). Le mécanisme de ces hématuries est mixte associant des micro- traumatismes rénaux ou vésicaux (en rapport avec l'exercice) et une perméabilité glomérulaire accrue pendant l'effort. Elles nécessitent une réévaluation après quelques jours de repos

Hématurie microscopique isolée Il s'agit d'une situation fréquente où l'interrogatoire et le bilan étiologique de première intention ne per- mettent pas d'orienter vers une cause (absence de symptomatologie associée urologique ou néphrolo- gique, absence de protéinurie ou d'insuffisance rénale, échographie de l'appareil urinaire normale). Dans cette situation le bilan doit systématiquement être complété par les investigations urologiques sui- vantes, à la recherche en particulier d'une tumeur de l'appareil urinaire : • cytologie urinaire ; • uroscanner ; • cystoscopie.

❯ Si orientation urologique, dans un deuxième temps : • cystoscopie, cytologie urinaire et uroscanner. Indispensables si facteurs de risque de carcinome urothélial. ❯ Si orientation néphrologique, dans un deuxième temps et selon l'orientation étiologique : • ponction-biopsie rénale. ❯ Hématurie isolée : réaliser systématiquement un bilan « urologique » (cystoscopie, cytologie, uroscanner) avant d'envisager une étiologie néphrologique

deep neural networks can generalize better to unseen feature combinations through low-dimensional dense embeddings learned for the sparse features.

Introduction La lithiase urinaire est une maladie multifactorielle qui aboutit à la formation de calculs dans la voie excrétrice urinaire. Les deux termes ne sont donc pas synonymes, le calcul étant la consé- quence de la lithiase. L'objectif est donc de traiter les calculs et de porter ensuite le diagnostic étiologique de lithiase urinaire pour adapter la prise en charge et éviter les récidives

Épidémiologie • L'incidence de la lithiase urinaire a pratiquement triplé depuis le début du XX e siècle. Cette évolution reflète les habitudes alimentaires des pays industrialisés avec une nette augmen- tation de la consommation de sel, de sucre et de protéines animales. L'insuffisance des apports hydriques est un facteur de risque supplémentaire. • En France, elle touche près de 2 millions de personnes et affecte deux hommes pour une femme. L'âge moyen de survenue du premier calcul est d'environ 40 ans chez la femme et 35 ans chez l'homme. Il existe chaque année en France environ 120 000 épisodes aigus de colique néphrétique (CN) dont près de 90 % sont liés aux calculs. La lithiase oxalocalcique est la plus fréquente

On dit que le lithiasique mange trop, mange mal, et ne boit pas assez.

Lithogenèse Un calcul est un agglomérat de cristaux liés par une matière organique. La lithogenèse est l'ensemble des processus qui vont conduire au développement d'un calcul dans les voies urinaires. Il existe sept étapes. • La sursaturation urinaire : l'excès de concentration d'une substance dans les urines par rapport aux capacités de dissolution de celles-ci. Ce phénomène est très important dans la lithogenèse. • La germination cristalline : des germes cristallins se forment à partir des ions de la sub stance en solution dans l'urine. • La croissance cristalline : les cristaux vont grossir en captant de nouvelles molécules pour arriver à former des particules plus volumineuses. • L'agrégation des cristaux : conduit à la formation de particules plus volumineuses mesurant jusqu'à plusieurs centaines de microns. • L'agglomération cristalline : apport de nouveaux cristaux pour former l'architecture du calcul. • La rétention des particules cristallines : les particules cristallines vont être retenues dans le rein et croître pour conduire à la formation du calcul. • La croissance du calcul : se fait à une vitesse variable, selon l'importance des anomalies physicochimiques de l'urine.

À ces phénomènes s'opposent des inhibiteurs de la cristallisation de faible poids moléculaire (citrate, magnésium, zinc, etc.) et de haut poids moléculaire (glycosaminoglycanes, glycoprotéines, etc.). Les sujets lithiasiques se différencient des autres par des urines en situation de sursaturation et par un déséquilibre entre les promoteurs et les inhibiteurs de la cristallisation.

Facteurs alimentaires • Apports alimentaires excessifs : – produits laitiers (favorisent l'hypercalciurie) ; – protéines animales (favorisent l'hypercalciurie) ; – sel (favorise l'hypercalciurie, bloque les inhibiteurs de la cristallisation) ; – aliments riches en oxalates (chocolat, fruits secs, épinards, oseille, rhubarbe, thé, bonbons dont la gélatine est riche en hydroxyproline précurseur de l'oxalate) ; – purines (abats, charcuterie,…) ; – sucres rapides tels que le fructose (favorisent l'hypercalciurie, l'hyperuricurie). • Diminution de la consommation de fibres alimentaires

Facteurs familiaux Il existe une histoire familiale chez plus d'un tiers des lithiasiques. D'autres formes de lithiase sont héréditaires et le plus souvent transmises sur un mode autosomique récessif. La cystinurie est la plus fréquente des maladies lithiasiques d'origine génétique

Infection urinaire Certains germes dits uréasiques, comme Proteus mirabilis, Klebsiella pneumoniae, ou Pseudomonas aeruginosa possèdent une enzyme, l'uréase, qui clive l'urée urinaire en ammoniac et dioxyde de carbone, ce qui occasionne la formation de calculs phospho-ammoniaco-magnésiens

Anomalies du pH urinaire • Le pH normal des urines est de 5,8. • Un pH acide, autour de 5, favorise la formation des calculs d'acide urique, de cystine et d'oxalate de calcium. • Un pH alcalin, autour de 7, favorise les calculs d'infection et les calculs phosphocalciques

Anomalies anatomiques Certaines anomalies anatomiques des reins ou de la voie excrétrice, telles que le syndrome de jonc- tion pyélo-urétérale, le diverticule caliciel, le rein en fer à cheval, le méga-uretère, favorisent la stase urinaire et donc la formation des calculs en présence d'anomalies métaboliques sous-jacentes. Il faut donc traiter le calcul, et l'anomalie anatomique, si cela est possible

Médicaments • Certains médicaments sont lithogènes par précipitation de la substance active dans les urines. Les médicaments le plus souvent incriminés sont l'atazanavir et l'indinavir, des antiprotéases utilisées dans les trithérapies anti VIH. Leurs cristaux peuvent précipiter à un pH alcalin et se solubiliser à un pH acide. Plus rarement, le cotrimoxazole, l'allopurinol, ou l'amiodarone, et les diurétiques thiazidiques peuvent être lithogènes. Ces calculs ont comme particularité d'être radiotransparents, et donc non visibles à l'ASP et peu visibles au scanner. • D'autres médicaments sont inducteurs de la lithogenèse en modifiant les paramètres biochimiques des urines (exemple la vitamine D qui favorise l'hypercalciurie)

L'analyse chimique n'a plus lieu d'être

Oxalates de calcium (mono- ou dihydratés) (fig. 14.1 et 14.2) Constituant le plus fréquent et qui existe essentiellement sous deux formes cristallines. La plus fréquente est la forme monohydratée (whewellite) qui est liée à une concentration urinaire excessive en oxalates, l'hyperoxalurie. L'autre forme est dihydratée (weddellite) et principale- ment liée à une hypercalciurie. Les calculs d'oxalate de calcium sont radio-opaques sur les clichés simples d'abdomen

Phosphates de calcium (fig. 14.3) Il en existe plusieurs variétés dont la plus fréquente est la carbapatite (ou phosphate de calcium carbonaté). Elle peut être liée à une augmentation du pH urinaire, à une hypercalciurie voire à une infection chronique de l'appareil urinaire. Ces calculs sont radio-opaques

Struvite Appelée encore phosphate ammoniaco magnésien hexahydraté, elle est liée à la présence d'une infection chronique de l'appareil urinaire par des germes ayant une enzyme appelée uréase (cf. plus haut). Ces calculs sont faiblement radio-opaques

Acides uriques (fig. 14.4) Il en existe deux formes : monohydratée et, plus fréquemment, dihydratée. L'hyperacidité urinaire et à un degré moindre l'hyperuricurie en sont les principales causes. Ces calculs sont radiotransparents

Urates Ils se forment dans des urines plutôt alcalines. L'urate d'ammonium est le plus fréquent. Il est faiblement radio-opaque

Cystine (fig. 14.5) Les calculs de cystine proviennent d'une anomalie génétique du transport des acides aminés dibasiques dans le tube proximal (maladie autosomique récessive). La cystine, formée de deux molécules de cystéine, est excrétée en grande quantité et sa faible solubilité urinaire la rend lithogène. Ces calculs sont faiblement radio-opaques

Composition des calculs Les calculs purs, constitués d'une seule espèce moléculaire et cristalline, représentent moins de 10 % de ceux rencontrés en pratique clinique. Dans plus de 80 % des cas, il existe au moins trois constituants différents, avec un constituant majoritaire

L'analyse morpho- constitutionnelle des calculs est donc un élément d'information déterminant et obligatoire dans l'exploration étiologique de tout patient lithiasique

Taille des calculs Elle varie de quelques millimètres à plusieurs centimètres. Un calcul est dit coralliforme s'il occupe la totalité des cavités pyélocalicielles

Circonstances de découverte La colique néphrétique (CN) est le symptôme le plus fréquent. La CN est un syndrome douloureux aigu lombo-abdominal lié à la mise en tension brutale de la voie excrétrice supérieure en amont d'une obstruction, quelle qu'en soit la cause. Cette définition ne préjuge donc pas de sa cause, mais dans plus de 90 % des cas elle est due à la présence d'un calcul obstructif. On dénombre environ 120 000 épisodes annuels en France, soit environ 1 % des consultations dans les services d'urgence

Facteurs favorisants • Voyage récent et prolongé. • Séjour en pays chaud. • Travail avec exposition à la chaleur. • Immobilisation prolongée. • Hydratation insuffisante. • Activité sportive. • Modification de l'alimentation

Aspects cliniques La douleur lombaire est unilatérale, brutale et intense avec une irradiation antérieure et oblique vers la fosse iliaque et vers les organes génitaux externes. Elle irradie parfois vers l'angle cos- tovertébral. Des signes urinaires (pollakiurie, brûlures mictionnelles, mictions impérieuses, hématurie) peuvent être associés ainsi que des signes digestifs (nausées, vomissements) et une agitation ou une anxiété. La douleur peut se limiter aux zones d'irradiation, en particulier à la phase initiale

La douleur peut céder spontanément, ce qui peut aussi traduire la rupture d'un fornix rénal avec extravasation d'urine en périrénal. La douleur peut être : • chronique, localisée au rein et à la fosse lombaire, sourde et exacerbée par l'activité ; • localisée à l'uretère ou à des zones de projection, pouvant alors être associée à des signes d'irritation vésicale (pollakiurie, impériosités), traduisant un calcul bloqué juste en amont de la vessie. À l'examen clinique, il existe une douleur à la palpation et à la percussion de la fosse lombaire sans défense abdominale. Dans les formes simples le patient est apyrétique. La bandelette urinaire est recommandée et montre une hématurie microscopique dans 70 à 100 % des cas. La présence de nitrites et de leucocytes à la bandelette impose de rechercher une infection en réalisant un ECBU.

Imagerie L'objectif est d'affirmer le diagnostic de CN, de déterminer sa cause et de rechercher des éléments de gravité. Le délai de réalisation des examens est fonction des critères évoqués dans le tableau : pour une forme simple il est de 12 à 48 heures

L'échographie recherche une dilatation pyélocalicielle et un calcul pyélique, lombaire haut ou prévésical (fig. 14.8 et 14.9). Elle explore très mal les autres portions de l'uretère. L'ASP recherche un calcul radio-opaque et montre souvent un iléus réflexe (fig. 14.10). L'association des deux offre une sensibilité de 80 à 90 % pour le diagnostic du calcul et de l'obstruction. L'irradiation délivrée est nettement inférieure à celle d'un scanner. Cet élément doit aussi être pris en compte chez les patients ayant déjà eu plusieurs scanners par le passé, afin de limiter le cumul des doses d'irradiation

La TDM AP sans injection a une sensibilité et une spécificité comprises entre 96 et 100 %. Outre le calcul et sa localisation précise, elle met en évidence (fig. 14.11 à 14.14) : • une dilatation pyélocalicielle ; • une néphromégalie ; • une infiltration de la graisse périrénale et péri urétérale et un épaississement urétéral au contact du calcul.

Le choix des examens est fonction du contexte clinique et de leur accessibilité : • en cas de colique néphrétique simple les recommandations proposent indifféremment le couple ASP échographie ou la TDM AP sans injection. La TDM n'est cependant pas préconisée pour le suivi évolutif des calculs et il faut lui préférer l'ASP et/ou l'échographie ; • en cas de forme compliquée, la TDM sans injection est indiquée en urgence car ce tableau clinique impose une certitude diagnostique quant à l'existence et la position de l'obstacle ; • dans le cas particulier de la femme enceinte, c'est l'échographie qui doit être réalisée en première intention, car elle ne délivre aucune irradiation ; • en cas de doute diagnostique, il faut informer le radiologue car la TDM doit être complétée par des clichés avec injection de produit de contraste. La TDM injectée devra comporter des clichés tardifs. Elle visera à rechercher tout diagnostic différentiel (cf. tableau 14.3), ainsi qu'une asymétrie d'excrétion, des signes de fuite de produit de contraste (urinome) et de toute autre complication, ainsi qu'une variante anatomique

Autre cause de colique néphrétique : le syndrome de la jonction pyélo-urétérale (<5 %) Il s'agit de la deuxième cause de colique néphrétique. Elle est due à une anomalie de la jonction pyélo-urétérale, primaire (achalasie de la paroi urétérale au niveau de la jonction) ou secondaire (fibrose de la jonction après une intervention ou une maladie). Dans les deux cas la vidange du bassinet ne se fait pas bien et il existe des douleurs par mise en tension pyélique. La TDM montre une dilatation du bassinet et parfois des calices (fig. 14.15 et 14.16). La scintigraphie rénale au MAG3 est utile pour confirmer l'obstruction et poser une indication opératoire (fig. 14.17). Des calculs rénaux peuvent être associés au syndrome de la jonction pyélo urétérale

Hématurie • Microscopique, très fréquente, facile à déceler par la bandelette réactive. • Macroscopique, plus rare et imposant toujours la recherche d'une autre cause car non spécifique.

Découverte fortuite Une radiographie de l'abdomen peut révéler un calcul rénal asymptomatique. En effet, certains calculs ne donnent lieu à aucune symptomatologie et sont parfaitement bien tolérés

Enquête étiologique Se fait à distance de tout épisode aigu et a pour objectif de porter le diagnostic étiologique de la lithiase urinaire

ASP • Réalisé de face en décubitus, très utile car 90 % des calculs sont radio opaques (cf. fig. 14.10). Les clichés de 3/4 homolatéraux permettent dans certains cas de dégager le trajet de l'uretère ilio-pelvien des structures osseuses

Échographie rénale et pelvienne • Cet examen peu invasif est couplé avec l'ASP. Les meilleures images (interface net et cône d'ombre) sont obtenues pour des calculs intrarénaux de plus de 4 mm (cf. fig. 14.9), ainsi que pour des calculs situés dans la portion rétrovésicale de l'uretère. Les calculs qui se situent dans les autres portions de l'uretère peuvent échapper à l'écho-détection. Un des intérêts majeurs de l'échographie est de pouvoir détecter un calcul radio transparent

TDM TAP avec et sans injections de produit de contraste • La TDM TAP sans injection est l'examen de référence dans l'urgence, pour le diagnostic des CN. Elle permet de voir les calculs radio transparents à l'ASP. • La TDM TAP avec injection de produit de contraste et clichés tardifs (uroscanner) est l'exa- men de référence dans le bilan étiologique. Elle est réalisée après avoir vérifié l'absence d'allergie aux produits de contraste, et l'absence d'insuffisance rénale. Elle fait apparaître avec précision la morphologie de la voie excrétrice et la localisation du calcul. On considère que tout patient lithiasique doit avoir au moins une fois dans sa vie un uroscan- ner pour connaître l'anatomie de la voie excrétrice. Cet examen est également important dans le choix de la stratégie thérapeutique.

Uro-IRM Quasiment jamais utilisée. Prescrite chez la femme enceinte, chez l'insuffisant rénal ou l'aller- gique aux produits de contraste. Elle ne montre pas les calculs mais des signes d'obstruction

Urétéropyélographie rétrograde Elle consiste à injecter du produit de contraste dans la voie excrétrice supérieure après avoir introduit un cystoscope et une sonde dans l'uretère par voie transurétrale. Elle n'a sa place que comme document peropératoire pour localiser un calcul et décider d'une stratégie de traitement

Contexte aigu : colique néphrétique Prescription d'un bilan sanguin comportant NFS, plaquettes, ionogramme sanguin, créatininé- mie, CRP, auquel on peut ajouter des examens supplémentaires selon le contexte (hémocul- tures, ECBU). Le calcul doit être obligatoirement récupéré s'il est expulsé (le patient doit uriner dans une bouteille ou à travers une passoire) ou retiré lors d'une intervention, pour être analysé (analyse morpho-constitutionnelle).

À distance du contexte aigu et de tout traitement urologique Un bilan métabolique est nécessaire et ce dès le premier calcul, afin de déterminer la nature de la lithiase, sa cause et les facteurs métaboliques favorisants. Il est réalisé un mois après tout épisode aigu ou traitement. Il est le reflet de l'alimentation quotidienne du patient et recherche les principaux facteurs de risque lithogènes

Bilan métabolique recommandé en 1 re intention

À distance (1–2 mois) d'un traitement ou d'un épisode aigu (tableau 14.4). Il est indispen- sable et doit être réalisé dans les conditions habituelles d'alimentation. Il complète l'enquête alimentaire.

Sang
• Créatininémie : évalue la fonction rénale. • Glycémie : recherche ou un syndrome métabolique ou un diabète. • Uricémie : recherche un syndrome métabolique. • Calcémie : recherche une hypercalcémie, oriente vers une hyperparathyroïdie.

Urines des 24 heures Doit être exhaustif et recueillir la totalité des urines des 24 heures, ni plus ni moins.
• Créatinine : évalue l'exhaustivité du recueil des 24 heures (doit être de l'ordre de 15–20 mg par kg et par 24 heures [130–180 μmol] si le prélèvement est complet). • Volume urinaire des 24 heures : facteur de risque lithogène si inférieur à 2 litres. • Calcium : facteur de risque lithogène si supérieur à 0,1 mmol/kg/j ou >3,8 mmol/l d'urine. L'hypercalciurie est l'anomalie la plus fréquente. • Acide urique : facteur de risque lithogène si supérieur à 5 mmol/24 heures ou 2,5 mmol/l d'urine
• Sodium : reflet de la consommation quotidienne de sel, facteur de risque lithogène si supérieur à 150 μmoles/24 heures (10 g de sel = 170 mmol/de Na).
• Urée : traduit la consommation protidique les 24 heures précédentes (urée urinaire en grammes × 3,5 = quantité de protéines consommées) ; facteur de risque si >1 g par kilo et par 24 heures (5,5 mmol/kg/24 heures).

Urines du matin

• pH : 5 en faveur d'une lithiase urique, 6,5 en faveur d'une lithiase phosphocalcique.

• Densité urinaire : facteur de risques si supérieure à 1012.

• ECBU : recherche d'une infection.

• Optionnel : la cristallurie qui recherche des cristaux si le calcul n'a pas été recueilli (corrélation entre la cristallurie et la nature du calcul).

Une dissolution spontanée par modification du pH urinaire est possible pour les calculs uriques (alcalinisation).

• Élimination par les voies naturelles au décours d'une colique néphrétique. – Les calculs urétéraux symptomatiques peuvent être évacués spontanément au décours de la crise de colique néphrétique. Plus un calcul est de petite taille et plus il est bas situé, plus il a de chances de s'évacuer. Un calcul de moins de 4 mm s'élimine dans 80 % des cas alors qu'un calcul de plus de 6 mm s'élimine dans moins de 20 % des cas. De même un calcul de l'uretère distal s'élimine dans 71 % des cas contre 46 % pour un calcul de l'uretère moyen et 22 % pour un calcul de l'uretère proximal. Les calculs dont la taille dépasse 8–10 mm ne s'éliminent quasiment jamais. – Néanmoins un calcul urétéral peu ou pas symptomatique, non évacué après 4–6 semaines de surveillance a très peu de chances de s'évacuer, quelle que soit sa taille

Récidives Hors traitement spécifique de la lithiase urinaire 50 % des calculs récidivent à 5 ans et 70 % à 10 ans. Ce type d'évolution justifie de rechercher, et ceci de façon approfondie, un ou plusieurs des facteurs connus de la lithogenèse et de les corriger

Traitement de la colique néphrétique Il est important d'évaluer la douleur et de la prendre en charge rapidement, avant même de réaliser des examens d'imagerie. La restriction hydrique n'a pas fait la preuve scientifique de son efficacité mais elle est encore prescrite. Des moyens non médicamenteux tels qu'un bain chaud ou encore une séance d'acupuncture peuvent soulager les patients

Traitement médical de la douleur

De nombreux médicaments sont actuellement utilisés par voie orale ou parentérale. Le phloro- glucinol n'a pas fait la preuve de son efficacité. Le paracétamol seul ou associé au tramadol peut s'avérer efficace si les douleurs sont de faible intensité. Toutefois le traitement repose actuellement sur les anti inflammatoires non stéroïdiens (AINS). Ils agissent en bloquant les cyclo-oxygénases impliquées dans la réaction inflammatoire et diminuent l'œdème local tout en provoquant une relaxation des fibres musculaires lisses de l'uretère. Ils réduisent également le débit de filtration glomérulaire, ce qui n'a aucune conséquence lorsque la fonction rénale est normale. Seul le kétoprofène a reçu une AMM pour l'administration intraveineuse.

Il a l'avantage d'être d'utilisation facile et relativement sûre et ne nécessite pas de titration.

Sa durée d'action est prolongée. Il est donc le traitement de première intention, en l'absence de contre-indication (insuffisance cardiaque, rénale ou hépatique sévère, grossesse, ulcère gastrique, hypersensibilité au produit, infection). La voie intraveineuse est utilisée de façon préférentielle car elle apporte le soulagement le plus rapide. Dans certains cas la voie rectale peut être utilisée. En général le kétoprofène est prescrit à raison de 100 mg en IV lente sur 30 minutes, au maximum trois fois par 24 heures.

La morphine titrée intraveineuse est proposée en cas de non-réponse au traitement initial ou de contre indication aux AINS

Apport des alpha-bloquants en cas de calcul urétéral Ces médicaments, utilisés pour traiter l'hypertrophie bénigne de la prostate, constituent une thérapie médicale expulsive (TME) des calculs urétéraux pelviens. Ils augmenteraient le pourcen- tage d'expulsion spontanée des calculs urétéraux, réduiraient le délai d'expulsion, le nombre d'épisodes douloureux, la quantité d'analgésiques consommés par les patients et le nombre d'hospitalisations nécessaires. Leur utilisation est donc proposée par la plupart des sociétés savantes mais il faut préciser aux patients que la prescription se fait hors AMM et les informer des effets indésirables. La tamsulosine (0,4 mg/j) et la silodosine (8 mg/j) semblent donner des résultats équivalents. Ils ne sont pas recommandés pour les calculs de plus de 10 mm dont l'expulsion spontanée est exceptionnelle

Prise en charge des formes accompagnées de signes de gravité/ compliquées Ces formes cliniques nécessitent une hospitalisation en urgence, contrairement aux CN simples qui peuvent être traitées en externe. Après prélèvements bactériologiques (ECBU, hémocultures), et mise en place d'une perfu- sion, les formes fébriles doivent faire l'objet d'un traitement antibiotique par voie veineuse associant une céphalosporine et un aminoside, car elles sont considérées comme des pyé- lonéphrites obstructives. Le traitement antibiotique (ceftriaxone 1 à 2 g/24 heures en IV ou IM et gentamycine 3 mg/kg/24 h) et les mesures de réanimation adaptées sont débutés avant le drainage des urines qui se fait en urgence par sonde urétérale ou sonde JJ (endo- prothèse) (fig. 14.18). L'alternative étant la pose d'un drain de néphrostomie percutanée (fig. 14.19)

La pose d'une sonde urétérale ou d'une sonde JJ (endoprothèse) se fait le plus souvent sous anesthésie générale après avoir vérifié l'absence d'hyperkaliémie menaçante, qui nécessite- rait une correction préalable. La sonde urétérale est utilisée uniquement lorsque les urines sont très purulentes ou « épaisses » et elle est extériorisée par voie urétrale, ce qui permet d'avoir un contrôle sur la qualité du drainage. Elle est remplacée par une sonde JJ si l'évolution est favorable dans les 48 heures. Néanmoins, le plus souvent on met en place une sonde JJ (endoprothèse) d'emblée. La sonde de néphrostomie percutanée est une alternative. Elle est posée sous contrôle échographique, voire TDM, sous anesthésie locale, en l'absence de traite- ment anticoagulant ou de troubles de l'hémostase.

Le choix du type de drainage se fera au cas par cas. Un ECBU complémentaire est prélevé sur les urines pyéliques lors du drainage car dans la moitié des cas son résultat diffère de celui des urines vésicales

Cas particulier : la femme enceinte Les CN peuvent survenir chez les femmes enceintes, essentiellement au deuxième et troi- sième trimestre, et la présence d'un calcul n'est constatée que dans 70 à 80 % des cas. Il existe en effet une dilatation urétérale qui s'installe physiologiquement au cours du premier trimestre, pour des raisons mécaniques (compression par l'utérus gravide) et hormonales (effet myorelaxant de la progestérone) et qui peut s'accompagner de douleurs

Cas particulier - Femme enceinte

La prise en charge doit être concertée et impliquer les gynécologues obstétriciens. Le traite- ment médical est limité : les AINS sont contre indiqués, surtout au troisième trimestre, et seuls le paracétamol et les morphiniques (hors travail) peuvent être utilisés. Néanmoins les calculs urétéraux s'évacuent spontanément dans près de 80 % des cas chez la femme enceinte. Si le traitement médical n'est pas suffisamment efficace il faut recourir rapidement au drainage des urines car le risque est essentiellement de voir apparaître des contractions utérines et un accouchement prématuré. La mise en place d'une sonde JJ permet de temporiser jusqu'à la fin de la grossesse et de différer le traitement d'un calcul car la lithotritie extracorporelle est contre-indiquée chez la femme enceinte

Traitement urologique des calculs

Le principe du traitement urologique consiste à débarrasser la voie excrétrice du calcul et à corriger d'éventuelles anomalies congénitales ou acquises qui peuvent favoriser la lithogenèse. Le traitement se fait à distance d'un épisode aigu

Lithotritie extracorporelle (LEC) Son principe est de fragmenter le calcul par des ondes de choc issues d'un générateur extra- corporel. Les ondes de choc vont être dirigées sur le calcul grâce à un repérage radiolo- gique et échographique, et par des phénomènes de cavitation, provoquer sa fragmentation. L'intervention se fait en ambulatoire sous sédation-analgésie. Les fragments produits doivent être suffisamment fins pour pouvoir s'éliminer sans difficulté par les voies naturelles

• Indications préférentielles de la LEC : – calculs urétéraux <10 mm ; – calculs rénaux <20 mm : au delà il existe un risque d'obstruction urétérale par de nombreux fragments ; – calculs de l'enfant. • Limites de la LEC : – calculs caliciels inférieurs (s'éliminent mal) ; – calculs denses (>1 000–1 200 UH, qui résistent aux ondes de choc) et durs (cystine) ; – patients obèses (ondes de choc n'atteignant pas le calcul) ; – malformations rachidiennes (positionnement sur la table). • Contre indications à la LEC : – grossesse ; – traitement anticoagulant (calcul du rein et uretère) et antiagrégant (calcul du rein) et troubles de l'hémostase non corrigés ; – calcifications et anévrismes artériels rénaux et aortiques ; – infection urinaire non traitée ; – obstruction d'aval empêchant l'élimination des fragments

Urétéroscopie L'urétéroscopie consiste, à l'aide d'instruments optiques rigides ou flexibles de 3 mm de diamètre, à pénétrer dans l'uretère par voie rétrogade (urétrovésicale) et à traiter les calculs rénaux et urétéraux

Les urétéroscopes rigides sont utilisés dans l'uretère et les urétéroscopes flexibles dans le rein. Les calculs sont traités à l'aide d'appareils de fragmentation (laser, lithotripteur pneumatique) et les fragments retirés avec un panier (fig. 14.20). • Indications de l'urétéroscopie : – calculs urétéraux <20 mm ; – calculs rénaux <20 mm dont les calculs caliciels inférieurs ; – calculs très denses (>1 000–1 200 UH) et très durs (cystine) ; – calculs situés dans des reins malformés ; – patients obèses ; – patients sous antiagrégants/anticoagulants. • Limites de l'urétéroscopie : – accès urétéral difficile (dérivation urinaire après cystectomie, réimplantation urétérale) ; – sténose urétérale ; – très volumineuse prostate. • Contre indications à l'urétéroscopie : – infection urinaire non traitée

Néphrolithotomie percutanée (NLPC) Cette technique, qui consiste à créer un (ou deux) tunnel (s) entre la peau et un calice à travers le parenchyme rénal, permet de traiter des calculs volumineux en introduisant un instrument optique de 5 à 8 mm de diamètre, appelé néphroscope et en fragmentant les calculs avec un procédé de type laser ou ultrasons de contact. Les fragments sont ensuite extraits avec une pince ou un panier

• Indications de la néphrolithotomie percutanée :
– volumineux calculs rénaux >20 mm/coralliformes ; – volumineux calculs de l'uretère lombaire ; – absence d'accès urétéral (dérivation urinaire/réimplantation) ; – calculs très durs

• Limites de la néphrolithotomie percutanée :

– calculs complexes occupant toutes les cavités ;

– reins multiopérés avec adhérences coliques ;

– reins ectopiques et mal rotés.

• Contre indications de la néphrolithotomie percutanée :

– infection urinaire non traitée ;

– traitement anticoagulant/troubles de l'hémostase non corrigés.

Let’s yet add yet another column called year, and we’ll separate out the year from that title that we’ve seen in the original dataframe. So, what we’ll do is, we’ll extract out, for example, 1995 as a separate column instead of together with the movie title. We will use the extract operation here. We are selecting the title from the movies, and they’ll provide it a regular expression similar to what we had in our stream editor discussion in the Unix part, earlier in this class. This regular expression here says, “extract any value and within the parentheses”, in that string value that comes out of that movie is title column for that row, and if you remember expand-True will make it a dataframe. So, we’re adding to the movie is dataframe, not to this new one that we made, movie genres one, but the original movies dataframe, and we’ll call that new column year. So, what we extracted as the year using this extract function and regular expression, will be copied as a new column at the end of movies. If you run this now, let’s go first run our extract operation, then let’s get the bottom of it, we’ll see that year is a new column here, and it just gives us the year that was mentioned at the end of the title in a new column.

Chirurgie à ciel ouvert et cœlioscopie Elle s'adresse aux très volumineux calculs rénaux et urétéraux qui ne peuvent être traités effi- cacement par les méthodes précédemment décrites. Ces calculs sont devenus rares (<0,5 % des cas). Elle peut aussi se justifier en cas de malformation associée pour traiter les calculs et la malfor- mation (syndrome de la jonction pyélo-urérérale)

• Indications thérapeutiques (fig. 14.21) :

– calculs urétéraux :
– <10 mm : traitement médical favorisant l'expulsion, – en cas d'échec après 4–6 semaines : LEC ou urétéroscopie,
– >10 mm : urétéroscopie

– calculs rénaux :
– les calculs rénaux asymptomatiques de moins de 5 mm font le plus souvent l'objet d'une surveillance par ASP et/ou échographie sauf cas particuliers (pilotes, navigateurs, astronautes, explorateurs),
– les calculs de plus de 5 mm doivent être traités (tableau 14.5)

Mesures générales L'essentiel du traitement vise à éviter la phase de sursaturation urinaire en facteurs lithogènes. Il s'agit de règles hygiénodiététiques : • boissons de 2 litres au minimum par jour, plus s'il fait chaud ou en cas d'activités sportives ; • activité physique régulière ; • éviter l'excès de calories ; • varier l'alimentation et consommer des fibres (fruits et légumes) ; • réduire l'apport protidique (<1 g/kg/j) ; • limiter les protéines d'origine animale ; • limiter les aliments riches en oxalates ; • réduire la consommation de sucres et de boissons sucrées ; • réduire à 7–8 g/j la consommation de sel

Lithiase urique L'alcalinisation des urines, par apport de bicarbonates (eau de Vichy) ou de citrate de potas- sium, en amenant le pH urinaire à 6,5–7, doit entraîner la dissolution d'un calcul d'acide urique pur en 1 à 3 mois.

Lithiase urique

Objectif thérapeutique et surveillance : pH, contrôlé par papier coloré réactif, maintenu entre 6,5 et 7 y compris la nuit (contrôle le soir et le matin). Un régime avec réduction des apports en protéines animales (charcuterie, abats) est mis en œuvre et un traitement hypo-uricémiant (allopurinol) est associé lorsqu'il existe une hyperuri- cémie avec hyperuricurie

Lithiase oxalocalcique Aucune dissolution des calculs n'est possible. Le traitement médical vise donc à prévenir les récidives après traitement du calcul. Il ne faut pas supprimer la consommation de produits riches en calcium. Il est même impor- tant de maintenir un apport calcique quotidien autour de 1 g sous peine de provoquer une ostéopénie, voire une ostéoporose, sans pour autant empêcher la formation de calculs, qui seront alors d'une autre nature. Les patients consommant des laitages doivent boire une eau peu calcique (Volvic, Evian, eau de ville). Dans le cas contraire on recommande une eau riche en calcium (Contrex, Hépar, Courmayeur). Les apports en oxalates doivent être réduits (chocolats, rhubarbe, oseille, etc.). En ce qui concerne la lithiase calcique secondaire à une maladie identifiable, elle doit bénéfi- cier si possible du traitement de la maladie causale. Ainsi la lithiase calcique secondaire à un adénome parathyroïdien (hyperparathyroïdie primaire) est traitée par cervicotomie et ablation de l'adénome parathyroïdien

Lithiase cystinique La cystinurie est une maladie autosomique récessive dans laquelle le défaut de réabsorption tubulaire de la cystine entraîne une sursaturation urinaire (concentrations 20 fois supérieures à la normale). Elle nécessite des mesures adaptées : • diminution des apports en méthionine, précurseur de la cystine (escargots, viande de che- val, parmesan, morue, etc.) ; • solubilisation de la cystine par l'obtention d'une diurèse importante (3 à 4 l/j) et alcaline (pH supérieur à 7,5) « diurèse alcaline » afin de pouvoir maintenir une faible concentration urinaire en cystine ; • régime pauvre en sel ; • en cas d'échec on propose une chélation de la cystéine, précurseur de la cystine, par la D-pénicillamine (effets secondaires parfois sévères)

Lithiase infectieuse Les calculs de phosphate ammoniaco-magnésien se forment en présence de germes uréa- siques et en milieu alcalin. Outre l'ablation des calculs, le traitement repose sur l'obten- tion d'une « stérilisation » urinaire permanente par une antibiothérapie adaptée, au besoin prolongée

Suivi des patients

Le suivi est assuré par des examens d'imagerie en privilégiant les moins irradiants. Il est souhai- table de ne pas multiplier les TDM si un ASP et/ou une échographie sont suffisants. Au décours d'une colique néphrétique ayant évolué favorablement sous traitement médical le suivi du calcul est assuré par des clichés d'abdomen et une échographie rénale et pelvienne toutes les deux semaines. Après 4 à 6 semaines de suivi, si le calcul est toujours présent un traitement spécifique est nécessaire.

So, there are many other string operations, of course, and your ability to work with text data will often depend on your knowledge of these functions. We can’t list all of them or give you examples on all of them, unfortunately, but please spend some time going through these operations at this link that we provide here (http://pandas.pydata.org/pandas-docs/stable/text.html#text-string-methods).

Un contrôle (ASP, échographie rénale) est effectué 1 à 3 mois après chaque traitement urolo- gique pour évaluer le résultat. Le suivi d'imagerie est fonction du résultat du traitement (contrôles tous les 6 à 12 mois). Le suivi médical est également nécessaire et les patients doivent refaire un bilan métabolique 6 mois après la mise en place des règles hygiénodiététiques pour s'assurer de leur bonne observance

Calcul de vessie

Ils surviennent le plus souvent chez l'homme après 50 ans et sont essentiellement constitués d'acide urique ou de struvite (phospho-ammoniaco-magnésiens)

Lithiase urinaire de l'enfant Elle est 50 à 100 fois plus rare que chez l'adulte. Les garçons sont plus souvent atteints que les filles surtout avant l'âge de 5 ans. Avant l'âge de trois ans, il s'agit le plus souvent de calculs d'infection, qui peuvent être associés à une malformation de l'appareil urinaire. Après trois ans, il s'agit davantage de calculs d'origine métabolique, dont certains entrent dans le cadre d'une maladie génétique (cystinurie, hyperoxalurie, etc.)

La lithiase est une maladie, les calculs sont la conséquence de la maladie

Traitement urologique des calculs ❯ Lithotritie extracorporelle (calculs de <20 mm). ❯ Urétéroscopie (calculs de <20 mm). ❯ Néphrolithotomie percutanée (calculs de >20 mm)

Unix time tracks the progress of time by counting the number of seconds since a specific time instant. That instant is the start of the year 1970 as per UTC time zone. Notice that this is an integer. We need to find a way to convert this to a readable date and time.

It’s kind of confusing, maybe, seeing all these data types, but we can quickly convert a timestamp to Python format using, for example, to datetime function here. This function simply will convert the input to datetime format, to a form that Python understands. And in this case, we’ll put that into that parsed_time column which you see is pretty human-readable as well. The unit argument is most important here as it tells the function what the unit of the input is. In this example, the input column is timestamp from the dataframe called tags, and the unit of the input is declared to be seconds. The output is stored in a new column that is named parsed_time.

Once time is converted to Python format, you can use it to create filters. The filter will select only the rows that will match your criteria. For example, once we build a boolean filter called greater_than_t, and in this case, make that timestamp to be after 2015, February 1, or 02-01, we can use this filter to select only the cells in the dataframe that are true for this condition.

We can also leverage the timestamp to sort data in ascending or descending order. The sort_values function in Panda’s dataframes provides number of options to sort, one of which is by parsed time. So we are getting the parsed_time column in date format that we had before, and sorting time series data using the sort values function that’s already a function of the dataframe.

Are movie ratings related to the year of launch is a question you might answer, right? Here we have average ratings. If you would remember this will be the average ratings frame movie id rating. For each movie we had the averages. And then we can now merge this average rating with the movie id and create a correlation value between movie id and the rating. Now, we can create yearly averages by grouping by over year on that join table. We were joining it, and we have the years in there as well. If it select the top five we see the year of the movie and the ratings for that movie, but only based on the year.

Let’s review the practical skills we learned in this lesson based on the movie database notebook. First we talked about data ingestion, in which we reviewed how to ingest data in multiple formats and the basic read operations related to these formats. We also talked about Series and DataFrame as the two basic fundamental data structures in Pandas.

Then we overview the functions to perform basic statistical operations on Series and DataFrames. These will describe for joined descriptive statistics and individual functions for generating min, max, and standard deviation values. Mode of data, as well as functions for correlation analysis, they’re also reviewed.

We went through data preparation and exploration options in Pandas like isnull, any, and dropna functions.

We also overview data visualization and in there we saw examples of inline plots, box plots, and histograms using Pandas’s plot function. We also saw how to adjust the axis formatting and other window properties.

We talked about slicing out rows and filtering data frames, as well as aggregating data using the groupby operation. The executive examples for running basic statistical functions on these groups.

We also talked about merging or joining data from multiple data frames using inner joins and other operations.

We talked about three main string operations called split, contains, and extract.

Finally, we talked about how to work with time stamps.

In summary, in this lesson we went through the typical operations in data science to take advantage of the Pandas library. The movies notebook as a representative example to keep as a reference as any data science study will have similar steps.

If you want some more practice with regular expressions (regex), you can read more here and here.

There was a presentation at PyCon 2017 which was particularly relevant for you now that you've been introduced to pandas and numpy. In particular, it highlights some best practices for writing efficient code when working with pandas. Watching the video is completely optional, but we encourage you to check it out.

No More Sad Pandas: Optimizing Pandas Code for Speed and Efficiency by Sofia Heisler.

In fact, visualization is part of much of the process that he describes. Processing data and extracting value from it or understanding it often requires visualizing it to gain that kind of insight. And we want to communicate your results, you’ll often want to use data visualization to do that too. So visualization is central to the skills that he describes

Each of these is central to data visualization. But what I like the most about these two quotes is actually that end in the same key part of data visualization. Improving how we understand and think about the data. If we think about it, a pretty large chunk of our brain is dedicated to vision. And we’ve got some really powerful processing associated with that vision in our heads. In contrast, we’re not very good at deciphering raw data. If you give my 100 raw XY coordinates, it could take me hours working by hand to see what they mean. But if you give me a plot with 1000 points on a trendline, I can often tell you in seconds what the data is telling us. That’s the power of data visualization.

Here’s a new set of data, all these points are from one data set. If you focus on these for awhile, you may begin to notice that the X and Y values seem pretty similar with some noise. But again, let’s see if we can understand it better in a graph. Ah ha. The scatter plot shows that these are really correlated, higher X values imply higher Y and vice versa. In fact, correlation as a statistic would have been helpful here, and would have given us the value 0.5. But the value is lower than you might expect because of the outlier. And visually, you’ll probably notice that there’s a strange outlier right here. But I don’t know what to do with that information right now. With just the raw data points, I don’t know if this is an error in the data or what caused that outlier. I’d like to dive into that value more, but I’m stuck without context. And that’s the other point I wanna make here. Without a context, we don’t know what to think about the data, or this outlier. In fact, without context, I’m not sure if I even care about this data. So we need context.

So turns out that these are pseudo-hypothetical midterm and final exam scores for each student in a class. Now that we know that, we can recognize that performance in the midterm is pretty closely tied to performance on the final. For instructors, this information might lead them to try to intervene for students who perform poorly on the midterm, and for the outlier, context helps as well. What happened with the student? You could figure out which student supplied this data point and let’s say after looking into that student, you find out that they didn’t take the final. What it turns out then, is that when you’re cleaning your data, the missing entry for this student was made to be a zero. But a zero on the exam and not taking the exam are two different things. If you remove the outlier due to missing data, you gain a better understanding of the data, and by the way, the correlation will now be a 0.89, without that outlier. Thinking more about that outlier, if we consider the correlation for the other students, we could infer that if this student were to take the final, they would have likely done quite well.

Here I’m taking a declarative example from a research paper of mine where we show the peer instruction, that the peer instruction pedagogy resulted in a significant decrease in failure rates for students, relative to standard instruction, in computer science classes at UC San Diego. My goal in presenting these results was to convey to the reader the impact peer instruction had on failure rates in our classes. Without diving into the details too much, we had failure rates from a number of classes at UC San Diego, where instructors either taught using the active learning pedagogy of peer instruction, or using standard lecture-style pedagogy. If you’re interested, please read the full paper for a complete explanation of our experimental mental methods, and possible limitations of these results. As good science will always detail potential limitations of results, along with study methods, I hesitate to use the word declarative here, as it doesn’t quite seem right. Rather, I prefer the term presenting. We knew the result that we had, and we were aiming to present it to the audience in a clear and useful manner.

The example of the correlation between midterm and final exam scores from our previous video is likely explorative. I might create a plot like this when trying to better understand the relationship between these exam scores in my class. And its results would likely cause me to explore the data more. With explorative data visualizations, I’m not gonna spend as much time polishing the appearance, so long as I can interpret it, that’s fine. Likewise, I’ll often want to be able to quickly plug in different parts of my data set into the figure to explore different relationships. Say HOMER scores against the final exam, rather than midterm against the final exam. Exploration is really at the heart of the data science process, which we talked about in week one. When we’re finding outliers or trends, we’re often using visualization tools. And those visualizations lead us to dig deeper into the data. As we dig deeper, we do the same thing. Looking at data distributions using histograms. Exploring relationships between variables, or seeking other trends. Ultimately, we find ourselves zooming in and out of various parts of the data set as we try to gain a better understanding. And this process of zooming in and out of the data is almost always accompanied by and facilitated by data visualization.

You know, there’re lots of opinions about criteria for good data visualization. By I really like these three put forth by a leading data scientist visualization educator, Andy Kirk. Data visualization needs to be trustworthy, accessible, and elegant.

just a quick word about Andy Kirk’s book which I’ve mentioned a few times already. This book is a great reference for all things data visualization, and I highly recommend it if you wish to dig deeper into this area of study.

By saying a visualization is trustworthy, we are saying that the data presented is honestly portrayed. For example, if you’re displaying something in such a way that it implies a relationship or a trend or a correlation, there should be evidence for such relationship in the data, otherwise you’re just misleading your audience. Let’s look at a quick example. Here’s a hypothetical figure you might be shown at a business meeting. Take a little, and see if you can spot what’s wrong with it. If you noticed the y-axis, you realize this isn’t a surge at all. The y-axis is zoomed into just a small part of the graph. We’re looking at a roughly 2% increase between Q1 and Q4. That’s hardly surging. I suspect the authors of such a chart are trying to be dishonest or, at the very least, misleading. They’re trying to convince me of something which isn’t true. Let’s just look at all the flaws here. Surge? Two percent is a surge? The title’s simply misleading. We already that the y-axis is being zoomed in on to exaggerate the growth between Q1 and Q4, but did you notice how the font size on the y-axis seems to have been made intentionally small just so it’s harder to read. Lastly, the fourth quarter’s when holidays occur. I’d expect to see a rise in profits for many industries during the fourth quarter. A more honest graph might also plot prior years’ profits to compare against. So, yikes. By the time I’m done reading this graph, I simply do not believe the author anymore. All credibility’s gone. So let’s see how we could’ve done this better. Okay, in this figure, we setup the y-axis honestly. And this actually looks like pretty steady revenue over each quarter of 2016, so I fixed the title to reflect that. If this is the only year for which we have data, the story might be over, but, if you have data from prior years, we should plot them to see how things look. Supposing we have prior year data, if I plot last year’s quarterly revenue, I see that there was a surge in profits in 2015 which is absent in 2016. In 2015, the company had a 12% boost between Q1 and Q4 which is less than 2% in 2015. We could’ve titled this in a different ways. We could’ve just said that our revenue was steady in 2016, and that’s not misleading. Or we could focus in on the fact that we didn’t see a surge in Q4. Either way, we want to dive into the data more to figure out why we didn’t see the revenue boost in Q4 of 2016 that we saw in Q4 of 2015. And we do that prior to presenting these results, so we have good answers of why this happened. So after fixing the presentation and pulling in more hypothetical data, we’ve actually reversed our initial misleading conclusion.

So the two main things I’d stress are to know your audience and how they perceive the information. Understand what they understand, and know how they might interpret the result. Also be sure to know what the purpose is of your visualization. Are you exploring the data? Or presenting it? That helps you craft it in the appropriate way. One last point. Take into account the expected time for the audience to read and understand the result. That depends on whether this is a slide you might show for one minute at a presentation or a figure that you’re sharing with a colleague who might spend some time really diving into it. These questions about your audience and how the visualization will be used allow you to craft it appropriately to make it accessible.

I would note that in practice, I put a lot more time into elegant visualizations when I’m presenting results. When I’m exploring data, it’s nice to have, but it is no means critical. I like to think of it this way. If my graphic is gonna be front and center on the New York Times, it better be perfect. If it’s in a slide deck for teaching, it should be really solid. And if it’s for me when I’m exploring the data, it should be acceptable. At the very least, the lack of elegance shouldn’t get in the way of my interpreting the data.

The use of an overlay on a map helps an observer see the different countries quickly. The color coding to show numeric data helps the viewer quickly interpret results. The color scheme goes towards darker blue with more CO2 emissions per capita, so that might not actually be perfect. More CO2 emissions per capita is arguably a bad thing, so a different color scheme which conveys that CO2 emissions is bad might actually be better. There isn’t unnecessary other data here. I didn’t put the numbers over each country as that’d likely distract more than help. I didn’t try to combine with some other measure like GDP per capita in the same figure as it’d likely be too much to process but might make a really nice complementary figure. If I added any additional decorations like maybe a smokestack on high CO2 per capita producers, I’d be sure it added to the figure rather than detracted. But this figure, I thought it actually detracted more than it added so I left it off.

For elegant visualizations, you should focus on what is relevant and remove anything that isn’t adding to the figure. You’re trying to make the design invisible so that the viewer can take as much from the visualization as possible without being distracted. Now this isn’t the same thing as minimalism, but I’ve heard some folks argue for. I feel minimalism doesn’t just remove the unnecessary but often starts remove things which are helpful. So there’s a balance to be struck with how much to include. Think about your style. For those of your who read Nate Silver’s website, 538, you know there’s a distinct style to his presentations and graphs. To me, I really like that style, and his website’s success, I think, is likely tied at least in part to how recognizable his style is and presentation. Decorations may seems contrary to honesty, and, in some cases, they kinda are. In scientific papers about blood donations, I’d be surprised to see the bars in bar chart intentionally made to resemble flowing blood. But if the graphic is put out by a charity encouraging folks to give blood the week before Halloween, decorations may bring the visualization extra attention. And this just goes back to knowing your intended audience.

I value Matplotlib because it’s easy to produce quick plots of data when I’m doing data exploration and because I find the plots clean and generally aesthetically pleasing. I actually really like this phrase from the Matplotlib homepage. The first part, make easy things easy, is what I was referring to when I said it’s my go-to for most plots during data exploration. You can produce a bar chart, a line chart, a scatter plot, a box plot or histogram in just a few lines of code. This is fantastic as you can quickly check the relationship between features, plot trend lines, or just get a better feel for the distribution of data. The second part is why you’ll find yourself often using Matplotlib even when you create complex visualizations, where you want it to customize your plots for presenting your results

In the larger context of Jupyter notebooks and the landscape of Python tools, you may know that Python is a, that Matplotlib is a fairly low-level tool for plotting. There are a ton of other tools out there, including Seaborn, ggplot, Altair, Bokeh, Plotly, and Folium, among many others. For us, we use a library that fits our visualization needs best, based on those needs.