on 10-Jan-2020 (Fri)

You could have noticed that the form of our linear model in eq. 1 \(\left[ f_{\mathbf w,b} (\mathbf x) = \mathbf w \mathbf x + b \right]\) is very similar to the form of the SVM model. The only difference is the missing sign operator. The two models are indeed similar. However, the hyperplane in the SVM plays the role of the decision boundary: it’s used to separate two groups of examples from one another. As such, it has to be as far from each group as possible.

On the other hand, the hyperplane in linear regression is chosen to be as close to all training examples as possible.

You can see why this latter requirement is essential by looking at the illustration in Figure 1. It displays the regression line (in red) for one-dimensional examples (blue dots). We can use this line to predict the value of the target \(y\) new for a new unlabeled input example \(x_{new}\) new . If our examples are \(D\)-dimensional feature vectors (for \(D > 1\)), the only difference with the one-dimensional case is that the regression model is not a line but a plane (for two dimensions) or a hyperplane (for \(D > 2\)).

The optimization procedure which we use to find the optimal values for \(\mathbf w^\ast\) and \(b^\ast\) tries to minimize the following expression:

\(\displaystyle \frac{1}{N} \displaystyle \sum_{i = 1, \ldots N} \left( f_{\mathbf w, b} ( \mathbf x_i ) - y_i\right)^2. \quad (2)\)

In mathematics, the expression we minimize or maximize is called an objective function, or, simply, an objective. The expression \(\left( f_{\mathbf w, b} ( \mathbf x_i ) - y_i\right)^2\) in the above objective is called the loss function. It’s a measure of penalty for misclassification of example \(i\). This particular choice of the loss function is called squared error loss . All model-based learning algorithms have a loss function and what we do to find the best model is we try to minimize the objective known as the cost function. In linear regression, the cost function is given by the average loss, also called the empirical risk. The average loss, or empirical risk, for a model, is the average of all penalties obtained by applying the model to the training data.

In logistic regression, we still want to model \(y_i\) as a linear function of \(\mathbf x_i\), however, with a binary \(y_i\) this is not straightforward. The linear combination of features such as \(\mathbf w \mathbf x_i + b\) is a function that spans from minus infinity to plus infinity, while \(y_i\) has only two possible values.

At the time where the absence of computers required scientists to perform manual calculations, they were eager to find a linear classification model. They figured out that if we define a negative label as 0 and the positive label as 1, we would just need to find a simple continuous function whose codomain is (0 , 1). In such a case, if the value returned by the model for input \(\mathbf x\) is closer to 0, then we assign a negative label to \(\mathbf x\) ; otherwise, the example is labeled as positive. One function that has such a property is the standard logistic function (also known as the sigmoid function):

\(f(x) = \displaystyle \frac{1}{1 + e^{-x}}\),

where \(e\) is the base of the natural logarithm (also called Euler’s number; \(e^x\) is also known as the \(exp(x)\) function in programming languages). Its graph is depicted in Figure 3.

The logistic regression model looks like this:

\(f_{\mathbf w, b} (\mathbf x) \stackrel{\textrm{def}}{=} \displaystyle \frac{1}{1 + e^{-(\mathbf w \mathbf x + b)}} \quad (3)\)

You can see the familiar term \(\mathbf w \mathbf x + b\) from linear regression.

By looking at the graph of the standard logistic function, we can see how well it fits our classification purpose: if we optimize the values of \(\mathbf w\) and \(b\) appropriately, we could interpret the output of \(f( \mathbf x )\) as the probability of \(y_i\) being positive. For example, if it’s higher than or equal to the threshold 0.5 we would say that the class of \(\mathbf x\) is positive; otherwise, it’s negative. In practice, the choice of the threshold could be different depending on the problem. We return to this discussion in Chapter 5 when we talk about model performance assessment.

Now, how do we find optimal \(\mathbf w^\ast\) and \(b^\ast\)? In linear regression, we minimized the empirical risk which was defined as the average squared error loss, also known as the mean squared error or MSE.

In logistic regression, on the other hand, we maximize the likelihood of our training set according to the model. In statistics, the likelihood function defines how likely the observation (an example) is according to our model.

For instance, let’s have a labeled example \(( \mathbf x_i, y_i )\) in our training data. Assume also that we found (guessed) some specific values \(\hat {\mathbf w}\) and \(\hat b\) of our parameters. If we now apply our model \(f_{\hat{\mathbf w}, \hat b}\) to \(\mathbf x_i\) using eq. 3 \(\left[ f_{\mathbf w, b} (x) \stackrel{\textrm{def}}{=} \displaystyle \frac{1}{1 + e^{-(\mathbf w \mathbf x + b)}} \right]\) we will get some value \(0 < p < 1\) as output. If \(y_i\) is the positive class, the likelihood of \(y_i\) being the positive class, according to our model, is given by \(p\). Similarly, if \(y_i\) is the negative class, the likelihood of it being the negative class is given by \(1 − p\).

The optimization criterion in logistic regression is called maximum likelihood. Instead of minimizing the average loss, like in linear regression, we now maximize the likelihood of the training data according to our model:

\(L_{\mathbf w, b} \stackrel{\textrm{def}}{=} \displaystyle \prod_{i = 1 \ldots N} f_{\mathbf w, b} (\mathbf x_i )^{y_i} (1 - f_{\mathbf w, b} (\mathbf x_i ))^{(1 - y_i)}. \quad (4)\)

The expression \(f_{\mathbf w, b} (\mathbf x )^{y_i} (1 - f_{\mathbf w, b} (\mathbf x ))^{(1 - y_i)}\) may look scary but it’s just a fancy mathematical way of saying: “\(f_{\mathbf w, b} (\mathbf x )\) when \(y_i = 1\) and \((1 - f_{\mathbf w, b} (\mathbf x ))\) otherwise”. Indeed, if \(y_i = 1\), then \((1 - f_{\mathbf w, b} (\mathbf x ))^{(1 - y_i)}\) equals 1 because \((1 - y_i) = 0\) and we know that anything power 0 equals 1. On the other hand, if \(y_i = 0\), then \(f_{\mathbf w, b} (\mathbf x )^{y_i}\) equals 1 for the same reason.

yslogd proves very useful when debugging. It logs the different system messageslog and is—as its name suggests—a daemon program.

“Rsyslog”, which is a more modern implementa- tion of a syslogd with more room for configuration. The additional capabil- ities are, however, not essential for getting started and/or passing the LPI exam

Instead of syslogd , certain versions of the Novell/SUSE distributions, in par- ticular the SUSE Linux Enterprise Server, use the Syslog-NG package in- stead of syslogd . This is configured in a substantially different manner. For the LPIC-1 exam, you need to know that Syslog-NG exists and roughly what it does; see section 1.6.

By default, Rsyslog uses /etc/rsyslog.conf as its configuration file. This is largely compatible to what syslogd would use.

• They can be written to a file.

Log messages can be written to a named pipe (FIFO).

• They can be passed across the network to another syslogd .

They can be sent directly to users.

They can be sent to all logged-in users

You may also specify multiple facilites with the same priority like mail,news.info ;Multiple facilities—same priority this expression selects messages of priority info and above that belong to the mail or news facilities.

*.=warn;*.=err -/var/log/warn *.crit /var/log/warn *.*;mail.none;news.none -/var/log/messages The first column of each line determines which messages will be selected, and the second line says where these messages go. The first column’s format is ⟨facility⟩ . ⟨priority⟩[ ; ⟨facility⟩ . ⟨priority⟩] … where the ⟨facility⟩ denotes the system program or component giving rise to the facilities message.

Log files are generally created below /var/log .

There are also special tools for reading log files, the most popular of which include logsurfer and xlogmaster

The dmesg command makes it possible to access the kernel log buffer retroactively and look at the system start log

For the case of only one constraint and only two choice variables (as exemplified in Figure 1), consider the optimization problem

\({\displaystyle {\text{maximize}}\ f(x,y)}\) \({\displaystyle {\text{subject to:}}\ g(x,y)=0}\)

(Sometimes an additive constant is shown separately rather than being included in \(g\), in which case the constraint is written \({\displaystyle g(x,y)=c}\), as in Figure 1.) We assume that both \(f\) and \(g\) have continuous first partial derivatives. We introduce a new variable (\(\lambda \)) called a Lagrange multiplier (or Lagrange undetermined multiplier) and study the Lagrange function (or Lagrangian or Lagrangian expression) defined by

\({\displaystyle {\mathcal {L}}(x,y,\lambda )=f(x,y)-\lambda g(x,y),}\)

where the \(\lambda \) term may be either added or subtracted. If \({\displaystyle f(x_{0},y_{0})}\) is a maximum of \({\displaystyle f(x,y)}\) for the original constrained problem, then there exists \( \lambda_0 \) such that (\({\displaystyle x_{0},y_{0},\lambda _{0}}\)) is a stationary point for the Lagrange function (stationary points are those points where the first partial derivatives of \({\mathcal {L}}\) are zero). Also, it must be assumed that \({\displaystyle \nabla g\neq 0.}\) However, not all stationary points yield a solution of the original problem, as the method of Lagrange multipliers yields only a necessary condition for optimality in constrained problems.^{[7][8][9][10][11]} Sufficient conditions for a minimum or maximum also exist, but if a particular candidate solution satisfies the sufficient conditions, it is only guaranteed that that solution is the best one locally – that is, it is better than any permissible nearby points. The global optimum can be found by comparing the values of the original objective function at the points satisfying the necessary and locally sufficient conditions.

The method of Lagrange multipliers relies on the intuition that at a maximum, \({\displaystyle f(x,y)}\) cannot be increasing in the direction of any such neighboring point that also has \({\displaystyle g=0}\). If it were, we could walk along \({\displaystyle g=0}\) to get higher, meaning that the starting point wasn't actually the maximum.

We can visualize contours of \(f\) given by \({\displaystyle f(x,y)=d}\) for various values of \(d\), and the co

...

The method of Lagrange multipliers can be extended to solve problems with multiple constraints using a similar argument. Consider a paraboloid subject to two line constraints that intersect at a single point. As the only feasible solution, this point is obviously a constrained extremum. However, the level set of \(f\) is clearly not parallel to either constraint at the intersection point (see Figure 3); instead, it is a linear combination of the two constraints' gradients. In the case of multiple constraints, that will be what we seek in general: the method of Lagrange seeks points not at which the gradient of \(f\) is multiple of any single constraint's gradient necessarily, but in which it is a linear combination of all the constraints' gradients.

Concretely, suppose we have \(M\) constraints and are walking along the set of points satisfying \({\displaystyle g_{i}(\mathbf {x} )=0,i=1,\dots ,M}\). Every point \(\mathbf {x} \) on the contour of a given constraint function \(g_{i}\) has a space of allowable directions: the space of vectors perpendicular to \({\displaystyle \nabla g_{i}(\mathbf {x} )}\). The set of directions that are allowed by all constraints is thus the space of directions perpendicular to all of the constraints' gradients. Denote this space of allowable moves by \(A\) and denote the span of the constraints' gradients by \(S\). Then \({\displaystyle A=S^{\perp }}\), the space of vectors perpendicular to every element of \(S\).

We are still interested in finding points where \(f\) does not change as we walk, since these points might be (constrained) extrema. We therefore seek \(\mathbf {x} \) such that any allowable direction of movement away from \(\mathbf {x} \) is perpendicular to \(\nabla f(\mathbf{x})\) (otherwise we could increase \(f\) by moving along that allowable direction). In other words, \({\displaystyle \nabla f(\mathbf {x} )\in A^{\perp }=S}\). Thus there are scalars \({\displaystyle \lambda _{1},\lambda _{2},....\lambda _{M}}\) such that

\({\displaystyle \nabla f(\mathbf {x} )=\sum _{k=1}^{M}\lambda _{k}\,\nabla g_{k}(\mathbf {x} )\quad \iff \quad \nabla f(\mathbf {x} )-\sum _{k=1}^{M}{\lambda _{k}\nabla g_{k}(\mathbf {x} )}=0.}\)

These scalars are the Lagrange multipliers. We now have \(M\) of them, one for every constraint.

As before, we introduce an auxiliary function

\({\displaystyle {\mathcal {L}}\left(x_{1},\ldots ,x_{n},\lambda _{1},\ldots ,\lambda _{M}\right)=f\left(x_{1},\ldots ,x_{n}\right)-\sum \limits _{k=1}^{M}{\lambda _{k}g_{k}\left(x_{1},\ldots ,x_{n}\right)}}\)

and solve

\({\displaystyle \nabla _{x_{1},\ldots ,x_{n},\lambda _{1},\ldots ,\lambda _{M}}{\mathcal {L}}(x_{1},\ldots ,x_{n},\lambda _{1},\ldots ,\lambda _{M})=0\iff {\begin{cases}\nabla f(\mathbf {x} )-\sum _{k=1}^{M}{\lambda _{k}\,\nabla g_{k}(\mathbf {x} )}=0\\g_{1}(\mathbf {x} )=\cdots =g_{M}(\mathbf {x} )=0\end{cases}}}\)

which amounts to solving \({\displaystyle n+M}\) equations in \({\displaystyle n+M}\) unknowns.

The method of Lagrange multipliers is generalized by the

...

Les mycoses sont des maladies provoquées par des champignons microscopiques dénommés mycètes (plus précisément micromycètes, par opposition aux macromycètes, champignons visibles dans l'environnement), susceptibles de vivre en parasite chez l'Homme.

Les mycètes, véritables eucaryotes, constituent un règne (Fungi) distinct de celui des plantes (car n'ayant pas de pigment assimilateur de la chlorophylle) et du règne animal. Les cham- pignons assurent leur nutrition uniquement par absorption à partir du mycélium (réseau de filaments)

La plupart des mycètes sont des pathogènes opportunistes, profitant d'un affaiblissement de l'hôte pour provoquer une infection : ce sont, soit des champignons commensaux normale- ment présents chez l'Homme, soit des champignons présents dans l'environnement (moisis- sures) qui peuvent pénétrer dans l'organisme (par exemple, Aspergillus). D'autres mycètes (dermatophytes) se comportant en parasites obligatoires sont pathogènes, quel que soit le statut immunitaire du patient

ls sont très répandus : on évalue à plus d'un million le nombre d'espèces connues, dont seulement quelques centaines sont potentiellement patho- gènes chez l'Homme.

D'un point de vue pratique, selon leur aspect morphologique, on distingue trois types de mycètes : filamenteux, levuriformes et dimorphiques.

Ils se développent sur leur substrat nutritif par un système de filaments plus ou moins ramifiés dénommé thalle ou mycélium, constitué de filaments (ou hyphes) cloisonnés ou non

Parmi ces mycètes filamenteux impliqués en pathologie, on différencie : • les dermatophytes : champignons kératinophiles, adaptés à la peau et aux phanères de l'Homme ou l'animal, et provoquant des lésions quel que soit l'état immunitaire du patient ; • les moisissures issues de l'environnement au comportement opportuniste (par exemple, Aspergillus) : leur développement chez l'Homme est permis par l'affaiblissement de ses défenses immunitaires.

B. Levuriformes Dans ce cas, le thalle se réduit à un état unicellulaire. L'aspect classique est celui d'une levure de forme ronde ou ovalaire, de petite taille (généralement moins de 10 μm), qui se reproduit par bourgeonnement. Certaines levures, appartenant par exemple au genre Candida, peuvent donner naissance par bourgeonnements successifs à un pseudomycélium ou même à des filaments mycéliens vrais.

Les dimorphiques, absents habituellement en France métropolitaine, sont issus de régions tropicales ou subtropicales — par exemple, Histoplasma et Talaromyces marneffei (ex-Penicillium marneffei)

Il convient de mettre à part Pneumocystis jirovecii, agent de la pneumocystose humaine. Il s'agit d'un champignon atypique, non cultivable

On incrimine aujourd'hui plus de 400 espèces fongiques impliquées dans un processus patho- logique chez l'Homme et ce nombre continue d'augmenter

Les champignons peuvent être responsables chez l'Homme : • d'intoxications dues à l'exposition à certains micromycètes (mycotoxicoses) ou macromy- cètes (syndrome phalloïdien, etc.) ; ces pathologies ne sont pas des mycoses et ne seront pas traitées dans cet ouvrage ; • de pathologies immunoallergiques liées à un état d'hypersensibilité (alvéolites extrinsèques, asthme, etc.) qui ne sont pas non plus traitées dans cet ouvrage ; • d'infections résultant du parasitisme, mycoses superficielles ou profondes le plus souvent opportunistes.

À part quelques exceptions, les kératinophiles ne colonisent que la peau et les phanères (ongles, poils, cheveux). L'importance des lésions varie selon le degré d'adaptation parasitaire. Seules les espèces dites « anthropophiles » peuvent être relativement bien tolérées ; les lésions mycosiques, dans ces cas, sont discrètes voire absentes. En revanche, les espèces dites « zoo- philes » ou « géophiles », peu ou pas adaptées à l'Homme, sont à l'origine de dermatophyties volontiers inflammatoires.

A. Champignons adaptés au parasitisme Le meilleur exemple est celui des micromycètes kératinophiles dont l'avidité pour la kératine animale et humaine est très prononcée

Solution

I already presented SVM in the introduction, so this section only fills a couple of blanks. Two critical questions need to be answered:

1. What if there’s noise in the data and no hyperplane can perfectly separate positive examples from negative ones?
2. What if the data cannot be separated using a plane, but could be separated by a higher-order polynomial?

You can see both situations depicted in Figure 5. In the left case, the data could be separated by a straight line if not for the noise (outliers or examples with wrong labels). In the right case, the decision boundary is a circle and not a straight line.

Elle est encore aujourd'hui la première infection opportuniste dans ce contexte en France métropolitaine, malgré la diminution globale de l'incidence du sida depuis la disponibilité des traitements antirétroviraux.

Les premières descriptions de pneumopathies à Pneumocystis jirovecii (PPC) ont été faites dans les années quarante chez des nourrissons malnutris en Europe de l'Est

La pneumocystose est une mycose pulmonaire due à un champignon cosmopolite opportuniste transmissible, dénommé Pneumocystis jirovecii, survenant majoritairement chez les patients immunodéprimés. L'infection se présente essentiellement comme une pneumopathie, tandis que les localisations extrapulmonaires sont rares.

To extend SVM to cases in which the data is not linearly separable, we introduce the hinge loss function: \(\max (0, 1 − y_i (\mathbf w \mathbf x_i − b))\).

The hinge loss function is zero if the constraints in 8 [i.e., \(\mathbf w \mathbf x_i − b \ge +1 \; \textrm{if} \; y_i = +1\) and \(\mathbf w \mathbf x_i − b \le -1 \; \textrm{if} \; y_i = -1\)] are satisfied; in other words, if \(\mathbf w \mathbf x_i\) lies on the correct side of the decision boundary. For data on the wrong side of the decision boundary, the function’s value is proportional to the distance from the decision boundary.

We then wish to minimize the following cost function,

\(C \left\Vert \mathbf w \right\Vert^2 + \frac{1}{N} \displaystyle \sum_{i=1}^N \max (0, 1 − y_i (\mathbf w \mathbf x_i − b)) \),

where the hyperparameter \(C\) determines the tradeoff between increasing the size of the decision boundary and ensuring that each \(\mathbf x_i\) lies on the correct side of the decision boundary. The value of \(C\) is usually chosen experimentally, just like ID3’s hyperparameters \(\epsilon\) and \(d\) . SVMs that optimize hinge loss are called soft-margin SVMs, while the original formulation is referred to as a hard-margin SVM.

As you can see, for sufficiently high values of \(C\), the second term in the cost function will become negligible, so the SVM algorithm will try to find the highest margin by completely ignoring misclassification. As we decrease the value of \(C\), making classification errors is becoming more costly, so the SVM algorithm tries to make fewer mistakes by sacrificing the margin size. As we have already discussed, a larger margin is better for generalization. Therefore, \(C\) regulates the tradeoff between classifying the training data well (minimizing empirical risk) and classifying future examples well (generalization).

On décrit deux formes de cet ascomycète et des formes de transition : • les asques (anciennement appelés kystes), qui sont ovoïdes ou sphériques et mesurent 4 à 7 μm de diamètre ; les asques matures contiennent huit ascospores ; les asques vides ont une forme de ballon dégonflé caractéristique ; • les formes trophiques ou trophozoïtes, qui sont très variables en forme et en taille (2 à 8 μm). Elles sont mononucléées et amiboïdes et sont munies d'élongations, dénommées les filopodes, qui leur permettent de s'arrimer très étroitement aux cellules épithéliales pulmonaires de type I où elles se multiplient activement. C'est à partir des grandes formes trophiques que se forment les asques.

Les asques matures contiennent huit ascospores qui, après libération et selon un cycle hypothétique, donneront des petites formes trophiques puis des plus grandes formes trophiques polymorphes. Les formes trophiques par conjugaison donneront de nouveaux asques qui, après maturation, libéreront de nouvelles ascospores

Cycle parasitaire de Pneumosystis jirovecii

Dans ce contexte, la spécificité des espèces de Pneumocystis pour leur mammifère hôte permet d'écarter un réservoir animal pour P. jirovecii et de retenir un réservoir strictement humain

De plus, la transmission interindividuelle de P. jirovecii par voie aérienne est désormais admise chez l'Homme. Elle peut être à l'origine de « cas groupés » ou d'épidémies dans les services hospitaliers accueillant des patients immunodéprimés

Chez les patients à risque, le développement de P. jirovecii entraîne des lésions de l'épithélium alvéolaire dont les cloisons s'épaississent, réalisant une pneumopathie interstitielle diffuse à l'origine d'hypoxémie et d'insuffisance respiratoire

1. Chez l'enfant immunodéprimé non infecté par le VIH La pneumocystose survient essentiellement au cours de la première année de vie chez les enfants atteints d'immunodéficience combinée sévère ou d'hypogammaglobulimémie congénitale. Le début est brutal avec dyspnée, toux sèche et fièvre. La mortalité est de 100 % en l'absence de traitement.

2. Chez l'enfant immunodéprimé infecté par le VIH L'incidence de la pneumocystose était d'environ 40 % dans les pays développés avant l'utilisation des antirétroviraux. Le début clinique est progressif, avec tachypnée, fièvre et toux.

1. Chez l'adulte infecté par le VIH La pneumocystose se traduit par une triade classique d'apparition progressive dans la moitié des cas, faite de fièvre, de toux sèche et de dyspnée d'intensité croissante. Il peut exister des formes fébriles pures.

À l'inverse, lorsque le diagnostic est tardif, les patients se présentent avec un tableau d'insuffisance respiratoire aiguë. La radiographie pulmonaire est quasi opaque, en « verre dépoli » (ou « poumons blancs »). Les gaz du sang peuvent montrer une hypoxémie grave (PaO 2 inférieure à 60 mmHg). Ces cas sont de mauvais pronostic. La mortalité globale sous traitement est estimée à 15 %

Quand le taux de CD4 est inférieur à 100/mm 3 , d'autres infections opportunistes peuvent être évoquées devant une pneumopathie interstitielle d'origine parasitaire ou fongique (toxoplasmose, cryptococcose, histoplasmose, pénicilliose), d'origine bactérienne (pneumocoque, Haemophilus, tuberculose). Une maladie de Kaposi ou une pneumopathie interstitielle lymphoïde peuvent être également discutées.

La symptomatologie est proche de celle rencontrée chez le patient infecté par le VIH, mais elle est plus aiguë et évolue plus vite vers l'insuffisance respiratoire. La mortalité est également plus élevée que chez le patient infecté par le VIH (de 30 à 60 %).

L'étude du lavage bronchiolo-alvéolaire est le meilleur examen pour sa détection. Celle des crachats induits ou des lavages oropharyngés, bien que moins sensible, peut être proposée en cas de contre- indications au lavage bronchiolo-alvéolaire. La biopsie transpariétale ou transbronchique est rarement usitée en France.

Le diagnostic repose sur la mise en évidence de P. jirovecii par examen microscopique direct après coloration des prélèvements biologiques. La coloration argentique ou le bleu de toluidine colore bien la paroi des asques regroupés en amas (fig. 31.3 et 31.4). La coloration au Giemsa est indispensable pour mettre en évidence les formes trophiques, non observées avec les colorations précédentes : elle permet aussi de visualiser les ascospores (au nombre de huit au maximum, disposés en rosette) et les amas spumeux contenant les formes trophiques, les asques matures et immatures (fig. 31.5).

La PCR, de par sa grande sensibilité, permet de détecter de faibles quantités de P. jirovecii dans le lavage bronchiolo-alvéolaire et ainsi de poser le diagnostic de pauci-infections. Bien qu'elle permette d'augmenter également la sensibilité de l'examen des crachats ou des lavages oropharyngés lorsqu'un lavage bronchiolo-alvéolaire ne peut être réalisé, elle ne permet pas d'écarter une pneumocystose en cas de résultat négatif sur ce type d'échantillon. Elle devient l'examen de référence quel que soit l'échantillon pulmonaire analysé

SVM can be adapted to work with datasets that cannot be separated by a hyperplane in its original space. Indeed, if we manage to transform the original space into a space of higher dimensionality, we could hope that the examples will become linearly separable in this transformed space. In SVMs, using a function to implicitly transform the original space into a higher dimensional space during the cost function optimization is called the kernel trick.

The effect of applying the kernel trick is illustrated in Figure 6. As you can see, it’s possible to transform a two-dimensional non-linearly-separable data into a linearly-separable three-dimensional data using a specific mapping \(\phi: \mathbf x \mapsto \phi (\mathbf x)\), where \(\phi (\mathbf x)\) is a vector of higher dimensionality than \(\mathbf x\). For the example of 2D data in Figure 5 (right), the mapping \(\phi\) for that projects a 2D example \(\mathbf x = \left[ q, p \right]\) into a 3D space (Figure 6) would look like this: \(\phi \left( \left[ q, p \right] \right) \stackrel{\textrm{def}}{=} \left( q^2, \sqrt{2} qp, p^2\right)\), where \(\cdot^2\) means \(\cdot\) squared. You see now that the data becomes linearly separable in the transformed space.

C. Marqueurs sériques biologiques non spécifiques La détection des antigènes β(1,3)-D-glucanes sériques est positive chez les patients développant des infections fongiques invasives dont la pneumocystose, la paroi des asques contenant du β(1,3)-D-glucane. Il s'agit d'un test diagnostique complémentaire, l'examen direct et la PCR restent les examens de première intention

Le taux de lactates déshydrogénases sériques est généralement élevé chez le patient infecté par le VIH développant une pneumocystose. La détection des anticorps anti-Pneumocystis sériques n'est pas utilisée pour le diagnostic mais présente un intérêt pour les enquêtes de séroprévalence

Le traitement de première intention repose sur le cotrimoxazole (triméthoprime et sulfaméthoxazole) ; en cas d'intolérance ou de contre-indication, on peut utiliser : • l'association clindamycine et primaquine ou l'iséthionate de pentamidine (souvent mal toléré) dans les formes modérées à sévères ; • l'atovaquone ou la dapsone, associée ou non au triméthoprime, dans les formes légères à modérées.

Le cotrimoxazole (Bactrim ® , et ses génériques) est donné à la posologie de 20 mg/kg par jour de triméthoprime et de 100 mg/kg par jour de sulfaméthoxazole en trois à quatre prises, par voie orale ou intraveineuse pendant 2 à 3 semaines selon la maladie sous-jacente. Des effets secondaires surviennent dans plus de 50 % des cas, à type d'éruption cutanée, fièvre, leucopénie, anémie, thrombopénie, élévation des transaminases…

L'association clindamycine (Dalacine ® ) et primaquine est prescrite respectivement à la dose de 1 800 mg par jour en trois prises (IV ou orales) et 15 mg par jour en une prise orale.

L'iséthionate de pentamidine (Pentacarinat ® ) est utilisé par voie intraveineuse lente à la posologie de 4 mg/kg par jour pendant 3 semaines. Les injections intramusculaires sont déconseillées à cause du risque de douleur et nécrose au point de piqûre. Les effets secondaires sont nombreux : insuffisance rénale, hypotension orthostatique, leucopénie, thrombo pénie, hypoglycémie, troubles du rythme cardiaque, diabète, pancréatite aiguë, élévation des transaminases…

L'atovaquone (Wellvone ® ) est utilisée en suspension à la dose de 1 500 mg par jour, en 2 prises, pendant 21 jours

Chez le patient infecté par le VIH, en cas d'hypoxie associée (PaO 2 inférieure à 60 mmHg), on peut adjoindre une corticothérapie. Chez les patients non infectés par le VIH, l'intérêt de la corticothérapie est controversé.

La dapsone (Disulone ® ) est prescite à 100 mg par jour, seule ou en association avec le triméthoprime (Delprim ® ) à 20 mg par jour (hors AMM)

1. Prophylaxie primaire Pour les patients infectés par le VIH, elle doit être envisagée dès que les CD4 sont inférieurs à 200/mm 3 ou inférieurs à 15 % des lymphocytes. Elle doit être réalisée plus tôt s'il existe une baisse rapide des CD4 ou une chimiothérapie associée (lymphome, Kaposi), une autre infection opportuniste ou encore une altération sévère de l'état général

Les patients transplantés d'organe solide et ceux ayant bénéficié d'une allogreffe de cellules souches hématopoïétiques reçoivent systématiquement une prophylaxie par cotrimoxazole durant les 6 mois qui suivent la transplantation.

La prophylaxie est également recommandée chez les patients ayant une leucémie aiguë lymphoblastique, de l'induction à la fin de l'entretien de la chimiothérapie.

Par ailleurs, compte tenu du risque de transmission interhumaine, les patients infectés par P. jirovecii doivent être isolés des patients réceptifs.

Interruption des prophylaxies primaire et secondaire :

• Après amélioration sous antirétroviraux, si les CD4 sont supérieurs à 200/mm 3 de façon durable (3 mois) et si la charge virale du VIH est inférieure à 1 000 copies/ml, il est possible d'interrompre les traitements prophylactiques.
• Les recommandations chez les patients immunodéprimés autres que le VIH sont moins bien établies.

2. Prophylaxie secondaire Le traitement privilégié est le cotrimoxazole per os (1 comprimé de Bactrim ® par jour ou 1 comprimé de Bactrim ® forte trois fois par semaine). En cas d'intolérance, les alternatives sont la pentamidine en aérosol à la posologie de 4 mg/kg par semaine, la dapsone per os à la dose de 100 mg par jour, seule ou associée à 50 mg de pyriméthamine (Malocide ® ) par semaine, l'atovaquone (Wellvone ® ) en suspension à la dose de 1 500 mg par jour en deux prises.

However, we don’t know a priori which mapping \(\phi\) would work for our data. If we first transform all our input examples using some mapping into very high dimensional vectors and then apply SVM to this data, and we try all possible mapping functions, the computation could become very inefficient, and we would never solve our classification problem.

Fortunately, scientists figured out how to use kernel functions (or, simply, kernels ) to efficiently work in higher-dimensional spaces without doing this transformation explicitly. To understand how kernels work, we have to see first how the optimization algorithm for SVM finds the optimal values for \(\mathbf x\) and \(b\). The method traditionally used to solve the optimization problem in eq. 9 is the method of Lagrange multipliers. Instead of solving the original problem from eq. 9, it is convenient to solve an equivalent problem formulated like this:
\(\max_{\alpha_1 \ldots \alpha_N} \displaystyle \sum_{i=1}^N \alpha_i - \frac{1}{2} \sum_{i=1}^N \sum_{k=1}^N y_i \alpha_i (\mathbf x_i \mathbf x_k) y_k \alpha_k \; \textrm{subject to} \; \sum_{i=1}^N \alpha_i y_i \; \textrm{and} \; \alpha_i \ge 0, i = 1, \ldots, N,\)

where \(\alpha_i\) are called Lagrange multipliers. When formulated like this, the optimization problem becomes a convex quadratic optimization problem, efficiently solvable by quadratic programming algorithms.

Now, you could have noticed that in the above formulation, there is a term \(\mathbf x_i \mathbf x_k\) , and this is the only place where the feature vectors are used. If we want to transform our vector space into higher dimensional space, we need to transform \(\mathbf x_i\) into \(\phi ( \mathbf x_i )\) and \(\mathbf x_k\) into \(\phi ( \mathbf x_k )\) and then multiply \(\phi ( \mathbf x_i )\) and \(\phi ( \mathbf x_k )\). Doing so would be very costly.

On the other hand, we are only interested in the result of the dot-product \(\mathbf x_i \mathbf x_k\), which, as we know, is a real number. We don’t care how this number was obtained as long as it’s correct. By using the kernel trick, we can get rid of a costly transformation of original feature vectors into higher-dimensional vectors and avoid computing their dot-product. We replace that by a simple operation on the original feature vectors that gives the same result. For example, instead of transforming \(( q_1, p_1 )\) into \(( q_1^2, \sqrt{2} q_1 p_1, p_1^2 )\) and \(( q_2, p_2 )\) into \(( q_2^2, \sqrt{2} q_2 p_2, p_2^2 )\) and then computing the dot-product of \(( q_1^2, \sqrt{2} q_1 p_1, p_1^2 )\) and \(( q_2^2, \sqrt{2} q_2 p_2, p_2^2 )\) to obtain \(( q_1^2 q_2^2 + 2 q_1 q_2 p_1 p_2 + p_1^2 p_2^2 )\) we could find the dot-product between \(( q_1, p_1 )\) and \(( q_2, p_2 )\) to get \(( q_1 q_2 + p_1 p_2 )\) and then square it to get exactly the same result \(( q_1^2 q_2^2 + 2 q_1 q_2 p_1 p_2 + p_1^2 p_2^2 )\).

That was an example of the kernel trick, and we used the quadratic kernel \(k ( \mathbf x_i, \mathbf x_k ) \stackrel{\textrm{def}}{=} ( \mathbf x_i, \mathbf x_k )^2\). Multiple kernel functions exist, the most widely used of which is the RBF kernel:

\(k ( \mathbf x, \mathbf x' )= \exp \left( - \frac{\left\Ver

...

Quand on réalise une étude, il est nécessaire de rédiger avant le début de celle-ci un protocole. Ce document doit comporter une synthèse de la littérature scientifique permettant de poser le problème, une formulation claire et complète de l’objectif, la description détaillée des méthodes qui vont être employées (sélection de l’échantillon, mesure des critères de jugement, plan d’analyses statistiques pour répondre aux objectifs principal et secondaires, etc.) et l’ensemble des dispositions réglementaires concernant les questions d’ordre éthique et d’archivage des données issues de l’étude.

De plus en plus fréquemment, ce protocole est publié sous la forme d’un article et il est aussi obligatoire de l’enregistrer avant le début de l‘étude dans le registre international « ClinicalTrials.gov » ou dans un autre registre reconnu par l’OMS librement consultable sur internet

Pour être complet, un objectif de recherche doit comprendre 4 éléments, qui seront repris dans la suite du cours sous l’acronyme PECO. Ces éléments sont décrits dans le Tableau 3.

Cette population est la population cible qui correspond à la population à laquelle on souhaite extrapoler les résultats de l’étude. Il n’est généralement pas possible de réaliser l’étude dans l’ensemble de la population cible et donc d’obtenir la « vraie » valeur, ou la valeur « réelle » du paramètre. Dans ce cas, l’étude va consister à estimer la valeur du paramètre dans un échantillon de sujets issus de cette population. On parle alors de paramètre « mesuré », « estimé » ou « observé ».Pour pouvoir extrapoler cette valeur estimée du paramètre à l’ensemble de la population cible, l’échantillon doit être représentatif (avoir les mêmes caractéristiques) de la population cible.

En pratique, il est souvent très difficile de constituer l’échantillon dans l’ensemble de la population cible (certains sujets sont moins facilement joignables : populations en situation de précarité par exemple). L‘échantillon est donc tiré d’une population dite « source » (population dans laquelle l’échantillon a été constitué).

Idéalement, la population source devrait être la population cible, mais ce n’est pas toujours le cas. Par exemple, l’identification des facteurs de risque de maladies est souvent réalisée chez des patients hospitalisés. Les patients non hospitalisés font bien partie de la population cible de l’étude mais ne feront pas partie de l’échantillon

Si l’on constitue plusieurs échantillons (provenant de la même population source), l’estimation des paramètres qui nous intéressent ne sera pas exactement la même d’un échantillon à l’autre même si ceux-ci sont de même taille, du simple fait du hasard. C’est ce qu’on appelle la fluctuation d’échantillonnage. La fluctuation d’échantillonnage est inévitable dès qu’on constitue un échantillon. Plus la taille de l’échantillon augmente, plus la fluctuation d’échantillonnage diminue et l’estimation des paramètres tend à se stabiliser

L’intervalle de confiance à 95% d’un paramètre est calculé à partir de la mesure du paramètre et de la mesure de sa variabilité (variance du paramètre)

On distingue les critères d’inclusion (il faut que les patients les remplissent tous pour entrer dans l’étude) et les critères de non inclusion parfois appelés, à tort, critères d’exclusion. Il suffit d’un seul critère de non-inclusion pour que le patient ne puisse pas entrer dans l’étude. Les critères d’exclusion devraient désigner les critères qui font que des sujets initialement inclus, donc répondant aux critères d’inclusion et de non-inclusion, sont exclus dans un deuxième temps.

1) Les variables quantitatives Une variable est dite quantitative quand cela a un sens de dire qu’un résultat est plus grand ou plus petit qu’un autre (elle reflète une notion de grandeur). Une variable peut être quantitative discrète (si elle ne peut prendre qu’un nombre limité de valeurs comme la pression artérielle systolique) ou continue (si elle peut prendre un nombre infini de valeurs comme la douleur sur une échelle visuelle analogique continue).

2) Les variables qualitatives ou catégorielles Une variable qui ne reflète pas une notion de grandeur est une variable dite qualitative. Une variable est dite binaire quand elle peut prendre 2 valeurs. Le genre (masculin ou féminin) est un exemple de variable binaire.

On sait seulement que leur durée de survie dépasse leur durée de participation dans l’étude. Afin d’analyser correctement ces patients, on doit définir une date de point qui correspond à la fin de l’étude. Les patients qui ne sont pas décédés à la date de point sont censurés. C’est pour cela que ces variables sont appelées variables censurées. Les patients qui sont perdus de vue avant la date de point sont censurés à la date de la dernière visite.

La prévalence intègre 2 dimensions différentes : la durée de la maladie (plus la maladie dure longtemps, plus le nombre de malades est important) et la vitesse d’apparition de nouveaux cas de la maladie dans la population. Plus celle-ci est grande, plus la prévalence augmente).

1.4.2.1. Analyse descriptive La première étape de l’analyse statistique consiste à décrire l’ensemble des variables étudiées dans l’échantillon.

Le taux d’incidence mesure une vitesse moyenne d’apparition de nouveaux cas sur l’ensemble des sujets de la population et de la durée totale de leur suivi.

Il existe une relation entre le taux d’incidence et la prévalence : P = TI * d avec d : durée moyenne de la maladie Cette formule est valable si la population est stable et le taux d’incidence est faible.

Il arrive souvent que la date exacte des évènements, comme une maladie, soit inconnue. La méthode exacte n’est donc plus utilisable car le temps réel d’exposition au risque (comme tomber malade ou être perdu de vue) ne peut être estimé exactement, celui-ci nécessitant un suivi longitudinal précis. On utilise alors une méthode approchée qui suppose que les personnes décédées, perdues de vue ou tombées malades, ont été présentes et non malades pendant la moitié de la période observée.

Remarque 1 : La médiane est moins sensible aux valeurs extrêmes que la moyenne (si quelques personnes sont très âgées, la moyenne d’âge va beaucoup augmenter, mais pas la médiane). Remarque 2 : Il est intéressant d’étudier la distribution de la variable dans l’échantillon et de distinguer les variables qui ont une distribution dite « normale » de celles qui ont une distribution non normale

Paramètres de dispersion o Ecart-type, variance (carré de l’écart-type) : représentent les « écarts à la moyenne ». Plus la variance est élevée, plus le caractère est variable dans la population. On parle aussi de plus grande hétérogénéité du caractère. L’écart-type et la variance sont des paramètres de dispersion classiquement associés à la moyenne. o Intervalle interquartile : intervalle entre le 25 e (1 er Quartile) et le 75 e percentile (3 ème Q uartile). Accompagne souvent la médiane : « L’âge médian est de 37 ans (intervalle interquartile : 28-48) » signifie que 25% de la population a moins de 28 ans, 25% entre 28 et 37 ans, 25% entre 37 et 48 ans et 25% plus de 48 ans.

La méthode de Kaplan-Meier permet de représenter, à chaque temps d’événement, le pourcentage de sujets n’ayant pas encore présenté l’événement d’intérêt

Rappels des hypothèses et des définitions La réalisation d’un test statistique repose sur 2 hypothèses : L’hypothèse nulle (H0) : il n’y a pas de différence entre les 2 groupes Par exemple dans le cadre d’un essai clinique : Le traitement A a la même efficacité que le traitement B L’hypothèse alternative (H1): il y a une différence entre les 2 groupes Par exemple dans le cadre d’un essai clinique : Le traitement A et le traitement B ont des efficacités différentes

La réalisation d’un test statistique nécessite de fixer des risques d’erreur. Le premier risque d’erreur est considéré comme le plus grave. Il s’agit du risque de conclure à une différence qui n’existe pas en réalité. C’est le risque alpha. Il est généralement fixé à 5%. L’autre risque d’erreur est le risque beta défini par la probabilité de ne pas mettre en évidence une différence qui existe.

Avec les hypothèses présentées ci-dessus, le test est dit bilatéral car la différence entre traitement A et traitement B peut aller dans les 2 sens. Dans certains articles, les auteurs font un test unilatéral : ils font l’hypothèse que la différence ne peut aller que dans un sens, c'est-à-dire que l’un des 2 traitements est supérieur à l’autre. Il est recommandé de faire des tests bilatéraux. La réalisation d’un test unilatéral impose une correction du risque alpha qui devrait être à 2.5% mais cela n’est pas fréquemment fait en pratique par les auteurs.

Remarque 2 : En aucun cas les tests statistiques n’indiquent l’importance d’une différence. Ce n’est pas parce que la différence est statistiquement significative qu’elle est cliniquement pertinente. Si vous faites une étude incluant un grand nombre de sujets, vous aurez une forte puissance statistique pour montrer des différences statistiquement significatives pour de faibles différences (sans aucun sens clinique)

Les principaux tests statistiques

Le choix du test statistique dépend du type de variable que l’on veut évaluer et de sa nature.

- Si on veut comparer une variable qualitative (par exemple le sexe) entre 2 groupes, on fait un test du Chi 2 (test paramétrique) ou un test exact de Fisher (test non paramétrique).

- Si on veut comparer une variable quantitative (par exemple l’âge) entre 2 groupes, on pourra faire un test t de Student si la variable quantitative a une distribution normale. Si ce n’est pas le cas (exemple : dosage des leucocytes), on pourra faire un test de Wilcoxon pour séries indépendantes qui est un test non paramétrique.

Remarque : Un test est dit paramétrique quand on fait des hypothèses sur la distribution des variables (par exemple, pour un critère de jugement continu, on fait fréquemment l’hypothèse d’une distribution normale). Un test est dit non-paramétrique quand on ne fait aucune hypothèse sur la distribution des variables.

Si on veut comparer une variable censurée (par exemple la survie) entre 2 groupes, on fera un test du log rank qui permet de comparer les courbes de survie entre les 2 groupes.

Risque relatif Le risque relatif (RR) est le rapport des proportions de malades chez les exposés (a/n 1 ) et les non exposés (b/n 0 ).

Odds Ratio L’odds ratio (OR) est une autre mesure possible de l’intensité de l’association entre deux facteurs qui est fréquemment utilisé car on peut le calculer quel que soit le type d’étude (contrairement au risque relatif). Il s’agit d’un rapport des rapports ou d’un rapport des cotes.

Conséquences : - si la prévalence de la maladie dans la population cible est de 8% et que l’on estime un OR à 1,5 sur un échantillon, alors on peut dire sans trop se tromper « le risque de maladie est 1,5 fois plus élevé chez les exposés que chez les non exposés » (phrase qui correspond normalement au risque relatif) - si la prévalence de la maladie dans la population cible est de 35% et que l’on estime un OR à 3,2 sur un échantillon, alors il est probable que la phrase « le risque de maladie est 3,2 fois plus élevé chez les exposés que chez les non exposés » soit fausse. Il faudra dire « il y a 3.2 fois plus de malades par rapport aux non-malades chez les exposés que de malades par rapport aux non-malades chez les non exposés. »

Hazard ratio Le hazard ratio (hazard = risque en Anglais) est l’équivalent du risque relatif pour des variables censurées. C’est le rapport des risques instantanés de chaque groupe.

Attention à ne pas confondre variance d’une variable et variance d’un paramètre :

• La variance d’une variable quantitative (par exemple variance de la pression artérielle) mesure sa variabilité dans la population. Dans les articles, son estimation (ou celle de l’écart-type) est souvent donnée dans le tableau descriptif de l’échantillon (« tableau 1 »).

• La variance d’un paramètre (par exemple variance d’une moyenne ou d’un risque relatif) mesure à quel point des estimations répétées sur des échantillons différents donneraient des estimations différentes (fluctuation d’échantillonnage). La variance du paramètre n’est pas donnée directement dans les articles, mais elle est utilisée dans le calcul des intervalles de confiance à 95%.

• La variance d’un paramètre est liée à la variance de la variable (quantitative) correspondante. Par exemple, la variance d’une moyenne d’âge est la variance de l’âge divisée par le nombre de sujets.

The likelihood function describes a hypersurface whose peak, if it exists, represents the combination of model parameter values that maximize the probability of drawing the sample obtained.^[1] The procedure for obtaining these arguments of the maximum of the likelihood function is known as maximum likelihood estimation, which for computational convenience is usually done using the natural logarithm of the likelihood, known as the log-likelihood function.

In logistic regression, on the other hand, we maximize the likelihood of our training set according to the model. In statistics, the likelihood function defines how likely the observation (an example) is according to our model.

You may have noticed that we used the product operator \(\prod\) in the objective function instead of the sum operator \(\sum\) which was used in linear regression. It’s because the likelihood of observing \(N\) labels for \(N\) examples is the product of likelihoods of each observation (assuming that all observations are independent of one another, which is the case). You can draw a parallel with the multiplication of probabilities of outcomes in a series of independent experiments in the probability theory.