La première partie du mémoire détaille les définitions, avantages et inconvénients des estimateurs obtenus par pénalisation du problème des moindres carrés, en particulier le Lasso, le GroupLasso et Sbite. Plusieurs méthodes sont proposées pour choisir le paramètre de régularisation de ces estimateurs. La deuxième partie explicite les applications de ces estimateurs en analyse de la variance. La première application consiste à comparer les puissances des statistiques de test construites à partir du Lasso ou du GroupLasso en fonction de l'hypothèse alternative testée. Une autre application fournit une procédure alternative aux comparaisons deux à deux de Tukey basée sur le Lasso, alors que la dernière application consiste à reprogrammer les simulations de l'article GroupLasso et à comparer différents estimateurs. Dans la dernière partie, une estimation de l'erreur quadratique moyenne pour l'estimateur Sbite basée sur le théorème de Stein est proposée dans le cas gaussien.