Convertir un factor : méfiance !

Quand on veut convertir un factor en un vecteur d’un autre type, on utilise les fonctions habituelles : as.character, as.integer, as.numeric ou as.Date. Mais attention, car si la conversion en texte ne pose pas de souci, la conversion en numérique va utiliser les valeurs entières stockées par R.

# d'abord en texte --> aucun problème
as.character(eleves2017$niveau)

## [1] "Très petite section" "Petite section"      "Moyenne section"    
## [4] "Grande section"      "CP"                  "CE1"                
## [7] "CE2"                 "CM1"                 "CM2"

# puis en numérique --> on récupère les codes sous-jacents
as.numeric(eleves2017$niveau)

## [1] 9 8 7 6 5 1 2 3 4

Jusqu’ici, tout paraît assez prévisible. Les ennuis peuvent survenir si les valeurs affichées du factor ne sont composés que de chiffres (par exemple des numéros de département).

# départements bretons - en texte
bretagne <- c("22","29","35","56")

# convertis en factor
bretagne <- as.factor(bretagne)

# tout va bien
bretagne

## [1] 22 29 35 56
## Levels: 22 29 35 56

# convertis en texte --> OK
as.character(bretagne)

## [1] "22" "29" "35" "56"

# convertis en numérique --> non !!!
as.numeric(bretagne)

## [1] 1 2 3 4

# convertis correctement en numérique
as.numeric(as.character(bretagne))

## [1] 22 29 35 56

Factors et tableaux

Les niveaux des factors étant attribués par ordre alphabétique par défaut, c’est également l’ordre qui prévaudra dans un tableau.

library(tables)

tabular(Heading("Niveau") * niveau ~ Heading("Effectif") * nb * Heading() * sum, 
        eleves2017)

L’ordre utilisé ici n’a pas beaucoup de sens. Il est strictement alphabétique. Un factor ordonné (une variante du factor de base) permet de conserver un ordre dans les modalités.

eleves2017$niveau_2  <- ordered(eleves2017$niveau,
                               levels=c("Très petite section", "Petite section", "Moyenne section", "Grande section",
                                        "CP", "CE1", "CE2", "CM1", "CM2"))
str(eleves2017)

## 'data.frame':    9 obs. of  3 variables:
##  $ niveau  : Factor w/ 9 levels "CE1","CE2","CM1",..: 9 8 7 6 5 1 2 3 4
##  $ nb      : num  92900 788100 809100 832300 838200 ...
##  $ niveau_2: Ord.factor w/ 9 levels "Très petite section"<..: 1 2 3 4 5 6 7 8 9

levels(eleves2017$niveau_2)

## [1] "Très petite section" "Petite section"      "Moyenne section"    
## [4] "Grande section"      "CP"                  "CE1"                
## [7] "CE2"                 "CM1"                 "CM2"

Le tableau s’en trouve largement amélioré.

tabular(Heading("Niveau")*niveau_2 ~ Heading("Effectif")*nb * Heading()*sum, 
        eleves2017)

Avec un autre package de construction de tableaux, la problématique est la même.

library(flextable)
library(magrittr)
library(reshape2)

dcast(eleves2017, 
      niveau ~ ., 
      value.var = "nb", 
      fun.aggregate=sum) %>% 
flextable() %>% 
delete_part("header") %>% 
  add_header(niveau="Niveau","."="Effectifs") %>% 
  colformat_int(col_keys=".", big.mark=" ")

Beaucoup plus intéressant réordonné avec la colonne niveau_2.

dcast(eleves2017, 
      niveau_2 ~ ., 
      value.var = "nb", 
      fun.aggregate=sum) %>% 
  flextable() %>% 
  delete_part("header") %>% 
  add_header(niveau_2="Niveau","."="Effectifs") %>% 
  colformat_int(col_keys=".", big.mark=" ")

Factors et graphiques

Quand on produit un graphique, particulièrement un diagramme en bâtons, l’ordre des barres peut être a) lié au sens métier des données ou b) tel que les barres sont par ordre croissant de longueur. On constate que l’ordre alphabétique est sans intérêt.

library(ggplot2)
library(forcats)
ggplot(acad2017) +
  aes(x=academie, y=nb_deg1_public) +
  geom_bar(stat = "identity") +
  theme_light() +
  xlab("Académie") + 
  ylab("Effectif d'élèves du 1er degré, secteur public") + 
  coord_flip() +
  scale_y_continuous(labels=scales::number)

Le package {forcats} propose de nombreuses fonctions pour manipuler les factors : les réordonner selon une statistique avec fct_reorder…

ggplot(acad2017) +
  aes(x=fct_reorder(academie, nb_deg1_public, sum),
      y=nb_deg1_public) +
  geom_bar(stat = "identity") +
  theme_light() +
  xlab("Académie") + 
  ylab("Effectif d'élèves du 1er degré, secteur public") +
  coord_flip() +
  scale_y_continuous(labels=scales::number)

… ou modifier leurs libellés avec fct_recode. Ici on propose le même libellé pour plusieurs niveaux, ce qui a pour conséquence de les fusionner.

eleves2017$niveau_3 <- fct_recode(eleves2017$niveau,
                                  "maternelle"="Très petite section",
                                  "maternelle"="Petite section",
                                  "maternelle"="Moyenne section",
                                  "maternelle"="Grande section",
                                  "primaire"="CP","primaire"="CE1","primaire"="CE2",
                                  "primaire"="CM1","primaire"="CM2")
ggplot(eleves2017) +
  aes(x=niveau_3, y=nb) +
  geom_bar(stat = "summary", fun.y="sum") +
  theme_light() +
  xlab("niveau agrégé") + 
  ylab("nombre d'élèves en 2017") +
  coord_flip() +
  scale_y_continuous(labels=scales::number)

Factors et modélisation statistique

Enfin, l’ordre des modalités d’une variable texte ou factor est utilisé dans R lors de la construction de modèles statistiques et particulièrement de régressions. Pour l’illustrer, nous utiliserons les données de prix de location des maisons AirBnB sur Paris (une partie des données qui servent aux exemples du livre Le langage R au quotidien chez Dunod).

maisons <- read.delim(url("https://github.com/olivierDecourt/livreR/blob/master/houses.csv?raw=true"),
                      sep=",")

Parmi les multiples informations concernant ces logements, il y a la politique d’annulation.

levels(maisons$cancellation_policy)

## [1] "flexible"        "moderate"        "strict"          "super_strict_30"
## [5] "super_strict_60"

Si on réalise une régression linéaire expliquant le prix par le nombre de personnes accueillies et la politique d’annulation, les coefficients se présentent d’abord ainsi.

library(broom) # affichage des coefficients du modèle sous forme de tibble
library(pander) # affichage markdown de tableaux et tibbles
reg <- lm(price ~ accommodates + cancellation_policy, maisons)
pander(tidy(reg), split.tables=Inf)

Pour le coefficient du nombre de personnes accueillies, pas de souci : chaque place supplémentaire correspond à une hausse du prix de 41,53€ en moyenne. Pour les coefficients correspondant à la politique d’annulation, ils sont construits par rapport à une situation de référence : il s’agit de la 1e modalité du factor. Ici, c’est par rapport à la politique “flexible”. Par exemple, une politique d’annulation modérée entraîne une baisse de 33€ en moyenne par rapport à une politique flexible – à nombre de personnes accueillies identique. Si on souhaite modifier cette référence (et donc se comparer à une autre politique d’annulation), on utilisera la fonction relevel (du package {stats} préinstallé et préactivé).

maisons$cancellation_policy <- relevel(maisons$cancellation_policy,
                                       "strict")
reg2 <- lm(price ~ accommodates + cancellation_policy, maisons)
pander(tidy(reg2), split.tables=Inf)

On constate que la constante et les coefficients de la politique d’annulation ont changé, ce qui est logique. En revanche le coefficient du nombre de personnes accueillies n’est pas modifié. Maintenant la situation de référence est la politique d’annulation dite “stricte”.