Pandas práctico (10): Operaciones de grupo usando groupby

A veces necesitas realizar operaciones en subconjuntos de datos. Tus filas pueden tener atributos en común o de alguna manera formar grupos lógicos basados en otras propiedades. Operaciones comunes como encontrar el promedio, máximo, conteo o desviación estándar de valores de grupos de datos es una tarea realmente común, y Pandas hace que esto sea muy fácil de lograr.

En este artículo, aprenderemos cómo usar la función groupby y estudiaremos algunas de las agregaciones integradas que puedes ejecutar en grupos. Esto te dará otra herramienta valiosa para el análisis de datos, y espero que te ayude a realizar tus tareas de una manera mucho más simple.

¡Genial, empecemos!

Cargando nuestros datos de ejemplo

Usaremos datos de un archivo CSV que creé con información sobre 16 Pokémon. Contiene atributos como el Nombre, Color (Verde, Azul, Rojo, Amarillo), y otras estadísticas como HP, Ataque, Defensa y Velocidad.

Estamos interesados en calcular algunas agregaciones comunes sobre grupos de Pokémon con diferentes colores.

import pandas as pd

pdata = pd.read_csv('./sample_data/poke_colors.csv')
pdata

GroupBy

La función groupby de Pandas se usa para crear objetos GroupBy. Estos objetos pueden realizar muchas agregaciones integradas útiles con solo una llamada de función. groupby recibe como argumento una lista de claves que deciden cómo se realiza la agrupación. En nuestro primer ejemplo agruparemos los Pokémon por color:

pg = pdata.groupby('Color')
pg

<pandas.core.groupby.generic.DataFrameGroupBy object at 0x7ff848e80f28>

Como puedes haber visto en el mensaje de arriba, obtuvimos un objeto de tipo GroupBy. Si quieres obtener un poco más de información sobre él, usa el método size:

pg.size()

Color
Blue      4
Green     4
Red       4
Yellow    4
dtype: int64

Otra forma de obtener información básica sobre el grupo es usando el atributo groups (es un diccionario):

pg.groups

{'Blue': Int64Index([4, 5, 6, 7], dtype='int64'),
 'Green': Int64Index([0, 1, 2, 3], dtype='int64'),
 'Red': Int64Index([8, 9, 10, 11], dtype='int64'),
 'Yellow': Int64Index([12, 13, 14, 15], dtype='int64')}

¡Excelente!

Ahora que sabes cómo crear un grupo básico, revisemos dos propiedades importantes:

# La primera es que puedes iterar sobre objetos GroupBy.

for color, group in pg:
    print(color)
    print(group)
    print('\n\n')

Blue
        Name Color  Evolves  HP  Attack  Defense  SpAtk  SpDef  Speed
4    Dratini  Blue     True  41      64       45     50     50     50
5   Squirtle  Blue     True  44      48       65     50     64     43
6    Poliwag  Blue     True  40      50       40     40     40     90
7  Poliwhirl  Blue     True  65      65       65     50     50     90



Green
        Name  Color  Evolves  HP  Attack  Defense  SpAtk  SpDef  Speed
0   Caterpie  Green     True  45      30       35     20     20     45
1    Metapod  Green     True  50      20       55     25     25     30
2    Scyther  Green    False  70     110       80     55     80    105
3  Bulbasaur  Green     True  45      49       49     65     65     45



Red
          Name Color  Evolves  HP  Attack  Defense  SpAtk  SpDef  Speed
8   Charmander   Red     True  39      52       43     60     50     65
9       Magmar   Red    False  65      95       57    100     85     93
10       Paras   Red     True  35      70       55     45     55     25
11    Parasect   Red    False  60      95       80     60     80     30



Yellow
       Name   Color  Evolves  HP  Attack  Defense  SpAtk  SpDef  Speed
12  Pikachu  Yellow     True  35      55       40     50     50     90
13     Abra  Yellow     True  25      20       15    105     55     90
14  Psyduck  Yellow     True  50      52       48     65     50     55
15  Kadabra  Yellow     True  40      35       30    120     70     10

# La segunda es que puedes acceder a los subgrupos proporcionando la clave correcta al método get_group
pg.get_group('Blue')

Los grupos son interesantes porque te permiten calcular agregaciones en subsecciones definidas por el usuario de tus datos. Calculemos la media de cada estadística para los grupos de colores:

#Evolves es booleano, por lo que True será tratado como 1 y False como 0 al calcular la media
pg.mean()

Agrupando solo un subconjunto de columnas

A veces lo que quieres es crear grupos con solo una o dos columnas de interés. Si este es el caso, puedes seleccionarlas (y la columna por la que quieres agrupar) en el dataframe y luego simplemente llamar a groupby:

# Creemos grupos con solo los valores de HP y luego calculemos la media
pdata[['HP', 'Color']].groupby('Color').mean()

# Hagamos lo mismo para Attack, Defense y Speed
pdata[['Color', 'Attack', 'Defense', 'Speed']].groupby('Color').mean()

Grupos con múltiples claves

Puedes crear grupos usando más de una columna como clave. Si pasas una lista de claves al método groupby, crearás una agrupación jerárquica. Agrupemos por los atributos Color y Evolves:

opg = pdata.groupby(['Color', 'Evolves'])
opg.size()

Color   Evolves
Blue    True       4
Green   False      1
        True       3
Red     False      2
        True       2
Yellow  True       4
dtype: int64

opg.groups

{('Blue', True): Int64Index([4, 5, 6, 7], dtype='int64'),
 ('Green', False): Int64Index([2], dtype='int64'),
 ('Green', True): Int64Index([0, 1, 3], dtype='int64'),
 ('Red', False): Int64Index([9, 11], dtype='int64'),
 ('Red', True): Int64Index([8, 10], dtype='int64'),
 ('Yellow', True): Int64Index([12, 13, 14, 15], dtype='int64')}

Agregaciones comunes:

Algunas agregaciones integradas ya vienen implementadas en Pandas, y también puedes definir las tuyas propias si las necesitas. En la siguiente sección, ejecutaremos las siguientes funciones para tener una idea del comportamiento predeterminado de Pandas. Todas estas funciones toman en consideración solo valores no-NA:

• count: Número de elementos en cada grupo.
• sum: Suma de valores en cada grupo.
• mean: Media aritmética de cada grupo.
• max: Valor máximo de cada grupo
• min: Valor mínimo de cada grupo
• std: Desviación estándar de cada grupo.
• var: Varianza de cada grupo.

También, es importante saber que no necesitas asignar el grupo a una variable. Muy a menudo, simplemente lo usarás como un valor intermedio para llamar a una agregación. Así que, en lugar de escribir esto:

pg = pdata.groupby('Color')
pg.mean()

Puedes escribir esto:

pdata.groupby('Color').mean()

# Eliminemos las propiedades Name y Evolves para crear un nuevo dataframe
spdata = pdata.drop(['Name', 'Evolves'], axis=1)
spdata

# Contemos los elementos en cada grupo
spdata.groupby('Color').count()

# Calculemos la suma en cada grupo
spdata.groupby('Color').sum()

# Calculemos la media en cada grupo
spdata.groupby('Color').mean()

# Encontremos el máximo de cada estadística para cada grupo
spdata.groupby('Color').max()

# Encontremos el mínimo de cada estadística para cada grupo
spdata.groupby('Color').min()

# Calculemos la desviación estándar de cada estadística para cada grupo
spdata.groupby('Color').std()

# Calculemos la varianza de cada estadística para cada subgrupo
spdata.groupby('Color').var()

Agregaciones definidas por el usuario

Pandas tiene un método llamado agg que te permite definir y ejecutar tus propias agregaciones sobre grupos. En el siguiente ejemplo, definiremos una función que calcula la suma de los cuadrados de las estadísticas en cada grupo.

def sum_of_squares(arr):
    sos = 0
    for element in arr:
        sos += element**2
    return sos

spdata.groupby('Color').agg(sum_of_squares)

¡Las agregaciones son poderosas!

Agrupar datos para análisis usando Pandas es eficiente, elegante y poderoso. Las bases de datos relacionales tradicionales deben parte de su gran popularidad a su capacidad para realizar este tipo de funcionalidad, y ahora puedes hacer gran parte del mismo trabajo usando Python.

Esta última función (agg) podría ser una de las capacidades más útiles que proporciona Pandas. Las agregaciones definidas por el usuario son increíblemente poderosas. Te permiten calcular cualquier función loca que se te ocurra, de una manera repetible y consistente.

Esta característica es tan poderosa que dedicaremos el próximo artículo a expandir el tema: Hablaremos sobre el poderoso método apply.

¡Gracias por leer!

Qué hacer a continuación

• Comparte este artículo con amigos y colegas. Gracias por ayudarme a llegar a personas que podrían encontrar útil esta información.
• Puedes encontrar el código fuente para esta serie en este repositorio.
• Este artículo está basado en el libro: Python for Data Analysis.
• Envíame un email con preguntas, comentarios o sugerencias (está en la página Autor)