Eu tenho um dado parecido com o abaixo
[(datetime.datetime(2021, 2, 6, 8, 18, 1, 212763),u'[["London", "New York", "BUSY"]]'),
(datetime.datetime(2021, 2, 6, 8, 17, 1, 18633), u'[["Mumbai", "Tokyo", "IDLE"]]'), (datetime.datetime(2021, 2, 6, 8, 16, 1, 182888), u'[["Amsterdam", "Chicago", "IDLE"], ["Amsterdam", "London", "IDLE"], ["Amsterdam", "Berlin", "BUSY"]]'), (datetime.datetime(2021, 2, 6, 8, 15, 1, 245619), u'[["Tokyo", "Moscow", "IDLE"]]'), (datetime.datetime(2021, 2, 6, 7, 18, 1, 413066), u'[["Mumbai", "Los Angeles", "IDLE"], ["Mumbai", "Berlin", "IDLE"]]'),
(datetime.datetime(2021, 2, 6, 7, 17, 1, 154138), u'[]'),
(datetime.datetime(2021, 2, 6, 7, 16, 1, 253111), u'[]')]
Possui duas colunas, primeiro a datee segundo a string list of list.
É assim que fica ao carregá-lo no pandas
date status
0 2021-02-06 08:18:01.212763 [["London", "New York", "BUSY"]]
1 2021-02-06 08:17:01.018633 [["Mumbai", "Tokyo", "IDLE"]]
2 2021-02-06 08:16:01.182888 [["Amsterdam", "Chicago", "IDLE"], ["Amsterdam...
3 2021-02-06 08:15:01.245619 [["Tokyo", "Moscow", "IDLE"]]
4 2021-02-06 07:18:01.413066 [["Mumbai", "Los Angeles", "IDLE"], ["Mumabi",...
5 2021-02-06 07:17:01.154138 []
6 2021-02-06 07:16:01.253111 []
Existem dois problemas.
Primeiro eu preciso converter o string list of listem um regular liste isso é feito fazendo algo assim
df[column].apply(literal_eval)
O segundo problema é que alguns valores de coluna contêm vários itens no liste preciso dividir cada um deles e fazer uma nova linha contendo esse valor como um independente list. Além disso, cada valor de coluna deve ser convertido em um em listvez de em list of list.
Por exemplo, tenho este valor de coluna particular
(datetime.datetime(2021, 2, 6, 8, 16, 1, 182888), u'[["Amsterdam", "Chicago", "IDLE"], ["Amsterdam", "Londom", "IDLE"], ["Amsterdam", "Berlin", "BUSY"]]')
Aqui, cada item no listdeve formar uma nova linha contendo aquele valor na coluna como a list. Algo como abaixo
2021-02-06 08:16:01.182888 ["Amsterdam", "Chicago", "IDLE"]
2021-02-06 08:16:01.182888 ["Amsterdam", "Londom", "IDLE"]
2021-02-06 08:16:01.182888 ["Amsterdam", "Berlin", "BUSY"]
Quaisquer outras colunas que tenham apenas um único item listsemelhante
(datetime.datetime(2021, 2, 6, 8, 18, 1, 212763),u'[["London", "New York", "BUSY"]]')
Isso deve ser convertido para
2021-02-06 08:18:01.212763 ["London", "New York", "BUSY"]
Portanto, o Dataframe final deve ser semelhante a
date status
0 2021-02-06 08:18:01.212763 ["London", "New York", "BUSY"]
1 2021-02-06 08:17:01.018633 ["Mumbai", "Tokyo", "IDLE"]
2 2021-02-06 08:16:01.182888 ["Amsterdam", "Chicago", "IDLE"]
3 2021-02-06 08:16:01.182888 ["Amsterdam", "London", "IDLE"]
4 2021-02-06 08:16:01.182888 ["Amsterdam", "Berlin", "BUSY"]
5 2021-02-06 08:15:01.245619 ["Tokyo", "Moscow", "IDLE"]
6 2021-02-06 07:18:01.413066 ["Mumbai", "Los Angeles", "IDLE"]
7 2021-02-06 07:18:01.413066 ["Mumbai", "Berlin", "IDLE"]
8 2021-02-06 07:17:01.154138 []
9 2021-02-06 07:16:01.253111 []
Isso é o que eu fiz até agora
import datetime
import pandas as pd
import json
from ast import literal_eval
df = pd.DataFrame(data)
df.columns = ["date", "status"]
df = df[df["status"] != '[]'] # remove empty lists
df['status'] = df['status'].apply(literal_eval) # convert string list of list into regular list
Como realizo o próximo conjunto de operações conforme mencionado acima?
Depois de usar literal_evalpara avaliar as strings na coluna statuscomo listas python, você pode usar:
Para a versão pandas, >= 0.25você pode usar explode:
# Explode dataframe
df_out = df.explode('status').reset_index(drop=True)
# fill the NaN with empty lists
df_out['status'] = df_out['status'].dropna().reindex(df_out.index, fill_value=[])
Para a versão pandas < 0.25que explodenão está disponível, você pode replicar o comportamento do tipo explosão usando e index.repeat, em seguida, nivelar as listas aninhadas usando chain:
from itertools import chain
l = df['status'].str.len()
m = l > 0
df_out = df.reindex(df[m].index.repeat(l[m]))
df_out['status'] = list(chain(*df.loc[m, 'status']))
df_out = df_out.append(df[~m]).sort_index().reset_index(drop=True)
>>> df_out
date status
0 2021-02-06 08:18:01.212763 [London, New York, BUSY]
1 2021-02-06 08:17:01.018633 [Mumbai, Tokyo, IDLE]
2 2021-02-06 08:16:01.182888 [Amsterdam, Chicago, IDLE]
3 2021-02-06 08:16:01.182888 [Amsterdam, London, IDLE]
4 2021-02-06 08:16:01.182888 [Amsterdam, Berlin, BUSY]
5 2021-02-06 08:15:01.245619 [Tokyo, Moscow, IDLE]
6 2021-02-06 07:18:01.413066 [Mumbai, Los Angeles, IDLE]
7 2021-02-06 07:18:01.413066 [Mumbai, Berlin, IDLE]
8 2021-02-06 07:17:01.154138 []
9 2021-02-06 07:16:01.253111 []
Este artigo é coletado da Internet.
Se houver alguma infração, entre em [email protected] Delete.
deixe-me dizer algumas palavras