panda read_csv 및 usecol을 사용하여 열 필터링

panda read_csv 및 usecol을 사용하여 열 필터링

CSV 파일이 있는데, 이 파일은 다음과 같이 올바르게 수신되지 않습니다.pandas.read_csv열을 필터링할 때usecols여러 인덱스를 사용합니다.

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

누락된 더미 열을 제외하고 df1과 df2가 동일할 것으로 예상되는데, 열에 라벨이 잘못 부착되어 있습니다.또한 날짜가 날짜로 해석되고 있습니다.

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

이름 대신 열 번호를 사용하면 동일한 문제가 발생합니다.read_csv 단계 후 더미 열을 떨어뜨려 문제를 해결할 수 있지만, 무엇이 잘못되고 있는지 이해하려고 합니다.저는 판다 0.10.1을 사용합니다.

edit: 잘못된 헤더 사용을 수정했습니다.

해결책은 다음과 같은 두 가지 키워드 인수를 이해하는 데 있습니다.

• 이름은 파일에 헤더 행이 없고 다른 인수(예:usecols) 정수 인덱스가 아닌 열 이름을 사용합니다.
• usecols는 전체 DataFrame을 메모리로 읽기 전에 필터를 제공해야 합니다. 올바르게 사용된다면 읽기 후에 열을 삭제할 필요가 없습니다.

머리글 행이 있기 때문에 전달합니다.header=0충분하고 추가적으로 통과함names혼란스러운 것 같습니다.pd.read_csv.

제거 중names두 번째 호출에서 원하는 출력을 제공합니다.

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

이는 다음과 같습니다.

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

이 코드는 당신이 원하는 것을 달성합니다. 또한 이상하고 확실히 버그가 있습니다.

다음과 같은 경우에 작동합니다.

사용자가 지정합니다.index_col실제 사용하는 열 수와 비교합니다. 즉, 이 예제에서는 4개가 아닌 3개의 열을 사용합니다(사용자가 삭제합니다.dummy그리고 그때부터 계산을 시작합니다.)

에도 마찬가지인.parse_dates

에게는 그렇지 않은usecols;) 명백한 이유로

여기서 나는 적응했습니다.names이 행동을 반영하기 위해

import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

어떤 것이 인쇄됩니까?

                x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

CSV 파일에 추가 데이터가 포함된 경우 가져온 후 데이터 프레임에서 열을 삭제할 수 있습니다.

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

이는 다음과 같습니다.

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

다음을 추가해야 합니다.index_col=False매개 변수

df1 = pd.read_csv('foo.csv',
     header=0,
     index_col=False,
     names=["dummy", "date", "loc", "x"], 
     usecols=["dummy", "date", "loc", "x"],
     parse_dates=["date"])
  print df1

언급URL : https://stackoverflow.com/questions/15017072/pandas-read-csv-and-filter-columns-with-usecols