[Python] 파이썬 판다스(Pandas) - 데이터프레임(DataFrame)에 데이터 로드

사진: Unsplash 의 Li Jiangang

데이터프레임에 파일을 로드하는 방법은 다양한 파일 형식에 따라 다르다. 주로 사용되는 파일 형식으로는 CSV, Excel, JSON, SQL, HTML 등이 있다. 각 형식에 맞게 적절한 판다스 함수를 사용하여 데이터를 로드할 수 있다.

CSV(Comma Separated Values)파일 읽는 방법

CSV 파일은 데이터프레임의 요소가 콤마로 구분되어 있는 것을 말한다.
CSV 파일을 read_csv() 메소드로 로드하면 콤마 기준으로 데이터프레임이 출력된다.

구글 코랩에서 실행하면 데이터가 많을 땐 아래 행과 열이 표시되며 중간이 생략된다.

>> df = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/데이터분석/data/GOOG.csv')
>> df

HTML 파일로 로드할 수 있다.
데이터프레임이 해당된 웹페이지의 링크로 로드한다.

read_html() 메소드를 사용해서 변수에 넣어 출력해보면
데이터프레임이 아닌 리스트가 나온다.
이 웹페이지 내에 표가 2개이기 때문에 불러온뒤 지정을 해주지 않으면
이렇게 리스트(list) 로 출력된다.

그러면 데이터 프레임으로 보려면 어떻게 해야할까?

>> df = pd.read_html('https://www.livingin-canada.com/house-prices-canada.html')
>> df
[                                                City  \
 0                                      Vancouver, BC   
 1                                       Toronto, Ont   
 2                                        Ottawa, Ont   
 3                                       Calgary, Alb   
 4                                      Montreal, Que   
 5                                        Halifax, NS   
 6                                       Regina, Sask   
 7                                    Fredericton, NB   
 8  (adsbygoogle = window.adsbygoogle || []).push(...   
 
                                  Average House Price  \
 0                                         $1,036,000   
 1                                           $870,000   
 2                                           $479,000   
 3                                           $410,000   
 4                                           $435,000   
 5                                           $331,000   
 6                                           $254,000   
 7                                           $198,000   
 8  (adsbygoogle = window.adsbygoogle || []).push(...   
 
                                      12 Month Change  
 0                                           + 2.63 %  
 1                                            +10.2 %  
 2                                           + 15.4 %  
 3                                            – 1.5 %  
 4                                            + 9.3 %  
 5                                            + 3.6 %  
 6                                            – 3.9 %  
 7                                            – 4.3 %  
 8  (adsbygoogle = window.adsbygoogle || []).push(...  ,
                                              Province  \
 0                                    British Columbia   
 1                                             Ontario   
 2                                             Alberta   
 3                                              Quebec   
 4                                            Manitoba   
 5                                        Saskatchewan   
 6                                         Nova Scotia   
 7                                Prince Edward Island   
 8                             Newfoundland / Labrador   
 9                                       New Brunswick   
 10                                   Canadian Average   
 11  (adsbygoogle = window.adsbygoogle || []).push(...   
 
                                   Average House Price  \
 0                                            $736,000   
 1                                            $594,000   
 2                                            $353,000   
 3                                            $340,000   
 4                                            $295,000   
 5                                            $271,000   
 6                                            $266,000   
 7                                            $243,000   
 8                                            $236,000   
 9                                            $183,000   
 10                                           $488,000   
 11  (adsbygoogle = window.adsbygoogle || []).push(...   
 
                                       12 Month Change  
 0                                             + 7.6 %  
 1                                             – 3.2 %  
 2                                             – 7.5 %  
 3                                             + 7.6 %  
 4                                             – 1.4 %  
 5                                             – 3.8 %  
 6                                             + 3.5 %  
 7                                             + 3.0 %  
 8                                             – 1.6 %  
 9                                             – 2.2 %  
 10                                            – 1.3 %  
 11  (adsbygoogle = window.adsbygoogle || []).push(...  ]

 

리스트는 인덱스로 요소값을 찾을 수 있다.

위 리스트 내에 리스트 개수는 2개이다.
len() 메소드를 사용하면 쉽게 알 수 있다.

>> len(df)
2

리스트의 첫 번째 데이터프레임은 df[0], 두 번째 데이터프레임은 df[1] 이다.
프롬프트로 변수[인덱스]를 입력하여 출력하면 데이터프레임 형태로 표가 나온다.

>> df[0]

>> df[1]

위에 데이터 프레임을 보면 마지막 행에는 adsbygoogle.... 로 시작하는 경고문이 나오는 데
이것은 구글 광고가 데이터프레임마다 하단에 달려있기 때문이다.

이 것을 없애려면 어떻게 해야할까?

drop() 메소드와 슬라이싱으로 없애는 두 가지 방법이 있다.

>> city=df[0].loc[0:7,] #슬라이싱

>> provinces = df[0].drop(8, axis= 0) #drop 메소드 사용 axis은 행과 열의 방향을 가리킨다.

이렇게 판다스는 여러 확장자의 파일을 로드해올 수 있다.

파일 로드할 때 메소드 정리

파일 형식	판다스 메소드	사용 예시
CSV	read_csv()	pd.read_csv('파일명.csv')
Excel	read_excel()	pd.read_excel('파일명.xlsx')
JSON	read_json()	pd.read_json('파일명.json')
SQL	read_sql()	pd.read_sql('테이블명', engine)
SQL	read_sql_query()	pd.read_sql_query('SELECT * FROM 테이블명', engine)
HTML	read_html()	pd.read_html('웹페이지 주소')[0]
기타 형식	다양한 형식에 따름	다양한 파일 형식에 대한 특화된 메서드를 사용