處理丟失數(shù)據(jù)

?

有兩種丟失數(shù)據(jù)：

None
np.nan(NaN)

In?[1]:

In?[12]:

                    
                      %
                      
                        timeit np.arange(0,10000,dtype=int).sum()

?

                    21.3 μs ± 1.66 μs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

In?[13]:

                    
                      %
                      
                        timeit np.arange(0,10000,dtype=float).sum()

?

                    24.2 μs ± 2.7 μs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

In?[14]:

                    
                      %
                      
                        timeit np.arange(0,10000,dtype=object).sum()

?

                    679 μs ± 8.85 μs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

?

1. None

None是Python自帶的，其類型為python object。因此，None不能參與到任何計(jì)算中。

?

object類型的運(yùn)算要比int類型的運(yùn)算慢得多
計(jì)算不同數(shù)據(jù)類型求和時(shí)間
%timeit np.arange(1e5,dtype=xxx).sum()

In?[14]:

                    
                      %
                      
                        timeit np.arange(1e5,dtype=int).sum()

?

                    185 μs ± 24.2 μs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

In?[15]:

                    
                      %
                      
                        timeit np.arange(1e5,dtype=float).sum()

?

                    537 μs ± 24.5 μs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

In?[16]:

                    
                      %
                      
                        timeit np.arange(1e5,dtype=object).sum()

?

                    6.36 ms ± 180 μs per loop (mean ± std. dev. of 7 runs, 100 loops each)

?

2. np.nan（NaN）

?

np.nan是浮點(diǎn)類型，能參與到計(jì)算中。但計(jì)算的結(jié)果總是NaN。

?

但可以使用np.nan*()函數(shù)來計(jì)算nan，此時(shí)視nan為0。

In?[?]:

?

3. pandas中的None與NaN

?

1) pandas中None與np.nan都視作np.nan

?

創(chuàng)建DataFrame

In?[15]:

In?[19]:

Out[19]:

?	age	salary	work
張三	20	10000	NaN
李四	21	11000	NaN
小昭	23	9900	NaN
小郭	19	8500	NaN
小齊	22	15000	NaN

In?[21]:

?

                    C:\Users\BLX\AppData\Roaming\Python\Python37\site-packages\ipykernel_launcher.py:1: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy
  """Entry point for launching an IPython kernel.

In?[22]:

df

Out[22]:

?	age	salary	work
張三	20	10000	NaN
李四	21	11000	python
小昭	23	9900	python
小郭	19	8500	python
小齊	22	15000	NaN

?

使用DataFrame行索引與列索引修改DataFrame數(shù)據(jù)

?

2) pandas中None與np.nan的操作

?

isnull()
notnull()
dropna() : 過濾丟失數(shù)據(jù)
fillna() : 填充丟失數(shù)據(jù)

In?[?]:

?

(1)判斷函數(shù)

isnull()
notnull()

In?[27]:

                    
                      # 根據(jù)獲得的數(shù)據(jù)去除原來數(shù)據(jù)的空數(shù)據(jù)

                      
                        s1 
                        
                          = 
                          
                            df
                            
                              .
                              
                                isnull
                                
                                  ()
                                  
                                    .
                                    
                                      any
                                      
                                        (
                                        
                                          axis
                                          
                                            =
                                            
                                              1
                                              
                                                )

In?[29]:

                    
                      # 有了s1這個(gè)數(shù)據(jù)，可以獲得哪些數(shù)據(jù)為空

                      
                        df
                        
                          [
                          
                            s1
                            
                              ]

Out[29]:

?	age	salary	work
張三	20	10000	NaN
小齊	22	15000	NaN

In?[33]:

                    
                      # 保留非空數(shù)據(jù) 

                      
                        # .all()判斷軸中所有數(shù)據(jù)都不為空，返回True

                        
                          s2 
                          
                            = 
                            
                              df
                              
                                .
                                
                                  notnull
                                  
                                    ()
                                    
                                      .
                                      
                                        all
                                        
                                          (
                                          
                                            axis
                                            
                                              =
                                              
                                                1
                                                
                                                  )

In?[34]:

Out[34]:

?	age	salary	work
李四	21	11000	python
小昭	23	9900	python
小郭	19	8500	python

?

(2) 過濾函數(shù)

dropna()

?

可以選擇過濾的是行還是列（默認(rèn)為行）

In?[38]:

Out[38]:

?	age	salary	work
李四	21	11000	python
小昭	23	9900	python
小郭	19	8500	python

In?[37]:

Out[37]:

?	age	salary
張三	20	10000
李四	21	11000
小昭	23	9900
小郭	19	8500
小齊	22	15000

?

也可以選擇過濾的方式 how = 'all',一行中所有數(shù)據(jù)為空才刪除

In?[39]:

Out[39]:

?	age	salary	work
張三	20	10000	NaN
李四	21	11000	python
小昭	23	9900	python
小郭	19	8500	python
小齊	22	15000	NaN

In?[42]:

Out[42]:

?	age	salary	work
張三	NaN	NaN	NaN
李四	21.0	11000.0	python
小昭	23.0	9900.0	python
小郭	19.0	8500.0	python
小齊	22.0	15000.0	NaN

In?[43]:

Out[43]:

?	age	salary	work
李四	21.0	11000.0	python
小昭	23.0	9900.0	python
小郭	19.0	8500.0	python
小齊	22.0	15000.0	NaN

?

(3) 填充函數(shù) Series/DataFrame

fillna()

In?[47]:

                    
                      # 對(duì)多有的空數(shù)據(jù)進(jìn)行替換

                      
                        df
                        
                          .
                          
                            fillna
                            
                              (
                              
                                value
                                
                                  =
                                  
                                    'Java'
                                    
                                      )

Out[47]:

?	age	salary	work
張三	Java	Java	Java
李四	21	11000	python
小昭	23	9900	python
小郭	19	8500	python
小齊	22	15000	Java

?

可以選擇前向填充還是后向填充

In?[49]:

Out[49]:

?	age	salary	work
張三	21.0	11000.0	python
李四	21.0	11000.0	python
小昭	23.0	9900.0	python
小郭	19.0	8500.0	python
小齊	22.0	15000.0	NaN

In?[50]:

Out[50]:

?	age	salary	work
張三	NaN	NaN	NaN
李四	21.0	11000.0	python
小昭	23.0	9900.0	python
小郭	19.0	8500.0	python
小齊	22.0	15000.0	python

?

對(duì)于DataFrame來說，還要選擇填充的軸axis。記住，對(duì)于DataFrame來說：

axis=0：index/行
axis=1：columns/列

In?[51]:

                    
                      #{'backfill', 'bfill', 'pad', 'ffill'

                      
                        df
                        
                          .
                          
                            fillna
                            
                              (
                              
                                method
                                
                                  =
                                  
                                    'ffill'
                                    
                                      )

Out[51]:

?	age	salary	work
張三	NaN	NaN	NaN
李四	21.0	11000.0	python
小昭	23.0	9900.0	python
小郭	19.0	8500.0	python
小齊	22.0	15000.0	python

In?[?]:

?

============================================

練習(xí)7：

簡(jiǎn)述None與NaN的區(qū)別
假設(shè)張三李四參加模擬考試，但張三因?yàn)橥蝗幌朊靼兹松艞壛擞⒄Z考試，因此記為None，請(qǐng)據(jù)此創(chuàng)建一個(gè)DataFrame,命名為ddd3
老師決定根據(jù)用數(shù)學(xué)的分?jǐn)?shù)填充張三的英語成績(jī)，如何實(shí)現(xiàn)？用李四的英語成績(jī)填充張三的英語成績(jī)？

============================================

日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

python學(xué)習(xí)——pandas數(shù)據(jù)丟失處理

處理丟失數(shù)據(jù)

1. None

2. np.nan（NaN）

3. pandas中的None與NaN

1) pandas中None與np.nan都視作np.nan

2) pandas中None與np.nan的操作

可以選擇過濾的是行還是列（默認(rèn)為行）

也可以選擇過濾的方式 how = 'all',一行中所有數(shù)據(jù)為空才刪除