高清久久久,欧美成在线观看,精品成人久久

一、下載安裝包

packages:

scikit-image:用于圖像測IO和變換
pandas:方便進行csv解析

二、下載數據集

數據集說明：該數據集（我在這）是imagenet數據集標注為face的圖片當中在dlib面部檢測表現良好的圖片――處理的是一個面部姿態的數據集，也就是按照入戲方式標注人臉

Python Pytorch深度學習之數據加載和處理

數據集展示

Python Pytorch深度學習之數據加載和處理

三、讀取數據集

#%%讀取數據集
landmarks_frame=pd.read_csv('D:/Python/Pytorch/data/faces/face_landmarks.csv')
n=65
img_name=landmarks_frame.iloc[n,0]
landmarks=landmarks_frame.iloc[n,1:].values
landmarks=landmarks.astype('float').reshape(-1,2)
print('Image name :{}'.format(img_name))
print('Landmarks shape :{}'.format(landmarks.shape))
print('First 4 Landmarks:{}'.format(landmarks[:4]))

運行結果

Python Pytorch深度學習之數據加載和處理

四、編寫一個函數看看圖像和landmark

#%%編寫顯示人臉函數
def show_landmarks(image,landmarks):
  plt.imshow(image)
  plt.scatter(landmarks[:,0],landmarks[:,1],s=10,marker=".",c='r')
  plt.pause(0.001)
plt.figure()
show_landmarks(io.imread(os.path.join('D:/Python/Pytorch/data/faces/',img_name)),landmarks)
plt.show()

運行結果

Python Pytorch深度學習之數據加載和處理

五、數據集類

torch.utils.data.Dataset是表示數據集的抽象類，自定義數據類應繼承Dataset并覆蓋__len__實現len（dataset）返還數據集的尺寸。__getitem__用來獲取一些索引數據：

#%%數據集類――將數據集封裝成一個類
class FaceLandmarksDataset(Dataset):
  def __init__(self,csv_file,root_dir,transform=None):
      # csv_file(string):待注釋的csv文件的路徑
      # root_dir(string):包含所有圖像的目錄
      # transform（callabele,optional）:一個樣本上的可用的可選變換
      self.landmarks_frame=pd.read_csv(csv_file)
      self.root_dir=root_dir
      self.transform=transform
  def __len__(self):
      return len(self.landmarks_frame)
  def __getitem__(self, idx):
      img_name=os.path.join(self.root_dir,self.landmarks_frame.iloc[idx,0])
      image=io.imread(img_name)
      landmarks=self.landmarks_frame.iloc[idx,1:]
      landmarks=np.array([landmarks])
      landmarks=landmarks.astype('float').reshape(-1,2)
      sample={'image':image,'landmarks':landmarks}
      if self.transform:
          sample=self.transform(sample)
      return sample

六、數據可視化

#%%數據可視化
# 將上面定義的類進行實例化并便利整個數據集
face_dataset=FaceLandmarksDataset(csv_file='D:/Python/Pytorch/data/faces/face_landmarks.csv', 
                                root_dir='D:/Python/Pytorch/data/faces/')
fig=plt.figure()
for i in range(len(face_dataset)) :
  sample=face_dataset[i]
  print(i,sample['image'].shape,sample['landmarks'].shape)
  ax=plt.subplot(1,4,i+1)
  plt.tight_layout()
  ax.set_title('Sample #{}'.format(i))
  ax.axis('off')
  show_landmarks(**sample)
  if i==3:
      plt.show()
      break

運行結果

Python Pytorch深度學習之數據加載和處理

七、數據變換

由上圖可以發現每張圖像的尺寸大小是不同的。絕大多數神經網路都嘉定圖像的尺寸相同。所以需要對圖像先進行預處理。創建三個轉換：

Rescale：縮放圖片

RandomCrop:對圖片進行隨機裁剪

ToTensor:把numpy格式圖片轉成torch格式圖片（交換坐標軸）和上面同樣的方式，將其寫成一個類，這樣就不需要在每次調用的時候川第一此參數，只需要實現__call__的方法，必要的時候使用__init__方法

1、Function_Rescale

# 將樣本中的圖像重新縮放到給定的大小
class Rescale(object):    
  def __init__(self,output_size):
      assert isinstance(output_size,(int,tuple))
      self.output_size=output_size
  #output_size 為int或tuple，如果是元組輸出與output_size匹配，
  #如果是int，匹配較小的圖像邊緣到output_size保持縱橫比相同
  def __call__(self,sample):
      image,landmarks=sample['image'],sample['landmarks']
      h,w=image.shape[:2]
      if isinstance(self.output_size, int):#輸入參數是int
          if h>w:
              new_h,new_w=self.output_size*h/w,self.output_size
          else:
              new_h,new_w=self.output_size,self.output_size*w/h
      else:#輸入參數是元組
          new_h,new_w=self.output_size
      new_h,new_w=int(new_h),int(new_w)
      img=transform.resize(image, (new_h,new_w))
      landmarks=landmarks*[new_w/w,new_h/h]
      return {'image':img,'landmarks':landmarks}

2、Function_RandomCrop

# 隨機裁剪樣本中的圖像
class RandomCrop(object):
  def __init__(self,output_size):
      assert isinstance(output_size, (int,tuple))
      if isinstance(output_size, int):
          self.output_size=(output_size,output_size)
      else:
          assert len(output_size)==2
          self.output_size=output_size
  # 輸入參數依舊表示想要裁剪后圖像的尺寸，如果是元組其而包含兩個元素直接復制長寬，如果是int，則裁剪為方形
  def __call__(self,sample):
      image,landmarks=sample['image'],sample['landmarks']
      h,w=image.shape[:2]
      new_h,new_w=self.output_size
      #確定圖片裁剪位置
      top=np.random.randint(0,h-new_h)
      left=np.random.randint(0,w-new_w)
      image=image[top:top+new_h,left:left+new_w]
      landmarks=landmarks-[left,top]
      return {'image':image,'landmarks':landmarks}

3、Function_ToTensor

#%%
# 將樣本中的npdarray轉換為Tensor
class ToTensor(object):
  def __call__(self,sample):
      image,landmarks=sample['image'],sample['landmarks']
      image=image.transpose((2,0,1))#交換顏色軸
      #numpy的圖片是：Height*Width*Color
      #torch的圖片是：Color*Height*Width
      return {'image':torch.from_numpy(image),
              'landmarks':torch.from_numpy(landmarks)}

八、組合轉換

將上面編寫的類應用到實例中

Req: 把圖像的短邊調整為256，隨機裁剪（randomcrop）為224大小的正方形。即：組合一個Rescale和RandomCrop的變換。

#%%
scale=Rescale(256)
crop=RandomCrop(128)
composed=transforms.Compose([Rescale(256),RandomCrop(224)])    
# 在樣本上應用上述變換
fig=plt.figure() 
sample=face_dataset[65]
for i,tsfrm in enumerate([scale,crop,composed]):
  transformed_sample=tsfrm(sample)
  ax=plt.subplot(1,3,i+1)
  plt.tight_layout()
  ax.set_title(type(tsfrm).__name__)
  show_landmarks(**transformed_sample)
plt.show()

運行結果

Python Pytorch深度學習之數據加載和處理

九、迭代數據集

把這些整合起來以創建一個帶有組合轉換的數據集，總結一下沒每次這個數據集被采樣的時候：及時的從文件中讀取圖片，對讀取的圖片應用轉換，由于其中一部是隨機的randomcrop,數據被增強了。可以使用循環對創建的數據集執行同樣的操作

transformed_dataset=FaceLandmarksDataset(csv_file='D:/Python/Pytorch/data/faces/face_landmarks.csv',
                                        root_dir='D:/Python/Pytorch/data/faces/',
                                        transform=transforms.Compose([
                                            Rescale(256),
                                            RandomCrop(224),
                                            ToTensor()
                                            ]))
for i in range(len(transformed_dataset)):
  sample=transformed_dataset[i]
  print(i,sample['image'].size(),sample['landmarks'].size())
  if i==3:
      break

運行結果

Python Pytorch深度學習之數據加載和處理

對所有數據集簡單使用for循環會犧牲很多功能――>麻煩，效率低！！改用多線程并行進行
torch.utils.data.DataLoader可以提供上述功能的迭代器。collate_fn參數可以決定如何對數據進行批處理，絕大多數情況下默認值就OK

transformed_dataset=FaceLandmarksDataset(csv_file='D:/Python/Pytorch/data/faces/face_landmarks.csv',
                                        root_dir='D:/Python/Pytorch/data/faces/',
                                        transform=transforms.Compose([
                                            Rescale(256),
                                            RandomCrop(224),
                                            ToTensor()
                                            ]))
for i in range(len(transformed_dataset)):
  sample=transformed_dataset[i]
  print(i,sample['image'].size(),sample['landmarks'].size())
  if i==3:
      break