引言
图像增强是我们在深度学习领域中绕不开的一个话题，本文我们将讨论什么是图像增强，并在三个不同的 python 库中实现它，即 Keras、Pytorch 和 augmentation（专门用于图像增强的一个库）。所以第一个问题就是什么是图像增强以及常规的数据增强。
什么是图像增强？
增强是使规模或数量增大的动作或过程。
在深度学习中，深度网络需要大量的训练数据来很好地归纳和达到良好的准确性。但在某些情况下，图像数据不够大。在这种情况下，我们使用一些技术来增加我们的训练数据。它人为地创建训练数据，使用诸如随机旋转、位移、剪切和翻转等技术处理给定的数据(我们将在后面讨论其中的一些)。
图像增强是为了训练我们的深度学习模型而产生新图像的过程。这些新的图像是使用现有的训练图像生成的，因此我们不必手动收集它们。
不同的图像增强技术
我们可以使用各种技术来增强图像。例如：
空间增强
- 缩放
- 翻转
- 旋转
- 剪切
- 平移
像素增强
- 亮度
- 对比度
- 饱和度
- 色调
深度学习中的图像增强
在深度学习中，数据增强是一种常见的做法。因此，每个深度学习框架都有自己的增强方法，甚至有一个完整的库。例如，让我们看看如何使用 Keras、 PyTorch 和 Albumentations 中的内置方法应用图像增强。
1. Keras
Keras 的 ImageDataGenerator 类提供了一种快速简便的方法来增强图像。它提供了许多不同的增强技术，如标准化、旋转、移位、翻转、亮度变化等等。使用 Keras 的 ImageDataGenerator 类的主要好处是它旨在提供实时数据增强。这意味着它会在您的模型处于训练阶段时生成增强图像。
ImageDataGenerator 类确保模型在每个时期接收图像的新变化。但它只返回转换后的图像，并没有将它们添加到原始图像数据集中（如果加入到原始数据集，那么模型将多次处理原始图像，这肯定会使我们的模型过拟合）。 ImageDataGenerator 的另一个优点是它的内存占用量很低，这是因为不使用此类，我们一次加载所有图像。但是在使用它时，我们批量加载图像，这节省了大量内存。
它支持一系列的图像增强方法，现在我们将专注于五种主要类型的方法，如下所示：
- 通过 width_shift_range 和 height_shift_range 参数进行图像位移增强。
- 通过 horizontal_flip 和 vertical_flip 参数进行图像翻转增强。
- 通过 rotation_range 参数进行图像旋转增强。
- 通过 brightness_range 参数进行图像亮度增强。
- 通过 zoom_range 参数进行图像缩放增强。
如下所示，我们可以构造 ImageDataGenerator 类的实例。
from keras.preprocessing.image import ImageDataGenerator, array_to_img, img_to_array, load_img
img = load_img('path_directory/img.jpg')
from numpy import expand_dims
from keras.preprocessing.image import load_img
from keras.preprocessing.image import img_to_array
from keras.preprocessing.image import ImageDataGenerator
import matplotlib.pyplot as plt
# load the image
plt.figure(figsize=(45,30))
# convert to numpy array
data = img_to_array(img)
# expand dimension to one sample
samples = expand_dims(data, 0)
# create image data augmentation generator
datagen = ImageDataGenerator(featurewise_center=True,rotation_range=(0-30),width_shift_range=0.2,
height_shift_range=0.2,brightness_range=[0.5,1.5],
shear_range=0.2, zoom_range=0.2,channel_shift_range=0.2,
horizontal_flip=True, vertical_flip=True,fill_mode='nearest')
# prepare iterator
it = datagen.flow(samples, batch_size=1)
# generate samples and plot
for i in range(6):
# define subplot
plt.subplot(330 + 1 + i)
# generate batch of images
batch = it.next()
# convert to unsigned integers for viewing
image = batch[0].astype('uint8')
# plot raw pixel data
plt.imshow(image)
# show the figure
plt.show()最终将生成如下所示的随机增强图像，并将其提供给模型。
2. Pytorch
PyTorch 是一个基于 Python 的库，有助于构建深度学习模型并在各种应用程序中使用它们。但它不仅仅是一个深度学习库，还是一个科学计算库。
使用 PyTorch 的主要优点是我们可以对选定的图像单独应用图像增强技术。
从导入图像开始，我们将定义 imshow() 函数来可视化实际和转换后的图像。
缩放：在缩放或调整大小时，将图像调整为给定的大小。
# scaling
loader_transform = transforms.Resize((500,500))
imshow('path_directory/img.jpg', loader_transform)
裁剪：在裁剪中，选择图像的一部分，例如在给定的示例中，返回中心裁剪的图像。
# cropping
loader_transform = transforms.CenterCrop(size=(600,600))
imshow('path_diectory/img.jpg', loader_transform)
翻转：在翻转时，图像被水平或垂直翻转。
# horizontal flip with probability 1 (default is 0.5)
loader_transform = transforms.RandomHorizontalFlip(p=1)
imshow('path_directory/img.jpg', loader_transform)
像素增强：像素增强是通过更改图像的像素值来改变图像的颜色属性。
img = PIL.Image.open('path_directory/img.jpg')
fig, ax = plt.subplots(2, 2, figsize=(16, 10))
# brightness
loader_transform1 = transforms.ColorJitter(brightness=2)
img1 = loader_transform1(img)
ax[0, 0].set_title(f'brightness')
ax[0, 0].imshow(img1)
# contrast
loader_transform2 = transforms.ColorJitter(contrast=2)
img2 = loader_transform2(img)
ax[0, 1].set_title(f'contrast')
ax[0, 1].imshow(img2)
# saturation
loader_transform3 = transforms.ColorJitter(saturation=2)
img3 = loader_transform3(img)
ax[1, 0].set_title(f'saturation')
ax[1, 0].imshow(img3)
fig.savefig('color augmentation', bbox_inches='tight')
# hue
loader_transform4 = transforms.ColorJitter(hue=0.2)
img4 = loader_transform4(img)
ax[1, 1].set_title(f'hue')
ax[1, 1].imshow(img4)
fig.savefig('color augmentation', bbox_inches='tight')
3. Albumentation
Albumentations 是一种计算机视觉工具，可提高深度卷积神经网络的性能。Albumentations 是一个 Python 库，用于快速灵活的图像增强。它有效地实现了丰富多样的图像变换操作，这些操作针对性能进行了优化，同时为不同的计算机视觉任务提供简洁而强大的图像增强接口，包括对象分类、分割和检测。
#importing all required libraries
import cv2
import random
from matplotlib import pyplot as plt
import albumentations as A
image = cv2.imread('/content/drive/MyDrive/sunil.jpg')
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)翻转
transform = A.HorizontalFlip(p=0.5) random.seed(7) augmented_image = transform(image=image)['image'] plt.imshow(augmented_image)
旋转
transform = A.ShiftScaleRotate(p=0.5) random.seed(7) augmented_image = transform(image=image)['image'] plt.imshow(augmented_image)
组合增强
transform = A.Compose([
A.RandomCrop(width=500, height=500),
A.RandomBrightnessContrast(p=0.2),
])
random.seed(7)
augmented_image = transform(image=image)['image']
plt.imshow(augmented_image)
总结
在本文中，我们了解了如何在训练深度学习神经网络时使用图像数据增强。了解如何将图像增强技术应用于扩展训练数据集，以提高模型的性能和泛化能力。并且知道如何使用 Keras、Pytorch 和 Albumentation 库来对图像进行数据增强。
