記事の最初に掲載された若绾
概要#
機械学習では、データは非常に重要です。したがって、機械学習プロジェクトでは、データの管理と処理が不可欠です。データ管理には、データの収集、クリーニング、保存、処理など、さまざまな側面が関わります。この記事では、データセットを効果的に管理するために NumPy を使用する方法について説明します。
NumPy を使用したデータセットの保存#
NumPy は、科学計算用の Python ライブラリです。NumPy は、強力な多次元配列オブジェクトと、それらの配列を操作するための関数のセットを提供します。NumPy 配列は、数値、文字列、ブール値など、さまざまなタイプのデータを格納することができます。そのため、データセットを保存するための理想的な選択肢です。
単一の配列の保存#
データセットに単一の配列しかない場合、NumPy のsave関数を使用することができます。
numpy.save#
関数の引数：
file: file, str, or pathlib.Path
データが保存されるファイルまたはファイル名です。ファイルがファイルオブジェクトの場合、ファイル名は変更されません。ファイルが文字列またはパスの場合、ファイル名に
.npy拡張子がない場合は、ファイル名に.npy拡張子が追加されます。arr: array_like
保存する配列データです。
allow_pickle: bool, optional
オブジェクト配列を保存するために Python の pickle を使用することを許可します。pickle を許可しない理由には、セキュリティ（pickle されたデータを読み込むと任意のコードが実行される可能性がある）とポータビリティ（pickle されたオブジェクトが異なる Python インストールで読み込めない場合があるため、保存されたオブジェクトが必要なライブラリが利用できない場合があります。また、すべての pickle データが Python 2 と Python 3 の間で互換性があるわけではありません）があります。デフォルト値：True
fix_imports: bool, optional
Python 3 上でのみ有効で、オブジェクト配列内のオブジェクトを Python 2 と互換性のある方法で pickle する場合にのみ使用されます。fix_imports が True の場合、pickle は新しい Python 3 の名前を Python 2 で使用される古いモジュール名にマッピングしようとします。これにより、pickle データストリームを Python 2 で読み込むことができます。
例えば、dataという名前の NumPy 配列があるとします。次のコードを使用して、data.npyという名前のファイルに保存することができます：
import numpy as np
data = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
np.save('data.npy', data)
ファイルから配列をロードする#
データセットをロードするには、NumPy のload関数を使用することができます。例えば、次のコードは、data.npyという名前のファイルに保存された配列をロードします：
import numpy as np
data = np.load('data.npy')
print(data)
出力は次のようになります：
[[1 2 3]
[4 5 6]
[7 8 9]]
複数の配列を同時に保存する#
データセットに複数の配列が含まれている場合、trani_set、train_label、test_set、test_label のような場合、NumPy のsavezまたはsavez_compressed関数を使用してデータセットを保存することができます。**numpy.savezは、複数の配列を非圧縮の.npzファイルとして保存し、numpy.savez_compressedは配列を圧縮された.npz** ファイルとして保存し、ストレージスペースを節約することができます。
numpy.savez#
関数の引数：
file: str or file
ファイル名（str）またはオープンされたファイル（ファイルのようなオブジェクト）で、データが保存されます。ファイルが文字列またはパスの場合、ファイル名に
.npz拡張子がない場合は、ファイル名に.npz拡張子が追加されます。args: Arguments, optional
ファイルに保存する配列。配列に名前を付けるには、キーワード引数（後述の kwds を参照）を使用してください。args で指定された配列は、"arr_0"、"arr_1" などの名前で保存されます。
kwds: Keyword arguments, optional
ファイルに保存する配列。各配列は、対応するキーワード名で出力ファイルに保存されます。
kwds を使用すると、配列はキーワード名で保存されます。この例では、2 つの NumPy 配列array1とarray2を作成し、それらをnumpy.savezを使用してarrays.npz** という名前のファイルに保存しています。注意点として、各配列に名前を指定する必要があることです。
import numpy as np
array1 = np.array([1, 2, 3])
array2 = np.array([4, 5, 6])
# 配列をファイルに保存
np.savez('arrays.npz', arr1=array1, arr2=array2)
numpy.savez_compressed#
関数の引数：
file: str or file
ファイル名（str）またはオープンされたファイル（ファイルのようなオブジェクト）で、データが保存されます。ファイルが文字列またはパスの場合、ファイル名に
.npz拡張子がない場合は、ファイル名に.npz拡張子が追加されます。args: Arguments, optional
ファイルに保存する配列。配列に名前を付けるには、キーワード引数（後述の kwds を参照）を使用してください。args で指定された配列は、"arr_0"、"arr_1" などの名前で保存されます。
kwds: Keyword arguments, optional
ファイルに保存する配列。各配列は、対応するキーワード名で出力ファイルに保存されます。
この例は前の例と似ていますが、**numpy.savez_compressedを使用して配列を圧縮された.npz** ファイルとして保存しています。
import numpy as np
array1 = np.array([1, 2, 3])
array2 = np.array([4, 5, 6])
# 配列を圧縮されたファイルに保存
np.savez_compressed('compressed_arrays.npz', arr1=array1, arr2=array2)
ファイルから配列をロードする#
**.npzファイルから配列をロードするには、numpy.load** 関数を使用します：
import numpy as np
# 保存した配列をロードする
loaded_arrays = np.load('arrays.npz')
# ファイルで指定した名前で配列にアクセスする
loaded_array1 = loaded_arrays['arr1']
loaded_array2 = loaded_arrays['arr2']
この例では、**numpy.loadを使用してarrays.npzという名前のファイルをロードし、以前に指定した名前で配列にアクセスしています。同様の方法は、圧縮された.npz** ファイルをロードする場合にも適用されます。
まとめ#
本記事では、データセットを効果的に管理するために NumPy を使用する方法について説明しました。これは、機械学習プロジェクトにおいて重要なデータ管理の側面であり、十分な注意を払う必要があります。