ベンチマークレポート

LightFileの実行時間を予測するため、様々な条件で実行時間を計測したレポートを掲載します。

前提条件

次の環境について、単独または外部接続によりプログラムを実行しました。

名称	用途	ネットワーク/ホスティング	CPU	メモリ	ディスク	OS
PCサーバ A	LightFile	オフィス内LAN 1000BASE-T	Intel Core i5 2.8GHz 4コア	16GB	SSD	Ubuntu 18.04 64bit
PCサーバ B	FTPサーバ	オフィス内LAN 1000BASE-T	Intel Xeon E3-1220 3.10GHz 4コア	16GB	SSD	Ubuntu 18.04 64bit
VPS A	LightFile/FTP	ConoHa VPS 2GBプラン	vCPU 3コア	2GB	SSD	Ubuntu 18.04 64bit
EC2 A	LightFile	Amazon EC2 t2.small	vCPU 1コア	2GB	EBS 汎用	Amazon Linux 2 64bit
EC2 B	FTP	Amazon EC2 t2.small	vCPU 1コア	2GB	EBS 汎用	Amazon Linux 2 64bit

同一サーバー上に存在するJpeg 10,000ファイルに対する実行時間です。

実行環境	CPUコア	初回実行	1回目スキャン	2回目スキャン	3回目スキャン
PCサーバ A	4	34分44秒 0.21秒/ファイル	11秒	10秒	10秒
PCサーバ B	4	24分32秒 0.15秒/ファイル	8秒	6秒	5秒
VPS A	3	37分27秒 0.22秒/ファイル	13秒	10秒	9秒
EC2 A	1	1時間27分7秒 0.52秒/ファイル	13秒	11秒	7秒

十分なメモリがある場合は、処理時間はCPUコア数の影響を大きく受けます。

差分ファイルの確認スキャンは短時間で完了します。

FTP経由での実行

LightFile	FTPサーバ	ネットワーク	初回実行	1回目スキャン	2回目スキャン	3回目スキャン
EC2 A	EC2 B	Amazon VPC	2時間4分24秒 0.75秒/ファイル	1分51秒	1分45秒	1分48秒
VPS A	EC2 B	インターネット	56分39秒 0.34秒/ファイル	12分48秒	13分27秒	12分51秒
PCサーバ A	PCサーバ B	LAN 1000BASE-T	45分55秒 0.28秒/ファイル	1分57秒	1分53秒	1分54秒

初回実行はCPUコア数とネットワークのスループットに影響を受けます。差分ファイルのスキャンについてはCPUの性能はほとんど関係なく、ネットワークのスループットに影響を受けます。

1000BASE-Tで接続されたLAN内でのスキャンより、AWSの同一VPCサブネットにあるEC2同士のスキャンの方が高速でした。

LightFileコマンド 3.5.0から搭載されたインデックスファイル方式により、スキャンがどのくらい高速になるかを比較したベンチマークです。

インデックスファイル方式について詳しくはこちらを参照ください: インデックスでスキャン省略

LightFile	FTPサーバ	ネットワーク	FTPスキャン平均	1回目スキャン	2回目スキャン	3回目スキャン	インデックス作成
EC2 A	EC2 B	Amazon VPC	1分48秒	10秒	10秒	9秒	0.446秒
PCサーバ A	PCサーバ B	LAN 1000BASE-T	1分54秒	12秒	10秒	10秒	0.490秒

いずれのケースも約10倍スキャンが高速になり、同一ファイルシステムのスキャンと同等のスピードになりました。