Оптимизация индексации FTP-серверов (Perl) 0

Пишу на Perl’е поисковик по FTP-серверам. Использую Net::FTP.

Проблема следующая: при индексации нужно помимо названий файлов/каталогов узнавать их размер. Два найденных мною способа решения этой задачи таковы: делать `ls -lA` или ls + смотреть $ftp->size($filename); для каждого элемента. Второй по понятным причинам очень не оптимален, но первым сложен тем, что при `ls -lA` на каталог, в котором, скажем, 3.000 файлов, начинается жуткий резкий скачок выделяемых на мой indexer ресурсов удаленного компьютера, требуемых для вывода такого количества информации. Кое-как такую ситуацию пытаюсь тушить sleep(); с количеством секунд в зависимости от количества про-ls-енных элементов. Это позволяет избежать дальнейшей нагрузки из-за большого наплыва запросов ls, но не решает проблему периодических скачков (при ls на объемные каталоги).

Есть ли идеи, как таких скачков избежать?

Т.е., например, как-то (как?!) делать ls на первые X элементов каталога, затем (после sleep();) листить с X-ного по 2X-ный и т.п. Была идея с узнаванием примерного кол-во элементов каталога из этого самого `ls -lA`, но на Win-платфрмах для каталогов размер всюду ставится равным нулю.

У меня сейчас стоит примерно так:

if ($elements>1024){ sleep(5); } elsif ($elements>512){ sleep(3); }
elsif ($elements>64){ sleep(2); } elsif ($elements>4) { sleep(1); }

Очень долго подбирал значения: эти позволяют индексировать все практически совершенно безболезненно.