Estoy configurando un servidor ftp en Debian y me he encontrado con que ProFTPd es lento para iniciar las conexiones, para solucionarlo hay que hacer lo siguiente:

Editar el archivo de configurción del proftpd: /etc/proftpd/proftpd.conf

y añadir la siguiente línea:

IdentLookups off

Lo que hace esta línea es que ProFTPd no intente identificar el nombre de usuario del cliente que conecta, evitando así esos segundos de más al conectar al ftp.