Weil warscheinlich gerade noch drauf geschrieben oder davon gelesen wird, deswegen dauert das so lange.
Ich weiß nicht, wie es unter Linux ist, aber unter Windows kann man da einstellen, ob externe SSDs/HDDs für maximale Leistung, dafür aber längere Dauer beim abmelden oder für schnelleres entfernen, dafür bissel langsamer beim schreiben eingerichtet werden sollen, letzteres ist bei Windows mittlerweile Standard, so muss man nicht mehr auf Hardware sicher entfernen klicken, sondern kann da dann einfach direkt abziehen.
Vielleicht gibt es so ne Einstellung auch unter Linux