Durante a emissão de novas cotas de FIIs, fiz a reserva e há a opção de "a valor de mercado" ou "com limite máximo". O valor da cota já não é definido previamente no prospecto da emissão? Por que existe essa opção?

Sim, o valor é definido no prospecto da emissão.

Certamente você poderá escolher “a valor de mercado” pois o preço já está definido. Essas duas opções apresentadas são mais para reservas em ações.
Em todo caso, verifique com sua corretora pois cada uma tem um sistema diferente.