Claro que se puede.
El orden es indiferente.
Dependiendo de a dónde lo conectes puedes ni quemar nada, quemar el amplificador, el altavoz o ambos pero eso es al margen del orden. El orden solo influye en que se oiga más fuerte o no en sistemas de varios altavoces, si es uno solo es indiferente.
Si lo vas a conectar a la salida de auriculares probablemente quemes la etapa de potencia de esos auriculares.