Con 5V podés obtener como máximo 1,5625W sobre 4Ω.
Si lo ponés en puente, serán 6,25W, también sobre 4Ω.
Si necesitás más, tenés que subir en voltaje o vértelas con parlantes de menor impedancia.
De todas formas, en un puerto USB no vas a tener esa potencia: Como ya dijeron, entrega 100mA, así que la potencia total es de 1/2W, y con una eficiencia (por demás grande) del 70%, tenés 0,35W de audio.
Fuera de eso, hay integraditos que funcionan con esos voltajes. Fogonazo te pasó el LM386, viejo y querido conocido, y el TDA2822 te puede servir: es uno doble con características similares, sólo cambia la ganancia que es fija.
Saludos