No creo que sea necesario instalar algún programa gestor de aplicaciones.
Con dejar la memoria USB siempre conectada, se pueden instalar los programas en ella.
Tan sólo se le debe indicar al programa de instalación en que ruta se va a instalar la aplicación.
Y si ya está instalada en el disco duro, se desinstala y se vuelve a instalar, indicando que se instale en la memoria USB.
Dentro de la memoria se puede crear una carpeta y allí instalar los programas.
Obviamente debe ser una memoria de gran capacidad para que se puedan alojar sin problemas las aplicaciones.
Aunque lo mejor sería cambiar el disco duro por otro de más capacidad y posteriormente copiar únicamente los datos importantes.
Edit:
Un detalle que puede hacer que la instalación siga almacenando archivos en el disco duro, es que muchas aplicaciones necesitan instalar librerías en la carpeta de sistema.
O sea, copian los archivos ejecutables y otros requeridos en la carpeta de programas, pero instalan librerías en la carpeta de sistema.
La solución a eso es crear una aplicación portable.
Una aplicación portable contiene todos los archivos necesarios para que se ejecute sin instalación.
Un programa que hace eso es:
VMWare ThinApp
