En sitios como Portable Apps y Pendrive Apps encontrarás una gran cantidad de aplicaciones especialmente preparadas para llevarlas y correrlas desde la memoria USB. Si tu programa favorito no está disponible en versión portable o deseas comenzar a crear tus propias versiones, entonces lo que necesitas Innounp.
Innounp es un programa open source que corre como línea de comandos bajo Windows y que permite extraer los archivos de desde un archivo EXE sin necesidad de instalar dicha aplicación.
En general Innounp es bastante sencillo ya que sólo son 4 comandos y 9 opciones, con esto prodrás extraer archivos para luego crear el instalador que copie la aplicación a la memoria USB.
Te recomiendo revises la política de uso de la aplicación a crear su versión portable, para estar seguro que no estas infringiendo su licencia, normalmente no tendrás problema con el software libre.
Innounp:
Web: http://innounp.sourceforge.net
Descargar: Innounp