O que talvez seja a banda de rock mais complexo que surgiu nos últimos anos foi fundada em Nova York, especificamente Brooklyn, por Eleanor e Matthew Friedberger em 2000. Muitas bandas esperam ter várias unidades no mercado para lançamento de óperas-rock e álbuns conceituais, mas The Fiery Furnaces fez em seu segundo álbum, "Blueberry Coats" apenas dois anos depois de assinar com o selo Rough Trade em 2002 e lançar seu primeiro álbum "Bark Gallowbird's", que recebeu uma calorosa recepção dos críticos. Esse recorde foi apenas um exemplo que deu origem a The Fiery Furnaces a ser considerado camaleões Sonic ser autêntico, imprevisível e constantemente a ser comparado com o White Stripes, e não apenas por Eleanor e Matthew são irmãos. Após os primeiros álbuns, The Fiery Furnaces em 2004 foram quase todos os anos que rodam com Ted Leo & the Pharmacists, Franz Ferdinand eThe Shins, enquanto se prepara novas canções, que finalmente viu a luz com seu terceiro álbum de estúdio e quarto, além de emissão de B-sides, EPs e que não fizeram nada, mas hiperatividade show do duo. "I'm Going Away" é o oitavo álbum do The Fiery Furnaces. Foi gravado e mixado por Jason Loewensteins no final de 2008 e início de 2009 em Nova York. Jason disse também a tocar baixo e Roberto D'Amico começou com a bateria. Todas as canções foram escritas em duas mãos, por Eleanor e Matthew Friedberger, exceto o título que dá nome ao disco. Além de "I'm Going Away" The Fiery Furnaces continuar a explorar novos cenários criativos como o seu registro "silenciosa", um álbum em um livro, e "Democ-Rock", um projeto que permite que cada vez mais numerosos fãs da banda participar ativamente do processo criativo da banda.