My Heart Will Always Be the B-Side To My Tongue es el segundo EP, pero el primero acústico lanzado en 2004 por la banda de pop punk Fall Out Boy en Fueled by Ramen, con un total de cinco pistas. Grand Theft Autumn / Where is Your Boy? fue rehecho a partir de la versión anterior de este Take This To Your Grave, Nobody Puts Baby in the Corner de su tercer álbum de From Under the Cork Tree, My Heart is the Worst Kind of Weapon de From Under the Cork Tree (Limited "Black Clouds and Underdogs" Edition). También se incluyó un cover de la banda Joy Division de la canción Love Will Tear Us Apart. El CD contiene un bonus DVD, con los antecedentes de la banda, videos musicales como Dead On Arrival y Grand Theft Autumn / Where is Your Boy?, una grabación acústica y más extras. También hay imágenes ocultas de la banda en el ojo del ángel en el menú principal.