Het kostte Cohen naar eigen zeggen een jaar om Hallelujah te schrijven. Hij zou in de loop der tijd meer dan tachtig coupletten hebben geschreven. Het nummer behandelt volgens Cohen de verschillende manieren waarop “Hallelujah” (Hebreeuws voor “Prijst God!”) gebruikt kan worden.
De tekst staat vol met bijbelse verwijzingen naar onder andere de liefde tussen David en Batseba en tussen Simson en Delila. De grote dankbaarheid die de man vervult ten opzichte van God wordt verwoord met het Hallelujah. Later wordt ook het onbegrip van het verliezen van deze grote liefde met dezelfde term geduid.
Uit het dubbelzinnige en ironische gebruik van het Hallelujah spreekt de onmacht die de mens in zijn leven ervaart. In de gang van afhankelijkheid gaan barmhartige warmte en eenzame koude hand in hand. Het verweven van deze paradox in een liefdesgeschiedenis zou het nummer universele herkenbaarheid geven.
