Podle legendy bylo město založeno indickým bohem Šivou přibližně před 5000 lety a ihned město učinil jedním z nejdůležitějších poutních měst v zemi, Váránasí je jedním ze sedmi posvátných hinduistických měst.

Obecně se soudí, že město bylo založeno asi před 3000 lety. Za časů Guatama Buddhy (narozen asi 567 př.n.l.) bylo již hlavním městem království Kashi. Slavný čínský cestovatel Süan-cang město označil jako centrum náboženství, vzdělanosti i umění a podle jeho záznamů se rozkládalo na území o rozloze asi 5km na západním břehu Gangy. Během několika úspěšných invazí do města, kterou začaly hordy Mahmuda z Ghazni roku 1033 následovaným Mohammedem Ghori roku 1193. Muslimové vyplenili a zničili mnoho hinduistických chrámů (které byly ale průběžně obnovovány) a materiál z nich používali při stavbách mešit. Na počátku 17. století si spolu s vládou mughalského krále Akbara mohli hinduisté oddechnout, ale již na konci stejného století začala další likvidace hinduistických památek, tentokrát na příkaz dalšího mughalského krále Aurangzeba, který město také přejmenoval na Mohammadâbâd. V tomto období muslimské nadvlády uprchlo mnoho hinduistických učenců do jiných částí Indie. Obrat v dějinách města přivodili až Marathové, za jejichž vlády se Váránasí stalo nezávislým královstvím Kashi (18. století) a následně pod britskou vládou zůstalo obchodním i náboženským centrem. Roku 1910 vyhlásili Britové Váránasí za nový indický stát.

Staré centrum města Váránasí , čtvrt poblíž řeky, je poseta úzkými křivolakými uličkami, které jsou lemovány malými obchody nebo stánky a spoustou hinduistických chrámů. Místu nelze nelze upřít jistý genius loci, stejně jako je téměř nemožné se ve změti uliček alespoň jednou neztratit. Hlavní obytné čtvrti (zvláště pro střední a vyšší třídu) ovšem leží stranou centra a všech ghátů, jsou více prostorné a také znečištěny.