Название города происходит от названия клана Авенниус. Авиньон был изначально заселен галльским племенем каваров. Позже под властью римлян Авиньон стал процветающим городом и первой трансальпийской провинцией Римской Империи. В современном городе осталось лишь немного культурных ценностей той эпохи. В V веке, во времена вторжения готов, город был практически стерт с лица земли, затем перешел к сарацинам и был разрушен франками в 737 году. В 879 году Авиньон был признан владением франкских королей, а в 1033 году перешел во власть Священной Римской Империи.