自西汉历各朝均为古于阗国地。汉神爵二年（前60），西汉王朝西域设立西域都护府。清时系和阗六城之一，清乾隆二十四年（1759年）设军台。置四品阿奇木伯克、五品商伯克、六品哈资伯克各一员，统管税收，粮储，驿站，稽查金，玉开采，商贾户籍等事宜。隶和阗办事兼领队大臣。属叶尔羌参赞大臣统辖，清光绪九年（1883年）沿用和阗古国名于哈拉哈什置于阗县置，改隶和阗直隶州。光绪十一年（1885年）迁于阗县治于克里雅城，地归和阗，仍为和阗六城之一。民国2年（1913）改和阗直隶州为和阗县，今墨玉县属和阗县管辖。

    1919年于和阗县析出，置墨玉县，隶喀什噶尔道。1920年改隶和阗道。1928年和阗行政长改为和阗行政长官公署，墨玉县属和阗行政长官公署管辖。1943年和阗行政长官公署改为第七行政督察专员公署，墨玉县属第七行政督察专员公署。

    1950年第七行政督察专员公署改为和阗专区专员公署，墨玉县属和阗专区专员公署管辖，1950年5月墨玉县人民政府成立。1979年6月8日，和阗专区专员公署改为和田地区行政公署，墨玉县属和田地区行政公署管辖 。
     县人民政府驻喀拉喀什镇。截止2021年，下辖喀拉喀什、扎瓦、奎牙、喀尔赛、普恰克其5镇及托胡拉、加汗巴格、阿克萨拉依、萨依巴格、乌尔其、雅瓦、芒来、阔依其、吐外特、英也尔、喀瓦克11乡。