日本では一般家庭でお墓を建設するようになったのは平安時代頃とされている。
平安時代に仏教の伝来とともに石工の技術も海外から来る渡来人によってもたらされた。
その頃は支配階級によって五輪塔、宝塔、多宝塔、層塔などが建設され、鎌倉時代から室町時代にかけて、中国より位牌と戒名が伝わり、その影響により位牌型の板碑や現在の墓石に近い角柱型のものが作られるようになった。
江戸時代になると人々に先祖に対する葬儀や供養などの仏事が生活に定着し、庶民も墓石を建立するようになり、その頃から墓石に家紋を入れるようになった。
はじめ墓石は夫婦や個人の為のものであったが、明治中期以降に家制度の確立によって家単位で墓石を建てるようになった。
その為、以前は故人の名前を彫っていたものから、『○○家先祖代々之墓』といった形に変わっていった。
第二次世界大戦後、霊園の洋型の墓石が登場。現在ではデザイン墓石など多様化している。