Król K'ri-srong-ide-brcan przydzielił klasztorowi ziemię, wyłączając ją niniejszym spod kontroli państwa. 150 gospodarstw rolnych znajdujących się w pobliżu Samji zostało zobowiązanych do utrzymywania klasztoru i mieszkających w nim mnichów. Odpowiedzialni oni byli za dostarczanie żywności i odzież dla klasztoru. Oczywiście wszystkie inne zakładane później klasztory cieszyły się tym przywilejem, co w efekcie doprowadziło do zahamowania rozwoju państwa tybetańskiego. Liczba klasztorów wynosiła kilka tysięcy, a w największym z nich mieszkało i do 10 tysięcy mnichów.
Z czasem jednak z nie wyjaśnionych bliżej przyczyn część klasztorów zaczęła się wyludniać i popadać w ruinę. Dotknęło to również Sakję. Pewna część mnichów porzucała życie klasztorne, udawali się w odległe miejsca, gdzie w odosobnieniu praktykowali buddyzm.
Klasztor Sakja był siedzibą Starej Sekty rNing-ma-pa, biorącej swój początek jeszcze z nauk samego Padmasambhawy. Później należał do Szkoły Czerwonych Czapek. Być może była to jedna z przyczyn stracenia znaczenia tego klasztoru i zniszczeń. Podporą państwa były przecież klasztory Żółtych Czapek. Pewne zdziwienie mogą budzić także praktyki wykonywane w tym klasztorze. Praktykowano tam magię przyjmowania tchnienia zmarłej osoby. Świątynia Ugs-kang, z kompleksu klasztornego Samja, służyła jako Dom Ożywczego Tchnienia, gdzie przynoszono tchnienia zmarłej osoby, które przyjmował czarownik. Osoba ta była biegła w magii, a także jednym ze słynnych kapłanów-wróżbitów. Jedna z sal poświęcona była żeńskim demonom, które miały w swojej opiece tasak i pieniek do rąbania ostatniego tchnienia zmarłego. Zabieg ten odbywał się w nocy. Nocami dawały się słyszeć jęki i śmiech, płakania i westchnienia i odgłos uderzania tasaka w pień.
W czasie "rewolucji kulturalnej" zniszczeniu uległo najświętsze miejsce klasztoru - górne piętro środkowej budowli - wznoszące się niegdyś w kształcie wieży.