Klasztor Samja, jak głosi legenda, został wybudowany dzięki wielkiemu poskromicielowi demonów Padmasambhawie. Po pokonaniu wszystkich złych duchów około roku 779 rozpoczęto budowę pierwszego buddyjskiego klasztoru w Tybecie. Fakt ten miał miejsce za panowania króla K'ri-srong-lde-brcana, kiedy Tybetańczycy rozbudowywali swoją potęgę militarną w Azji, a stolica ówczesnego Państwa Środka Cz'ang-an (dzisiejszy Xi'an) została podbita w roku 763 przez Tybetańczyków. Przez dwanaście lat trwała budowa tej świątyni pod kierunkiem późniejszego przeora klasztoru - indyjskiego guru Śantirakszita. Stanęła na pd-wsch. od Lasy w bocznej dolinie niedaleko północnego brzegu rzeki Brahmaputry.
Cały zespół klasztorny otoczony jest murem zwieńczonym setkami małych stup-relikwiarzy. Główna budowla w kształcie mandali leży w centrum, pomiędzy górami. Została ona wzniesiona w formie olbrzymiej manadali, której środek całego zespołu stanowi budynek centralny (podobnie jak ma to miejsce w świątyni Jokhang) i odzwierciedla on wewnętrzną strukturę mandali. Budowla ta była wzorowana na klasztorach z północno-wschodnich Indii. Kroniki podają, że klasztor ten miał odwzorowywać świętą górę Meru (Kajlas) i obejmować pięć rajów światowych "Buddy madytacyjnego" rządzących stronami świata oraz środkiem wszechświata. Centralny budynek został wzniesiony w trzech stylach: indyjskim, chińskim i tybetańskim. Z kolei styl nepalski dominował w tworzonych postaciach. Tą różnorodność stylów można interpretować jako mądre polityczne posunięcie wobec znaczących państw sąsiedzkich, z którymi należy żyć w zgodzie i utrzymywać przyjazne stosunki. Z kolei wnętrze klasztoru po długich dyskusjach zostało wykończone w stylu tybetańskim, co zdaniem króla miało pomóc w odbieraniu i pojmowaniu wiary przez Tybetańczyków. Po wybudowaniu klasztoru zostało na początek przyjętych 12 mnichów, aby niejako sprawdzić, czy Tybetańczycy nadają się do prowadzenia życia klasztornego.
W głównej świątyni, w hali służącej do nauki medytacji, z prawej strony znajduje się Hewadźra, wśród innych bóstw tantrycznych. Wskazują one na założyciela klasztoru i dawniej pielęgnowane kulty tantryczne. W kolejnej z sal mieści się figura ukoronowanego Buddy w otoczeniu ośmiu stojących bothisattwów i dwóch strażników.
Sufit ozdabiają malowidła wielkich mandali. Posąg Atiśi jest wyrazem uwagi jaką odnowiciel buddyzmu tybetańskiego, wielki indyjski nauczyciel przywiązywał do klasztoru Samja. Za główną halą po jej lewej stronie mieści się kaplica z Awalokiteśwarą o tysiącu ramion. W podniesionych na wysokość piersi rękach trzyma on klejnot spełniający życzenia. Powyżej kaplicy, na pierwszym piętrze uszkodzone malowidła ścienne ukazują historię budowy klasztoru. Kaplica Padmasambhawy poświęcona jest założycielowi szkoły Ńing-ma-py. Przy wyjściu na otwarty dach na trzecim piętrze znajduje się dobrze zachowane malowidło przedstawiające "podniebną wędrownicę" - Dakinię.
Założenie klasztoru Samja stało się doniosłym wydarzeniem w historii Tybetu, buddyzm stał się religią państwową. Lamaizm Czerwonych Czapek rozwinął się z wersji indyjskiej buddyzmu, o czym zadecydowano w otwartej dyskusji między przedstawicielami indyjskiego i chińskiego ujęcia religii. Zapoczątkował on podział ziemi i przyznawanie jej klasztorom, co miał miejsce aż do drugiej połowy XVII stulecia.