Po zdobyciu miasta jednak przystąpiono do splądrowania i ograbienia bogato wyposażonych pałaców i świątyń, a później do ich rozbiórki aż po same fundamenty. Na pozostawionych fundamentach wzniesione zostały kościoły, klasztory, pałace kolonialne i rezydencje. Do dziś podziwiać można piękną hiszpańską architekturę kolonialną z wyraźnymi akcentami indiańskimi.
Do początku XVII w. Cusco było spokojnym kolonialnym miastem, z którego wywieziono złoto i srebro, w którym wyburzono większość budynków, by wznieść kościoły i domy w stylu kolonialnym. Po pięknym, bogatym mieście Inków pozostały ruiny i fundamenty.
Biorąc pod uwagę stosunkowo krótki okres rozkwitu inkaskiej cywilizacji, jej osiągnięcia budowlane nie mają sobie równych w świecie. Imperium, obejmujące całą północno-zachodnią część Ameryki Południowej, powstało około 1400 roku, a rozpadło się w pierwszej połowie XVI wieku, wraz z przybyciem Hiszpanów.
Jedną z najbardziej imponujących budowli wzniesionych niedaleko Cusco jest twierdza Sacsayhuaman. Znajduje się 3 kilometry poza centrum miasta. Należy do światowego dziedzictwa kultury. W latach 1440-1532 Inkowie wznieśli tu system zygzakowatych murów tworzących trzy tarasy. Niektóre pojedyncze bloki kamienne miały 5 metrów wysokości, a ułożony z nich mur w niektórych miejscach sięgał aż 18 metrów. Wewnątrz zniszczonej przez hiszpańskich najeźdźców twierdzy znajdowały się magazyny żywności i domy mieszkalne.
Obydwie płynące przez Dolinę Inków rzeki, Tullumayo i Huatanay, często występowały z brzegów. Inkowie uregulowali je, budując przy tym akwedukty dostarczające wodę do Cuzco. Inkowie określali swoje imperium nazwą Tahuantinsuyo - Państwo Czterech Stron Świata, a swoją stolicę również podzielili na cztery sektory. Z każdego z nich prowadziła jedna droga w jedną ze "stron świata". Kursowali po nich długodystansowi piesi posłańcy nazywani chasquis. Biegli i roznosili w głąb państwa wiadomości i rozkazy władcy.
Podzielone centrum miasta służyło przede wszystkim celom religijnym i administracyjnym, było więc zastrzeżone wyłącznie dla kapłanów i królewskich dworów. W dzielnicy miasta nazywanej Coricancha (Złoty Pałac) znajdowała się największa świętość Inków - Świątynia Słońca. Dla prostego ludu, zajmującego się różnorakimi robotami i rzemiosłem, przewidziane były zewnętrzne dzielnice. Pierścień satelitarnych wsi w wykorzystywanym rolniczo otoczeniu miasta zapewniał dostawy żywności dla stolicy.
Huaccapayta - "Święty Plac" imperium Inków - przekształcono za panowania Hiszpanów w Plaza de Armas. Tutaj, na fundamentach pałacu ósmego Inki Wirakoczy, wzniesiono katedrę. Na ruinach zniszczonej świątyni Małżonki Słońca (Acllahuasi) powstał klasztor Santa Catalina, na fundamentach pałacu Huayna Capac - kościół jezuitów La Compania.