Kota Tarim terkenal dengan banyaknya bangunan masjid yang jumlahnya mencapai 360 masjid. Jumlah ini sangat banyak jika dilihat dari luas kota dan jumlah penduduknya. Sebagian masjid mulai runtuh dan sebagian lagi diperluas. Kebanyakan masjid di Tarim pada mulanya terdiri dari masjid kecil atau mushalla, lalu diperluas dan diperbesar. Seperti Masjid Jami' Tarim yang dibangun pada tahun 375 H dan telah mengalami beberapa renovasi antara lain tahun 581 H, tahun 585 H, tahun 960 H, dan tahun 1392 H. Sekarang luasnya mencapai 191.110 kaki. Atapnya disangga 60 tiang. Masjid ini mempunyai 8 pintu utama, satu menara setinggi 115 kaki, dan dua lantai.

Pada awalnya, lantai kedua digunakan untuk shalat, sedangkan lantai dasar baru diresmikan pada Desember 1972. Lantai dua saat ini berfungsi menjadi perpustakaan makhthuthat (manuskrip) yang diberi nama al-Ahgaff.

Dari sekian banyak masjid di Tarim, yang terkenal diantaranya adalah masjid Ba-Alawy yang sangat popular. Pengunjung dan jamaahnya banyak. Masjid ini termasuk masjid kuno, dibangun pada tahun 530 H dari tanah liat dan kapur dengan menara di sampingnya. Luas masjid ini dari arah timur ke barat mencapai 32,575 hasta. Luas pengimaman 14,5 hasta. Luas sudutnya 18 hasta dan lebar arah utara sampai selatan 17,25 dzira’. 

Termasuk masjid terkenal juga adalah Masjid al-Muhdhar yang dibangun oleh Sayyid Umar al-Muhdhar bin Abdurrahman As-Segaf. Masjid ini menjadi tujuan favorit para peziarah yang datang ke Tarim. Arsitekturnya indah, dipadu dengan menara yang tingginya mencapai 175 kaki. Menara al-Muhdlar (Minaret el-Muhdhar) merupakan menara tertinggi di dunia yang terbuat dari tanah liat dan pelapah kurma. Menara ini berbentuk segi empat dan di dalamnya terdapat tangga menuju ke atas .

Tarim juga disebut sebagai pusat pendidikan Islam. Di kota ini banyak terdapat ma'had (institusi semacam pesantren) dan zawiyah (berarti pojok dan digunakan sebagai tempat ibadah dan belajar). Tarim menyimpan sejarah peradaban Islam sejak abad ke-4 H.

Banyaknya perpustakaan menjadikan Tarim sebagai kota idola para penuntut ilmu. Banyaknya perpustakaan membuktikan bahwa kota ini sangat diperhitungkan kala itu.

Di antara perpustakaan yang terkenal adalah perpustakaan manuscrip al-Ahgaff yang berada di Masjid Jami'. Di dalamnya tersimpan kitab-kitab klasik yang masih berbentuk tulisan tangan. Sebagiannya berumur ratusan tahun.  Perpustakaan ini mendokumentasikan tulisan tangan dan kumpulan fatwa ulama dahulu yang disimpan oleh keluarga mereka. Perpustakaan ini menyimpan 5.300 kitab kuno tulisan tangan dalam berbagai disiplin ilmu seperti Tafsir, Hadits, Fiqih, Ushul Tauhid, Akhlaq, Adab, Bahasa, Sharaf, Kedokteran, Sejarah , Matematika , Falak, dll.

Perpustakaan ini merupakan kumpulan dari perpustakaan-perpustakaan yang pernah ada sebelumnya. Dalam susunan ruangnya tersusun sesuai dengan nama perpustakaan sebelumnya, seperti Perpustakaan al-Kaf, Perpustakaan bin Yahya, Perpustakaan Ribath, perpustakaan Bin Sahal, Perpustakaan al-Husaini, dan Perpustakaan al-Junaid. Setiap perpustakaan mempunyai katalog sendiri yang mempermudah orang untuk mencari kitab tertentu. Perpustakaan ini sekarang ditata secara rapi dan modern.

4. Benteng al-Ar

Benteng al-Ar adalah benteng yang terletak di kota Tarim, 71 km sebelah timur kota Seiyun. Benteng ini berupa bangunan tinggi yang terletak di perbukitan padang pasir yang mencapai ketinggian 50 kaki .

Benteng ini merupakan peninggalan sejarah pra-Islam dan masih berfungsi hingga pasca Islam. Pada masa pra-Islam, benteng ini berisi peninggalan sejarah dalam bentuk batu pualam kuno yang dihias, dan bongkahan batu yang berukiran, tumbuh-tumbuhan dan pohon anggur. Ada juga batu yang berukiran gambar tentang kemuliaan dan pemandangan yang diilustrasikan dalam bentuk gambar seorang laki-laki. Juga ada gambaran seorang nelayan, seorang yang melapangkan dadanya sebagai sifat kedemawanan dan di tangan kanannya memegang tombak panjang di arahkan pada seekor singa yang berada di kakinya. Di samping itu juga terdapat beberapa tiang dari batu yang berukiran.

Sebagaian besar peninggalan sejarah ini merupakan lambang salah satu sesembahan zaman dahulu yang diyakini sebagai salah satu sesembahan (patung) bernama Sein yang tersebar di distrik bagian timur Hadhramaut.