Sách “Thuyết văn” giải nghĩa “Tự” là “thuộc cung đình”, tức chỉ các thị vệ của triều đình, sau này nơi ở của các thị vệ cũng được gọi là “tự”, như “Đại Lý Tự”, “Thái Thường Tự”… Do vậy, từ sơ khai “tự” hoàn toàn không chuyên chỉ chùa Phật giáo mà chỉ là nơi ở của thị vệ mà thôi.

Đại Lý Tự là cơ quan thẩm lý và phán xử của triều đình, Đại Thường Tự lại là bộ phận chưởng quản lễ nghi tông miếu. Thời Tây Hán thực hiện chế độ “Tam công cửu khanh”, công thự của “tam công” gọi là “phủ” (府), công thự của “cửu khanh” gọi là “tự” (寺), do vậy mới có tên gọi “tam phủ cửu tự”. Dùng “tự” để gọi tên nơi lưu trú và hoạt động cơ bản của tăng lữ Phật giáo có liên quan đến Hồng Lư Tự và sự vụ quản lý của nó.

Tương truyền đời Minh Đế thời Đông Hán, tăng nhân Thiên Trúc dùng bạch mã thồ kinh đến, ban đầu trú ở “Hồng Lư Tự” tại Lạc Dương, vì Hồng Lư Tự là nhà khách triều đình đón tiếp khách tứ phương, là nơi ở lâu dài của những người không phải tăng lữ, sau này liền xây dựng thêm một công trình khác lấy tên là “Bạch Mã Tự”. Từ đó “tự” liền trở thành tên gọi nơi ở của tăng nhân.

Trong tiếng Sanskrit, “tự” được gọi là “sangharama”, nghĩa là “lâm viên nơi ở của tăng chúng”. Sau thời Tùy Đường, dùng “tự” để chỉ công thự càng ngày càng ít mà dần dần trở thành danh xưng chuyên dùng để chỉ kiến trúc Phật giáo