เมื่อทรงผนวชเป็นพระภิกษุแล้วทรงศึกษาพระปริยัติธรรมในสำนักพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ซึ่งทรงผนวชเป็นพระภิกษุอยู่ ณ วัดมหาธาตุนั้น เช่นกัน ในเวลานั้น (พระบาทสมเด็จพระจอมเกล้าฯ ทรงพระเจริญพระชนมายุกว่า ๕ พรรษา) เป็นเหตุให้ทรงเลื่อมใสในลัทธิธรรมวินัยตามอย่างพระบาทสมเด็จพระจอมเกล้าฯ ภายหลังจึงได้ทรงอุปสมบทซ้ำอีกครั้งหนึ่งในนทีสีมา โดยพระสุเมธาจารย์ (พุทธวังสะ) เป็นพระอุปัชฌาย์ พระบาทสมเด็จพระจอมเกล้าฯ เป็นพระกรรมวาจาจารย์

สมเด็จพระมหาสมณเจ้า กรมพระยาปวเรศวริยาลงกรณ์ ทรงศึกษาพระปริยัติธรรมจนทรงแตกฉานในภาษาบาลี แต่ไม่ทรงเข้าสอบเพื่อเป็นเปรียญ พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวได้พระราชทานพัดยศสำหรับเปรียญเอก ที่เคยพระราชทานแด่พระบาทสมเด็จพระจอมเกล้าฯ เมื่อครั้งยังมิได้ทรงเป็นพระราชาคณะให้ทรงถือเป็นเกียรติยศ สืบมา พระนิพนธ์อันเป็นเครื่องแสดงถึงพระปรีชาสามารถในภาษาบาลีของพระองค์ก็คือ พระนิพนธ์เรื่อง สุคตวิทัตถิวิธานซึ่งทรงนิพนธ์เป็นภาษาบาลีว่าด้วยเรื่องการวิเคราะห์คืบพระสุคตอันเป็นมาตราวัดที่มีกล่าวถึงในทาง พระวินัย นอกจากนี้ ก็ได้ทรงนิพนธ์เรื่องเบ็ดเตล็ดอื่นๆ เป็น ภาษาบาลีไว้อีกหลายเรื่อง นับว่าทรงเป็นปราชญ์ทาง ภาษาบาลีที่สำคัญพระองค์หนึ่งในยุครัตนโกสินทร์

ในรัชกาล ๓ พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว ทรงตั้งเป็นพระราชาคณะสมณศักดิ์ เสมอพระราชาคณะสามัญ พระราชทานตาลปัตรแฉกถมปัดเป็นพัดยศ

พ.ศ. ๒๓๙๔ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ซึ่งขณะยังทรงผนวชอยู่ ทรงเป็นพระเถราจารย์ประธานแห่งพระสงฆ์ธรรมยุตินิกายทรงลาผนวชเสด็จเถลิงถวัลยราชสมบัติ เป็นรัชกาลที่ ๔ จึงได้ทรงสถาปนาพระเจ้าวรวงศ์เธอพระองค์เจ้าฤกษ์ เป็นกรมหมื่นบวรรังษีสุริยพันธุ์ ทรงอิศริยยศเป็นประธานาธิบดีแห่งพระสงฆ์ธรรมยุติกนิกาย ซึ่งขณะนั้นเรียกว่า “ธรรมยุติกนิกายิกสังฆมัธยมบวรนิเวสาธิคณะ” ทรงดำรงสมณฐานันดรเป็นที่สองรองจาก สมเด็จฯ กรมพระปรมานุชิตชิโนรส ซึ่งทรงดำรงตำแหน่ง สมเด็จพระสังฆปริณายก คือสมเด็จพระสังฆราชอยู่ในขณะนั้น สมเด็จฯ กรมพระยาปวเรศวริยาลงกรณ์ จึงทรงเป็นเจ้าคณะใหญ่คณะธรรมยุตเป็นพระองค์แรก