百済系渡来人の子孫とされる。近江または相模の人とされる。『大山縁起』(真名本)では相模国の染屋太郎大夫時忠の子とされる。「染屋」は「漆部」とも伝わる。別伝で近江百済氏の出身で幼時に鷲にさらわれ、義淵僧正に育てられたとされる。『国史大辞典』には良弁の出自について、近江説と相模説があるが近江が有力、と記載される。
義淵に法相を、新羅僧審祥(しんじょう)に華厳を学び、金鐘寺を建立した。
東大寺建立に尽力し、天平勝宝3(751)年5月1日に初代の東大寺別当に任ぜられた。天平宝字7年(763年)に僧正位に昇り、宝亀4年(773年)閏11月16日に遷化した。