日出藩の藩祖は木下延俊(のぶとし)で、豊臣秀吉の正室・高台院(北政所、おね、ねね)の兄である木下家定の子でした（秀吉からみると義理の甥にあたる）。
延俊の家系はもともとは杉原氏を名乗っていましたが、高台院の実家にあたることから、血縁の少なかった秀吉に重用され、豊臣姓である木下氏を名乗るようになりました。
延俊は兄弟の三男で、「関ヶ原の寝返り」で有名な小早川秀秋は実弟にあたります。子のいなかった高台院からは、甥である延俊の兄弟は大層かわいがられていたといわれています。
木下延俊は、関ヶ原の戦い(慶長５年・1600年)のとき、東軍で活躍した功績により、徳川家康により豊後国・日出３万石に封じられ、日出藩を開きました。延俊は日出の地に入封するとすぐに築城に取りかかり、慶長７年(1602年)に日出城を築きました。
なお、彼の父・家定も、延俊とは別に備中国・足守(あしもり)２万５千石に封じられ足守藩を開いています。江戸時代を通して全国の大名は約260家を数えましたが、豊臣家につながりを持った大名は、この足守藩木下家と日出藩木下家の２家のみです。
２代藩主・木下俊治(としはる)の時代、父・延俊の遺言により、俊治の弟・延由(のぶよし)に５千石が分領されました。
延俊の遺言では「１万石を延由に分領するように」とのことでしたが、藩の３分の１もの所領を分領すると藩の財政が立ち行かなくなることを危惧した家老・長澤市之亟(ながさわいちのじょう)の機転により、意図的に「聞き間違い」として立石(たていし)の地（現・杵築市山香町）５千石の分領としました（長澤市之亟は主君の遺命を曲げた責任を取って後に切腹しました）。
こうして正保３年(1646年)、木下延由を祖として立石領が成立しましたが、日出藩と立石領は一時絶縁状態になるなど、その関係は冷え切ったものでした。この状態は双方の代替わりを経て和睦が成立するまで続きます。
立石領は日出藩とともに明治維新まで存続しました。
立石分領に関連して興味深い説が存在します。それは木下延由が豊臣秀頼の子・国松（つまり豊臣秀吉の孫）だったのではないかということです。
国松は、大坂夏の陣(慶長20年・1615年)による豊臣家滅亡の折、落城した大坂城を脱出したものの、その後徳川方の捜索隊に捕まり斬首されたといわれていますが、実は密かに逃げ切り、薩摩藩の船に乗って九州の地へ渡り、祖父・秀吉の縁類を頼って日出藩に身を寄せたのではないか、との説があります。
この説が真実であるとするなら、延俊が長子でもない延由に１万石もの領地を与えようとしたことにも説明がつきます。また、延由の名が幕府側の記録では「延次」となっている（日出藩側が意図的に違う名前で申告していた）など、延由の出自には謎が多く、これも上記の説に説得力を持たせています。
なお、木下延由の位牌に「国松」の文字が記されている、延由の出自に関する木下家一子相伝の言い伝えがあるなど、興味深い話が数多く残されていますが、いまだ真偽は定かではありません。
日出若宮八幡神社には、時の日出藩主が奉納した鳥居や石灯篭が残されています。それらには奉納主の名が記されていますが、いずれも「豊臣俊泰(９代藩主)」「豊臣俊敦(13代藩主)」など「豊臣」の姓が刻まれています。これらは、「日出藩木下家は豊臣の一族である」という思いが各代藩主に受け継がれていたことの表われです。
ただし、初代藩主・木下延俊の奉納した鳥居には「木下右衛門太夫豊冨朝臣延俊」とあり、「豊臣」ではなく「豊冨」が用いられています。これは、豊臣家を滅ぼしてまだ日の浅い徳川幕府に憚ったものと考えられてます。