Rumah makan pertama Yoshinoya yang di dirikan oleh Eikichi Matsuda pada tahun 1899 dipasar ikan Nihonbashi, chuo ku, tokyo. rumah makan ini diberi nama dengan Yoshinoya karena pendiriannya, Eikichi matsuda yang berasal dari Yoshino cho, Osaka, dan ya berarti rumah, dan ditambahkan nama belakang toko. Satu-satunya menu rumah makan ini merupakan Gyudon, Semangkuk nasi dengan irisan tipis daging sapi yang di masak dengan menggunakan kecap asin dan gula.
Pada waktu itu, rumah makan ini masih menjadi kelolahan oleh keluarga. Makanannya yang sangat lezat, dihidangkan dengan cepat, dan harga yang sangat terjangkau membuat Yoshinoya semakin cepat populer di kalangan pedagang ikan dan pengunjung pasar lainnya. Setelah pasar ikan Nihonbashi sudah habis terbakar diakibatkan gempa bumi besar di kanto pada tahun 1923 dan di pindahkan ke lokasi yang baru di Tsukiji, Yoshinoya juga mengikuti perpindahan ke pasar Tsukiji.
Pada saat tahun 1952, rumah makan Yoshinoya menjadi terkenal karena rumah makannya membuka selama 24jam. Pada saat tahun 1958, Eikichi Matsuda menyerahkan kepemimpinan perusahaannya kepada anaknya yang bernama Mizuho. Yoshinoya lalu berkembang pesat menjadi rumah makan berantai siap saji pertama di jepang pada saat tahun 1960. Jumlah rumah makan Yoshinoya terus menerus bertambah dari 100 lokasi pada tahun 1977, menjadi 500 lokasi pada tahun 1996, dan menjadi 1.000 lokasi pada tahun 2001.
Yoshinoya memperkenalkan menu baru nondaging sapi setelah dilarangnya impor daging sapi amerika serikat ke jepang dari tahun 2003 sampai 2006. Sebelum ditemukannya kasus BSE di amerika serikat, Yoshinoya dan sukiya mengimpor daging sapi dari amerika serikat. Setelah itu adanya pelarangan impor daging sapi dari amerika serikat, Sukiya beralih dengan menggunakan daging sapi dari Australia, sedangkan Yoshinoya dengan sementara menghentikan perjualan gyudon, dan mengubahnya dengan nama Butadon dari daging babi.
Yoshinoya kembai menyajikan gydon pada tahun 2006 setelah di bukannya kembali impor daging sapi dari amerika serikat ke jepang. Ekspansi internasional dengan di tandai untuk bukanya rumah makan pertama Yoshinoya di Los Angeles, Amerika serikat pada tahun 1979. Di Amerika serikat, Yoshinoya pada awalnya mempunyai dan mengoperasikan sendiri rumah makan mereka dan tidak memakai sistem waralaba seperti di jepang.Di amerika, Yoshinoya juga menambahkan hidangan selera lokal ke dalam menu mereka.
Ekspansi ke pantai timur amerika serikat dengan rumah makan yang dimiliki sendiri pada tahun 2002. sistem waralaba mulai memperkenalkan Yoshinoya dengan pengusaha amerika serikat pada saat tahun 2006. Pada tahun 2008, jumlah dari outlet Yoshinoya di amerika serikat sudah melampaui 185 lokasi. Pada tahun 2013, rumah makan Yoshinoya terdapat di 1.191 lokasi di jepang dan 616 lokasi di luar jepang. Bisnis Yoshinoya di asia di lakukan dengan Yoshinoya international dan di amerika serikat dengan Yoshinoya America.
Rumah makan Yoshinoya pertama di hong kong dibuka pada saat tahun 1991, dan disusul pada tahun 1992 di beijing dan tahun 1997 disingapore, pada tahun 2002, Yoshinoya membuka rumah makan di new york city dan shanghai. di filipina, Yoshinoya membuka rumah makan pertamanya pada saat tahun 2001, dan disusul di shenzhen dan sydney pada tahun 2004, dan jakarta pada saat tahun 2010.
