Первые крупные группировки начали привлекать внимание местных чиновников в 1612 году — спустя несколько лет после завершения длительного периода междоусобных войн, которыми была отмечена вторая половина 16 века. Новый этап в истории страны получил название эпохи Тогукава, по имени победителя битвы 1600 года при Сэкигахара Токугава Иэясу, провозглашенного сёгуном, или эпохи Эдо, по названию города (будущего Токио), служившего резиденцией Иэясу и его потомкам.
Это было время стремительной урбанизации, развития японских деревень и изменений в социальной и политической структуре. Однако Япония еще не была стабильной страной: наступивший мир означал, что около полумиллиона самураев, чьи лучшие навыки заключались в основном в военной службе и боевых искусствах, остались без работы. Большинство из них присоединилось к растущему классу торговцев и гражданских чиновников или нашло работу в качестве преподавателей, ученых и философов. Но было много и тех, что нашел для себя места в новой реальности.
Ронины — самураи, потерявшие хозяев, — раньше могли поступить на службу к новому феодалу, но в мирное время многим из них не оставалось ничего другого, кроме как сбиться в союзы и скитаться из города в город. В основном они «зарабатывали» грабежами и террором местного населения. Эти люди называли себя «кабукимоно».
В кабукимоно входили легендарные преступные группировки средневековой Японии, известные также как хатамото-якко, или слуги сёгуна. Они пользовались жаргоном и брали эксцентричные имена, были необычайно преданны друг другу. И хотя «слуги сёгуна» могут показаться зачинателями японской преступности, современные якудза отождествляют себя не с ними, а с противостоявшим им отрядом молодых горожан мати-якко, или «слуги города». Их предводителями были самые разные люди: лавочники, трактирщики, ремесленники, клерки. Они объединялись, чтобы отражать атаки бродячих самураев. Их популярность росла вместе с усиливающимися страхами и недовольством кабукимоно.
Со временем городские отряды начали перенимать привычки, жаргон и структуру вражеских банд, но репутация защитников слабых закрепила за ними звание благородных разбойников.
Самым известным лидером матти-якко был Бадзуйин Тёбэй, сын ронина, вынужденный отправиться в Эдо после несчастного случая: десятилетний Тёбэй, тогда еще звавшийся Итаро, случайно утопил в реке товарища по играм. Пораженный рассказом сына, отец отправил его на поиски места службы у благородного воина, чтобы искупить свой грех. Около 1640 года Тёбэй стал слугой одного из вассалов Токугава, но позже присоединился к своему брату — главному жрецу буддийского храма.
Тёбэй быстро разбогател, пользуясь хитростью и умом. Он стал посредником в торговле наемной силой, набирая рабочих для строительства дорог вокруг Эдо и ремонта каменных стен дворца сёгуна. Но его труд не был честным.
Бадзуйин Тёбэй использовал схему, которую впоследствии стали применять современные якудза — он открыл игорный притон. Карты не только привлекали рабочих, но и позволяли ему получать часть жалования, которое он им платил.
Согласно пьесам театра кабуки, биография Тёбэя полна великих деяний: спасение девушки от нападения грабителей, организация брака двух влюбленных, когда-то не имевших возможности пожениться из-за классовой разницы. Всякий раз, когда его благодарили те, кому он помогал, он отвечал: «Мы сделали своим принципом жить с самурайским духом. Когда нас предадут мечу, мы потеряем свои жизни. Такова наша судьба. Я просто прошу вас помолиться за упокой моей души, когда придет мой черед».
Неясно, как умер Бадзуйин Тёбэя. Одни пьесы рассказывают, что он был убит своим заклятым врагом, лидером хатамото-якко Мидзуно. В финале другой сценки доблестного Тёбэя убивают, «как карпа на разделочной доске». Что здесь правда, а что — вымысел, неизвестно, однако вне зависимости от финала драмы о Тёбэе были настолько популярны, что сам театр кабуки во многом обязан своим ранним развитием изображению якудза. Тёбэй, наравне с другими мати-якко, стал героем народных сказок и песен и вдохновителем сегодняшних преступников Японии.