日本黑帮分子身上刻有各种各样的刺青。日本的黑帮众多、来历不一，各帮派自己描述的起源也与历史记载大相径庭。按他们自己的说法，黑帮的开山鼻祖都是些劫富济贫的侠士，专门保护家园不受外来强盗所扰。有些帮派甚至宣称自己继承了日本浪人的衣钵(日本浪人是指日本17世纪政治动荡后，离开大名四处流浪的武士)

还有人称日本黑帮实际上脱胎于过去特立独行的倾奇者，他们衣着怪异、举止怪诞，常常身配长刀，恐吓村民，甚至滥杀无辜。其实，关于日本黑社会的起源，可以说是上述几个故事的混合。在武士阶层被废除之后，许多武士失去了生活重心，逐渐转向暴力犯罪。也有些武士开始经商或从事见不得光的行业(如开设赌场和妓院) 。这些暴徒、浪人以及进入日本市场体系的其他新生力量都有个共同点：他们不被社会接受。

在日文中，やくざ一词就反应了黑道成员卑下的地位。这个词源自日本的牌戏おいちょかぶ(Oicho-Kabu)。おいちょかぶ类似于21点，游戏的输赢由每手牌点数之和的尾数大小决定，最小点数为0。如果摸到8、9、3三张牌(三张牌之和为20)，那么这一手牌的点数就是0，持牌者输。日语中 8、9、3的发音分别是や、く、ざ，因此这三个发音组合起来就成了やくざ，也就是无用的、没有价值的意思。

やくざ原指黑帮分子，但是现在这个词也泛指日本的有组织犯罪。暴力団(Boryokudan)与やくざ同义，它是一个贬义词，指那些没有传统荣誉感的暴徒。日本警方在提到黑帮分子时，常用暴力団一词。

日本黑帮直接起源于18世纪一些准合法的商人，他们在大城市的街道上开设赌场或兜售商品，被人们称为博徒(bakuto)和的屋(tekiya)，也就是指巡回的赌档和商贩。后来这些人逐渐结成团伙，并发展成等级清晰、规矩森严的黑道家族或帮派。至今，日本的黑社会团伙中仍有被称为博徒和的屋的两派。

到了19世纪晚期，日本黑帮与民族主义、军国主义和政治联系到了一起。许多黑帮开始与政客勾结政客利用他们暗杀对手，武装贸易集团，甚至参与了与周遭国家的战争。二战后，日本黑帮借助混乱的局势进一步加强了在日本的政治经济地位。

日本的黑道家族表面上和黑手党家族的结构一样，由组长(kumicho，相当于黑手党的教父)来统管整个家族，在他之下还有若干舍弟、干部、若头，形成一个金字塔结构。此外，各地区还有各地区的头目、副手、顾问以及众多的普通会众，这让日本黑帮的结构更加复杂。有的黑帮家族的结构有所不同，是由小帮派结成的联盟。

黑帮组织中的核心架构是一种类似父子的关系，这一关系把所有的组织成员牢牢地绑在了一起。在黑帮家族中，父亲会借助其影响力来保护儿子，同时给予 儿子忠告和指导，以此换取儿子完全的忠诚和无条件的服从。日本社会对荣誉和传统的重视也进一步加强了这种关系。但如果儿子没有完成父亲交待的任务时，这种父子关系并不能保护他免受惩罚，例如逐出帮派甚至断指。家族中的每一个人都可能既是父亲又是儿子面对上级时扮演儿子的角色，面对下属时则扮演父亲的角色。

不论是加入黑帮家族还是在黑帮家族中结为父子关系都需要举行一种特殊的仪式。在仪式中，主持者先为新加入的成员和他的老大各倒一杯酒，让二人各喝一点，随后交换酒杯再喝一点。老大要将杯中的酒喝完，而新人只能小口啜饮。