歇后语由两个部分组成：前半部分多是一种比喻或描述；后半部分是前半部分比喻或描述的揭晓或说明。前后两个部分靠一个纽带联系，这个纽带就是前后两个部分的“核心”，这个“核心”是二者的“相似点”。它从内部紧紧地把二者联系在一起，形成“外异内同”的格式。“懒婆娘的裹脚──又臭又长”这个歇后语中“懒婆娘的裹脚”是前半部，“又臭又长”是后半部。“又臭又长”的意义应包含在“懒婆娘的裹脚”里。歇后语结构中的前半部分和后半部分是显形，二者联系点是隐形。歇后语前后两部分的联系方式有三种：一种是前后部分联系较直接，开门见山；一种是后部分说明前部分不那么直接，具有双关味道；一种是后部分说明前部分多了一层谐音关系。前两种不管是直接还是间接都是单纯的意义联系，称之喻意式歇后语；最后一种喻意之外多了一层谐音的转换，称之为谐音式歇后语。

喻意的歇后语前部分和后部分的联系是靠意义上的内在联系，前部分讲述道理，是导致后部分的逻辑依据。所谓逻辑依据就是第二部分应该具第一部分的说服力、必然、合乎逻辑的结果。“千里送鹅毛──礼轻人意重”，“鹅毛”虽然“轻”，可不远“千里送”来，“人”的情“意”是“重”的。另一类歇后语虽然也是喻意的，但后半部分却是多义的，理解上要有一个意义转换，由表层意义转换至深层意义：“小胡同里赶猪──直来直去”，在“小胡同里”追“赶猪”，胡同是直的，无法拐弯，只好“直”着“来去”；“直来直去”表层意义是直着走，而“直来直去”另一含义是指说话、办事直爽坦率，不绕弯子，这层意义才是真要说的。

在喻意式歇后语的基础上，歇后语后部分再增加一层同音或近似音成分的换用，就成了谐音的歇后语。行者笑道：“老官儿，你估不出人来。我自小，结实，却是‘吃了磨刀水的，秀气在内’哩！”（《西游记》第六十七回）“磨刀水”里带着“锈”，吃在肚子里，“锈气”在“肚内”。“锈气在内”是“吃了磨刀水”的喻意结论，它本身并无实用意义，“锈”、“秀”同音，转换成“秀气在内”才有实用意义，表达内在气质好。由于其他一些原因（如方言、文白异读等）用来谐音的成分，在声、韵、调方面并不完全一致，只是近似的读音。

歇后语的前半部分多是一种比喻，它是歇后语的鲜明、生动、形象、活泼和幽默风趣的源泉。歇后语的品质很大程度上取决前半部分比喻的水准。这一部分的语言构成长短不一，有的只是一个词：“铁公鸡──一毛不拔”；“驴粪球──外面光”。“铁公鸡”和“驴粪球”都是词；有的是句子：“针尖对麦芒──尖对尖”；“矮子看戏──人家叫好，他也叫好”。“针尖对麦芒”、“矮子看戏”都是句子。也有一些类似压缩的句子，句式不长，结构复杂。歇后语的前半部分不单在使用语言结构成分上多样化，更多的是内容上的丰富多彩。它用事理经验做比，也以历史故事和人物做比，有“真人真事”，也有虚构假托，是歇后语最精彩的部分。

如果说歇后语的前半部分是一种比喻，那么，后半部分便是对前半部分的说明。歇后语作为一个整体，前后两个部分是固定联系在一起，同等重要，缺一不可。但在具体运用时可视语境的需要，可以全说出来，也可以只说前半部不说后半部。不说出后半部，给人更多思考，更细的品味，但若影响理解与判断则一定要全用，不可“因文害义”。不过，这只是使用问题，而不是歇后语本身结构问题。歇后语的说明部分从不同角度，可以做多种分类，如从用语的文白差异、具体与抽象、句式的长短、与比喻部分的对照以及不同的说明等细微分辨。

歇后语的前后两个部分合成为歇后语的整体。歇后语的两个部分是看得见的实体，而在这实体之间还有一个看不见的“隐体”，这就是歇后语前后两部分赖以发生关联的内在桥梁。桥梁搭得好不好，直接影响歇后语的品质甚至生存。这个关键的“联系”受诸多因素制约，时代变迁、科学进步、生产生活方式的改变都影响人们对“联系”的认识。“联系”的变化自然离不开“喻体”甚至“本体”的改变。因此，会出现同一个结论有不只一个比喻或一个比喻有几个结论。表示联系的“实体”用什么“形式”也是不只一种，使用上也有多种选择。