歇後語由兩個部分組成：前半部分多是一種比喻或描述；後半部分是前半部分比喻或描述的揭曉或說明。前後兩個部分靠一個紐帶聯繫，這個紐帶就是前後兩個部分的「核心」，這個「核心」是二者的「相似點」。它從內部緊緊地把二者聯繫在一起，形成「外異內同」的格式。「懶婆娘的裹腳──又臭又長」這個歇後語中「懶婆娘的裹腳」是前半部，「又臭又長」是後半部。「又臭又長」的意義應包含在「懶婆娘的裹腳」裡。歇後語結構中的前半部分和後半部分是顯形，二者聯繫點是隱形。歇後語前後兩部分的聯繫方式有三種：一種是前後部分聯繫較直接，開門見山；一種是後部分說明前部分不那麼直接，具有雙關味道；一種是後部分說明前部分多了一層諧音關係。前兩種不管是直接還是間接都是單純的意義聯繫，稱之喻意式歇後語；最後一種喻意之外多了一層諧音的轉換，稱之為諧音式歇後語。

喻意的歇後語前部分和後部分的聯繫是靠意義上的內在聯繫，前部分講述道理，是導致後部分的邏輯依據。所謂邏輯依據就是第二部分應該具第一部分的說服力、必然、合乎邏輯的結果。「千里送鵝毛──禮輕人意重」，「鵝毛」雖然「輕」，可不遠「千里送」來，「人」的情「意」是「重」的。另一類歇後語雖然也是喻意的，但後半部分卻是多義的，理解上要有一個意義轉換，由表層意義轉換至深層意義：「小胡同裏趕豬──直來直去」，在「小胡同裏」追「趕豬」，胡同是直的，無法拐彎，只好「直」着「來去」；「直來直去」表層意義是直着走，而「直來直去」另一含義是指說話、辦事直爽坦率，不繞彎子，這層意義才是真要說的。

在喻意式歇後語的基礎上，歇後語後部分再增加一層同音或近似音成分的換用，就成了諧音的歇後語。行者笑道：「老官兒，你估不出人來。我自小，結實，卻是『吃了磨刀水的，秀氣在內』哩！」（《西遊記》第六十七回）「磨刀水」裏帶着「鏽」，吃在肚子裏，「鏽氣」在「肚內」。「鏽氣在內」是「吃了磨刀水」的喻意結論，它本身並無實用意義，「鏽」、「秀」同音，轉換成「秀氣在內」才有實用意義，表達內在氣質好。由於其他一些原因（如方言、文白異讀等）用來諧音的成分，在聲、韻、調方面並不完全一致，只是近似的讀音。

歇後語的前半部分多是一種比喻，它是歇後語的鮮明、生動、形象、活潑和幽默風趣的源泉。歇後語的品質很大程度上取決前半部分比喻的水準。這一部分的語言構成長短不一，有的只是一個詞：「鐵公雞──一毛不拔」；「驢糞球──外面光」。「鐵公雞」和「驢糞球」都是詞；有的是句子：「針尖對麥芒──尖對尖」；「矮子看戲──人家叫好，他也叫好」。「針尖對麥芒」、「矮子看戲」都是句子。也有一些類似壓縮的句子，句式不長，結構複雜。歇後語的前半部分不單在使用語言結構成分上多樣化，更多的是內容上的豐富多彩。它用事理經驗做比，也以歷史故事和人物做比，有「真人真事」，也有虛構假託，是歇後語最精彩的部分。

如果說歇後語的前半部分是一種比喻，那麼，後半部分便是對前半部分的說明。歇後語作為一個整體，前後兩個部分是固定聯繫在一起，同等重要，缺一不可。但在具體運用時可視語境的需要，可以全說出來，也可以只說前半部不說後半部。不說出後半部，給人更多思考，更細的品味，但若影響理解與判斷則一定要全用，不可「因文害義」。不過，這只是使用問題，而不是歇後語本身結構問題。歇後語的說明部分從不同角度，可以做多種分類，如從用語的文白差異、具體與抽象、句式的長短、與比喻部分的對照以及不同的說明等細微分辨。

歇後語的前後兩個部分合成為歇後語的整體。歇後語的兩個部分是看得見的實體，而在這實體之間還有一個看不見的「隱體」，這就是歇後語前後兩部分賴以發生關聯的內在橋樑。橋樑搭得好不好，直接影響歇後語的品質甚至生存。這個關鍵的「聯繫」受諸多因素制約，時代變遷、科學進步、生產生活方式的改變都影響人們對「聯繫」的認識。「聯繫」的變化自然離不開「喻體」甚至「本體」的改變。因此，會出現同一個結論有不只一個比喻或一個比喻有幾個結論。表示聯繫的「實體」用甚麼「形式」也是不只一種，使用上也有多種選擇。