中國成語的起源、典故及意思，每每與中國五千多年的歷史，有着千絲萬縷的關係。每一句成語背後，往往隱含很多歷史故事、古代名人、風俗等知識。中國大部分成語源自神話傳說及寓言故事，神話傳說體現了人民大眾對自然界，以及社會生活的一種天真的解釋和美好的嚮往；寓言故事則透過假託的人或物來說明某個道理和教訓，往往帶有勸戒或諷喻的意思，例如「狐假虎威」、「鷸蚌相爭」等。

中國歷史悠久，許多精彩又富教育意義的歷史故事，記載於文化典籍中，前人從中加以概括或提取，便產生了一些成語。例如「紙上談兵」、「臥薪嘗膽」等。中國擁有極豐富的古典作品，流傳千古，形成經典，如《詩經》、《論語》、《孫子兵法》等，當中包含哲理名言，言簡意賅，反映恒久不變的生活經驗，做人道理，因而成為成語的極佳素材，例如「知己知彼」、「不恥下問」等。

成語大多從歷史故事、神話寓言或經典名言概括而來，故不能單憑成語字面意思來理解，否則容易發生誤解，必須了解來源、典故及其發展變化，才能真正理解真正含義。例如「四面楚歌」字面意思指，「四面都是楚國的歌曲」；其實道出秦末漢王劉邦打敗楚霸王項羽，把他困於垓下，項羽夜間聽到四面楚歌，以為楚國已被劉邦佔領，軍心動搖。其真正含義是比喻陷入四面受敵、孤立無助的困境。此外，也有根據生活、勞動經驗，創造出相當數量的成語，這些成語生動活潑，但背後不一定有典故，可單從字面了解其含義，例如「同病相憐」、「苦盡甘來」等。

成語的基本形式是四字格，但原文多是一段話語，這就需要改造原文，壓縮成四字。這格式能符合漢人成雙作對的心理，容易上口，內容又含蓄豐富。例如： 北朝樂府《木蘭辭》：「雄兔腳撲朔，雌兔眼迷離，兩兔傍地走，安能辨我是雌雄？」簡化成「撲朔迷離」。 《詩經‧國風》：「彼采蕭兮。一日不見，如三秋兮。」簡化成「一日三秋」。

熟悉成語意義的發展變化，不要望文生義。例如「不求甚解」出於陶淵明《五柳先生傳》：「好讀書，不求甚解，每有會意，便欣然忘食。」意即喜歡讀書，只追求精神實質的理解，不拘泥一字一句的解釋，顯然是褒義。但現今指學習不認真，不求深入解釋，屬貶義。

成語還常在本義基礎上產生比喻義。例如：「雨後春筍」本指「春天雨後竹筍長得又快又多」，現比喻某種事物大量湧現或蓬勃發展。「水落石出」本是描寫風景「山高月小，水落石出」，後來比喻真相大白。

成語有別於諺語、歇後語和慣用語，成語多由四字組成，多有出典可查，書面語色彩。諺語由固定的語句，字數不固定，例如恨鐵不成鋼、新官上任三把火；歇後語由前後兩部分構成，前面像謎面，後面像謎底。例如：泥菩薩過江──自身難保；慣用語多為三個字，構成動賓關係，例如開夜車、灌米湯。