中国成语的起源、典故及意思，每每与中国五千多年的历史，有着千丝万缕的关系。每一句成语背后，往往隐含很多历史故事、古代名人、风俗等知识。中国大部分成语源自神话传说及寓言故事，神话传说体现了人民大众对自然界，以及社会生活的一种天真的解释和美好的向往；寓言故事则透过假托的人或物来说明某个道理和教训，往往带有劝戒或讽喻的意思，例如“狐假虎威”、“鹬蚌相争”等。

中国历史悠久，许多精彩又富教育意义的历史故事，记载于文化典籍中，前人从中加以概括或提取，便产生了一些成语。例如“纸上谈兵”、“卧薪尝胆”等。中国拥有极丰富的古典作品，流传千古，形成经典，如《诗经》、《论语》、《孙子兵法》等，当中包含哲理名言，言简意赅，反映恒久不变的生活经验，做人道理，因而成为成语的极佳素材，例如“知己知彼”、“不耻下问”等。

成语大多从历史故事、神话寓言或经典名言概括而来，故不能单凭成语字面意思来理解，否则容易发生误解，必须了解来源、典故及其发展变化，才能真正理解真正含义。例如“四面楚歌”字面意思指，“四面都是楚国的歌曲”；其实道出秦末汉王刘邦打败楚霸王项羽，把他困于垓下，项羽夜间听到四面楚歌，以为楚国已被刘邦占领，军心动摇。其真正含义是比喻陷入四面受敌、孤立无助的困境。此外，也有根据生活、劳动经验，创造出相当数量的成语，这些成语生动活泼，但背后不一定有典故，可单从字面了解其含义，例如“同病相怜”、“苦尽甘来”等。

成语的基本形式是四字格，但原文多是一段话语，这就需要改造原文，压缩成四字。这格式能符合汉人成双作对的心理，容易上口，内容又含蓄丰富。例如： 北朝乐府《木兰辞》：“雄兔脚扑朔，雌兔眼迷离，两兔傍地走，安能辨我是雌雄？”简化成“扑朔迷离”。 《诗经‧国风》：“彼采萧兮。一日不见，如三秋兮。”简化成“一日三秋”。

熟悉成语意义的发展变化，不要望文生义。例如“不求甚解”出于陶渊明《五柳先生传》：“好读书，不求甚解，每有会意，便欣然忘食。”意即喜欢读书，只追求精神实质的理解，不拘泥一字一句的解释，显然是褒义。但现今指学习不认真，不求深入解释，属贬义。

成语还常在本义基础上产生比喻义。例如：“雨后春笋”本指“春天雨后竹笋长得又快又多”，现比喻某种事物大量涌现或蓬勃发展。“水落石出”本是描写风景“山高月小，水落石出”，后来比喻真相大白。

成语有别于谚语、歇后语和惯用语，成语多由四字组成，多有出典可查，书面语色彩。谚语由固定的语句，字数不固定，例如恨铁不成钢、新官上任三把火；歇后语由前后两部分构成，前面像谜面，后面像谜底。例如：泥菩萨过江──自身难保；惯用语多为三个字，构成动宾关系，例如开夜车、灌米汤。