古代人们认为，太湖石之所以奇形怪状，是因为长时间冲刷水中的波浪。
古人认识正确，但还不够深入。现代地质学家认为，太湖石是一种常见的碳酸盐岩，主要是石灰岩和白云灰岩。它在水中变成千疮百孔的原因是它不仅包括波浪冲刷的物理因素，还包括石头中碳酸钙与弱酸反应的化学因素。
简单地说，太湖石实际上是由地下水的岩溶作用形成的碳酸盐岩，是山石和流水共同创造的杰作，与我国西南地区桂林山水、云南石林等著名岩溶地貌(喀斯特地貌)有着相似的原因。
在没有潜水设备和大型机械的古代，人们很难开采太湖石。杜绾记载，采石工人通常带着锤子、凿子等工具潜入湖中寻找石头。找到高质量的石头后，工人会在上面挖一个洞，然后绑上绳子，把绳子的另一端绑在大船的木架上，然后把石头绞出水面。如果发现有些石头形状不完美，工匠会打磨一下，然后沉入湖底，等水浪冲刷一段时间再取。正是因为太湖石开采难，质量好，价值高。
事实上，太湖石不仅产于太湖，在我国许多地方都有，如北京西南的房山、山东沂蒙山区北部的临朐县等地也发现了类似的石头，它们都是被岩溶侵蚀的石灰岩，外观也非常相似，被称为北太湖石。