虽然中国自古都有重文轻商的传统，但中国人善于经商的传统却传承了数千年，在人类历史上，中国商业大多数时间都处在世界的第一的位置，对中华民族的进步、经济的繁荣、文化的建设起了很大作用，其中晋商应该说是龙头是老大，特别是进入明清以后，这种现象更为明显。山西商业资本开始的时间很早。先秦时代晋南一带就有了商业交易活动。晋文公称霸时，榆次、安邑就已成为有名的商业集镇。秦汉时代，太原、平陆、平遥、汾阳等地已成为重要商品集散市场。唐朝定太原为北京，使太原城成为商业繁华的有名城市，韩愈形容当时的太原是“朗朗闻街鼓，晨起似朝时”。尽管如此，这一时期的山西商人还没有一定组织和突出的地位。到了宋代，山西商人与徽州商人并称，成为当时中国商业的中坚力量。北宋王朝所需要的战马大多数依靠北方的辽来供应，辽也急需要宋的手工业制造品。据历史文献记载，宋朝庆历年间（公元1041—1048年），宋王朝出藏绢2000多匹在山西岢岚买马，又出绢30000多匹在山西各州府买马，非官方的民间贸易更是频繁。《马可-波罗游记》中写着：“从太原到平阳（临汾）这一带的商人遍及国各地，获得巨额利润”。
从明代到清代初年，山西商人势力得到进一步发展。明代国较大的商业城市有33个，山西就有太原、平阳、蒲州（永济）三处。这时，山西商人的资本积累已相当可观：“平阳、泽、潞富豪甲天下，非数十万不称富”。明代末期，山西商人已进入了东北地区，1618年努尔哈赤占领抚顺时，对在抚顺的山西等地的大商人写了“七大恨”，命令他们退回山海关内，可见当时山西商人已经和后金进行着贸易活动。清兵入关后，蒙古地区归入清王朝统治，归代城商业开始蒸蒸日上。康熙中年，山西商人进入外蒙古草原贸易。从此，东北的松辽平原和内外蒙古草原，就成为山西商人贩运贸易的新市场。当时，蒙汉贸易必须经过张家口和杀虎口（后改归化城），俗称东口和西口。张家口的八大家名商都是山西人，其中最大的企业是祁县人范家开设的“兴隆魁”，这个商业性的企业有职员1000人左右，是清代中国对外蒙和俄国贸易的第二大型企业。在对蒙贸易的西口—杀虎口，山西的行商经常在大青山和西营一带贸易，并得到清政府的特殊照顾，获得了很高的利润。这些行商会说蒙语的被称为“通事行”，其中最大的“通事行”就是山西人开办的“大盛魁”，从业人员达六、七千人，人们曾形容“大盛魁”的财产能用五十两重的银元宝从库伦到北京铺一条路。在宁夏，著名的大商号多是万荣、平遥、榆次、临猗一带的山西商人开办，宁夏的名药材枸杞半数掌握在山西人开的“庆泰亨”手中。在青海，山西商人以西宁为根据地活动于各州县。在北京，粮食米面行多是祁县人经营；油盐酒店多是襄陵人经营；纸张商店，多是临汾和襄陵人经营；布行多为翼城人经营，鲜鱼口以西有布巷，为翼城人；到了后世的21世纪初的北京，还留有招牌的大商号“都一处”、“六必居”、“乐仁堂”等都是浮山、临汾等山西商人首创和经营。此外，山西商人还到四川、云南、贵州、湖北、湖南、江西、安徽、广东等地贸易和经商。广州的濠畔街，多数房子是山西商人修建的。“广生远”、“广懋兴”、“广益义”等实际都是山西人在广州开设的企业。由海上出口茶叶，比如运往印尼的茶，都是由山西人在产地收购，运往广州，由潮帮商人从山西商人手中购进再转运南洋的。至于长江中下游一带，扬州的盐商、江西和福建和茶商以及由长江口出海与日本的贸易，也数山西人最为活跃。除了国内贸易外，山西商人还开拓了国外市场，我国从陆路对俄贸易最早最多的是山西人，在莫斯科、彼得堡等十多个俄国城市，都有过山西人开办的商号或分号。在朝鲜、日本，山西商人的贸易也很活跃，榆次常家从中国输出夏布，从朝鲜输入人参，被称作“人参财主”；介休范家，几乎垄断了对日本的生铜进口和百货输出。在清朝统治期间，能够兴旺发达二百余年的商业世家，最有名的是：榆次的常家、聂家、太谷的曹家，祁县的乔家、渠家，平遥的李家，介休的侯家、冀家，临汾的亢家，万荣的潘家，阳城的杨家等等。他们既是大商人、大高利贷者，又是大地主，都拥有极为雄厚的资本。
山西商人经营商品之多、投入资金之多、从业人员之多，在其它所有的商帮里面都是首屈一指的。晋商控制了几个重要的行业，比如金融业完由晋商来控制，还有一些颜料业也在晋商手里控制，他们在当时商人中的地位是非常高的。从南自香港、加尔各答，北到伊尔库茨克、西伯利亚、莫斯科、彼得堡，东起大坂、神户、长崎、仁川，西到塔尔巴哈台、伊犁、喀什噶尔，都留下了山西商人的足迹。有些商人甚至能用蒙古语、哈萨克语、维吾尔语、俄语同北方少数民族和俄国人对答如流。可以说，从蒙古草原上的骆驼商队，到吴淞口正在出海的商船，都有山西人在计价核算，从呼伦贝尔的醋味，到贵州茅台的酒香，都有山西人在酿造叫卖。无怪有人说：“凡是有鸡鸣狗叫的地方，都有山西人”