宋江对百姓具有深深的同情心，他通过聚集在自己周围的几十条重义气、甘为百姓谋利益的好汉支持，以郓州（今山东省东平）的梁山为根据地，向朝廷宣战。
梁山南面有几百里的水泊，因此称为梁山泊。梁山泊既产鱼虾，又长芦苇，当地百姓本来靠水泊吃饭，日子过得也还和顺，但朝廷不肯放过他们，不让他们过一天舒心日子。特别是北宋末年，赋税日益沉重，百姓们再也无力承受，干脆放下渔船农具，拿起刀枪，到梁山泊入伙，反抗朝廷。
宋江与其他几条好汉一商议，觉得光凭他们几千个人的力量，难以对抗宋廷。宋朝一旦派兵前来，恐怕难以对付。于是，他们打出了“劫富济贫”的旗号，招集人马。老百姓非常拥护他们，纷纷响应，前来投奔，梁山队伍迅速扩大。宋江又以八百里水泊为屏障，积极布置设防，宋廷即使来攻，也会无功而返。
宋江又领导梁山义军发展生产，自给自足，使梁山根据地得到巩固。同时，他还采纳了其他将领的建议，积蓄一定的力量之后，便迅速出击，接连打了几次胜仗，均是以少胜多，梁山泊名声大振，吸引了更多的穷苦百姓前来投奔，力量又得到了进一步的壮大。
当时，安徽一带已出现了方腊领导的农民义军，如今又出了一个梁山泊的宋江，宋徽宗非常害怕，惟恐他的江山坐不稳，急忙派兵剿杀。但他所派出的将官无能，很快就败在宋江手下。宋江乘胜追击，继续同官兵作战，很快攻下青州城。消息传到宋徽宗耳中，他更是六神无主，急召众臣上殿商议对付宋江之策。