第二，由于胡雪岩平日里遭忌，如今战乱之中，顿时谣言四起，说他以为遭太平军同困的杭州购米为名骗走公款滞留上海；说他手中有大笔王有龄生前给他营运的私财，如今死无对证，已遭吞没。甚至有人谋划向朝廷告他骗走浙江购米公款，误军需国食，导致杭州失守。这些谣言意味着胡雪岩不仅会被朝廷治罪，而且即使杭州被朝廷收复之后，他也无法再回杭州。
第三，失去了王有龄这个官场靠山，他的生意也将面临极大的困难。他的钱庄本来就是由于借着代理王有龄这一官场靠山的官库发的迹，而他的蚕丝销“洋庄”，卖军火，都离不开官场大树的荫蔽。在胡雪岩那个时代做生意，特别是做大生意，官府永远是最大宗的客户。
不过，面对这一变故，胡雪岩并不惊慌失措。之所以如此，是他从表面对他不利的因素中，准确预见出了可利用的因素：
其一，如今陷在杭州城里的那些人，其实已经在帮太平军做事，他们之所以造谣生事，是因为太平军也在想方设法诱胡雪岩回杭州帮助善后。他们造谣虽为不利，但却并不是不可以利用。胡雪岩根据这一分析，确定了两条计策：首先，他不回杭州，避免与这些人正面交锋，他知道他的这一态度一旦明确，这些人就不会进一步纠缠；其次，胡雪岩不仅满足他们不让自己回杭州的愿望，而且他还决定自己出面，特别向闽浙总督衙门上报，说是这些陷在杭州城里的人实际上是留作内应，以便日后相机策应官军。这更是将不利转化为有利的极高妙的一招——表面上是给了这些人一个交情，暗地里却是把这些人推上一堆随时可以引爆的火药，因为如果这些人不肯就范，加害胡雪岩，他可以随时将这一纸公文交给此时占据杭州的太平军，说他们勾结官军，这些人无疑会受到太平军的责罚。