公众日益感到惊慌。约翰逊跟国民拉开了距离。许多人甚至相信是他策划了林肯遇刺一案。林肯的遗孀玛丽·托德·林肯给一个朋友的信中就愤怒地写道：那个可悲的酒鬼约翰逊事先就得知我丈夫要死--要不然他信箱里怎么会有布思那个字条，他们一定早就认识--我有一个痛苦的想法，挥之不去，总觉得他了解那些阴谋分子，那些人也知道他们后台是谁……我确信约翰逊在这一切背后插了一手。

约翰逊总统错误估计了民众情绪，决定直接呼吁人民支持他。他拖着西沃德和韦尔斯做伴周游一系列城市，到处发表政治演说，痛斥那些反对他的人，颂扬他自己的政策。格兰特将军也被迫随行，但一路上总躲在火车厢里喝闷酒。人群见到这位内战英雄就欢呼，但对约翰逊不感兴趣，喝倒彩。约翰逊这趟宣传活动算是自讨没趣。

国会中期选举后，反对约翰逊的议员更多了。他持续不断地否决国会的议案，否决咨文又臭又长（这种否决居然有29次之多），可是他阻挡不了国会的举动。正如《纽约世界报》所说，“总统可以在理由上驳倒国会，可是国会能有足够多的票数推翻他的否决。”他们往往在总统否决的当天就予以推翻，有时甚至不出半个钟头。

国会对总统的厌恶日甚一日。议员们开始议论是否要弹劾总统。按照宪法，总统若有叛国行为、受贿或其他罪行或不端行为，国会可以通过弹劾这最后一招把总统搞掉。这种极端的步骤以前还从未采取过。然而这是十分严肃的事情。1867年1月，一些热衷于搞垮约翰逊总统的议员成立了一个委员会，以马萨诸塞州选出的众议员本·巴特勒为首，负责调查总统的行动。他们细查约翰逊的饮酒情况和银行存折，重新审查了约翰逊与刺杀林肯的凶手布思有无关系以及约翰逊与原南方邦联总统戴维斯有何联系。

特工部门首脑拉斐特·贝克透露，在布思尸体上发现的日记中，有18面被撕掉了。巴特勒严厉追问：“是谁撕毁了这日记本？是谁扣下了这一证据？是谁因为口袋里有这本日记，里面至少载有本案主要阴谋分子的想法和目的，因而迫使一名无辜妇女上吊而死？”约翰逊对日记本缺掉这么多页也很关心，对此进行调查。斯坦顿报告说，失去的那些页从来未曾到过政府手里。

然而，形势还是令人害怕的。假如国会要总统停职到弹劾审理结束，怎么办？有些支持约翰逊的人建议调兵来进行武装抵抗。尽管总统并不打算采取这样的行动，但不少人仍纷纷传言他可能这样做，谣言传布甚广。

斯坦顿的国会朋友们不愿把宝仅仅押在弹劾一举之上，又担心约翰逊把斯坦顿撤职，就让国会通过了《任职法案》，其中规定，未经众议院同意，总统不得将任何内阁成员免职。但该法案对内阁成员的保护仅限于“任命他们担任现职的总统的任期之内，或其后一个月”。斯坦顿本是林肯任命的陆军部长，约翰逊是留用了他，所以许多人认为他不受此法案保护（当然也有不同的看法）。

约翰逊又得针锋相对进行一次否决。在内阁讨论此法案时，连斯坦顿也表示反对，正如后来别人指出的，他认为这会对行政部门的权力造成威胁。总统说他因风湿病胳膊难以写字，就请这位陆军部长代他起草否决咨文，但斯坦顿把这差事推给了国务卿西沃德。

当然，斯坦顿没有理由弄脏他的手，因为他知道国会会很快推翻这一否决。事实果然如此。事情的运转如此之快令人惊讶，所以一位观察家听到别人告诉他：“我们再也不会注意他约翰逊说些什么。”