1954年2月底，在第一屆國民大會第二次會議期間，吳國楨上書國民大會，指陳政府六大缺失。其要點為：
（二）軍隊之內，有黨組織及政治部。國家軍隊必須國家化，俾其不致只忠於一黨或忠於一人。造成封建及內亂的勢力。但現時軍隊，不但有國民黨黨部的秘密組織，還有仿效共產黨政治指導員制度建立的政治部。軍中及別的升降，不以成績才能為依歸，而以個人與政治部的關係為主。吳指出，他與軍中有識之士私下談話發現，從將官到士兵，對政治部的觀感，「惡劣至無可復加」，甚至有言，「一朝作戰，必先殺政治部人員。」
（三） 特務橫行，唯我獨尊，藉其憑依，不知法律為何物，人民皆敢怒而不敢言。吳坦言，在他主持臺政三年多的期間，「幾無日不在與特務奮鬥之中。」他們「干涉選舉、擅捕人民、威脅敲詐、苦刑拷打，所在皆是。」
（四） 人權無保障。由於特務橫行，臺灣實已成為警察國家，人民權利幾已剝削淨盡。在他任內，曾訓誡捕人須先有犯罪證據，搜查必須經過法律手續。但他承認，因「職權所限」，無辜被捕被搜者，實不知有幾何人數。「每念及此，輒為痛心。」
（六） 思想控制。青年反共救國團之成立，實係模仿希特勒及共產黨之青年團。但此機構卻無明確的歸屬，吳也不明白究竟是國民黨還是政府主持。由於身份不明，他任內曾拒絕由省府撥給經費。此後的經費來源應該查究。顯然，對吳國楨來說，這是一個未經政府立法程序而私生的「怪胎」，卻能迫使學校「更換教員，壓迫學生」。
針對這些缺失，吳國楨要求政府：
（一） 組織委員會徹底查明國民黨經費來源，公佈真相，並頒訂原則，交由立法院議定「政黨法」，保障各方反共人士均能在臺公開成立政黨，批評政府。
（二） 撤銷軍中之黨組織及政治部。軍隊人員反共意識之訓練，應由有國家思想者主持，不得由任何一人或任何一黨包辦。
（三） 頒訂原則，交由立法院擬定「國家安全制度」之法律，明白規定特務機關之權力，及其違背者之罰則。
（四） 組織委員會，公開接受無辜被捕及非法受擾者親友之控訴，並派員往各種公開或秘密監獄及拘留所內實地勘查。
（六） 議決撤銷青年團（救國團），並不得再有變相之組織。這封長信把他壓抑已久的不滿完全傾吐出來了。吳國楨還同時上書蔣介石，請他「以百姓之心為心」，將此信交由國民大會公開討論，在臺灣報紙發表，並將他的建議付諸實施。
結果，一頂紅帽子很快就飛到他頭上。立法院長張道藩召開記者會表示：「共產黨就是用獨裁貪汙等籠統名詞，或是民主自由等空洞的原則，製造人民對政府的懷疑和責難，來破壞中華民國的聲譽和國家的地位。現在，吳國楨用同樣的手段來傷害他過去曾經宣示效忠的政府，……」（歐世華，1999：116）國民大會主席團決議，對吳的信拒不受理，但將該信印發給所有的代表，並在臺灣報紙上刊登。接著就是臺灣的黨報群起而攻，指吳函是「近十年來國際共產黨徒對我政府毒謀攻擊之大成。」
立法院長張道藩又奉黨內指示，攻擊吳在省主席任內違法瀆職、濫發鈔票，操縱外匯，包庇貪汙等。國民大會代表也跟著起哄，還通過臨時動議，要求政府徹查吳在省主席任內的不法行為，並飭令他「回國聽候查辦」。由於吳的公開信涉及了一黨專政、軍中政治部、特務系統等敏感問題，尤其是談到軍中有識之士所謂「一朝作戰，必先殺政治部人員」的說法，逼得躲在幕後的蔣經國也不得不採取「反制措施」。
我的罪，就是向政府進諫
在黨部和軍隊政治部的運作下，發動了各界一場大規模的聲討行動。在教育界，幾家公立大學的教授，包括臺大一些著名教授，也都隨著「救國團」的指揮棒，公開簽名譴責。軍職人員的信函也大批湧到報社。除了極少數知識人，如師範學院的梁實秋，甘冒失去教職的危險，也不願簽名外，大多數人都與政府「同表義憤」，申討到美國去告洋狀的「逆賊」。對號稱繼承了北大自由學風的臺大，這不能不說是知識份子人格尊嚴的一次大沉淪。此例一開，後來幾次的所謂聲討「費正清（賣國集團）」、聲討殷海光等簽名運動中，臺大教授都乖乖做了順從的羔羊，被黨工特務玩弄於鼓掌之上。
對於這種群起而攻的批鬥，吳國楨的反應是，「我唯一的罪，就是以愛國之士的身份向政府進諫。」（《China Post》1954.3.13；歐世華，1999：119）
蔣介石終於下達總統令（1954.3.17），指責吳國楨「出國甫及數月即背叛國家污衊政府，妄圖分化國軍，離間人民與政府及僑胞與祖國之關係，居心叵測，罪跡顯著，」撤免了吳的行政院政務委員職位，並要求徹查究辦他在省主席任內的「違法與瀆職情事」。但對吳所指出的「政府缺失」和他的解決「建議」卻避而不提。
同一天，國民黨中常會根據紀律委員會的決議，撤除了吳國楨的黨籍和中常委資格。吳被撤除了公職黨職，對他來說，似乎是求仁得仁，因為他已五次上書請辭而未被接受。
對於他在省主席任內「貪汙瀆職」的指控，吳國楨指出，他辭職至今將近一年，並沒有人控訴他貪汙瀆職，期間蔣還托宋美齡寫信請他回去就任總統府秘書長，而張其昀也以國民黨秘書長的名義來信請他迅速回去就任新職。但就在他上書國民大會後，忽然就憑空指控他各項罪名。不過，他仍歡迎政府派人來美調查他的經濟情況，並可將證據檢送美國法院，要求引渡。他也願意放棄政治庇護權到美國法院對質。但他提出警告，近代文明國家，凡提出罪狀，必須先舉出證據，而政府這次對他的做法卻是先提罪名，再羅織證據。他希望政府到國外打官司要有真憑實據，否則偽造證據若被人查出，會有損國家體面。他最後奉勸蔣介石以元首的地位，「下詔罪己，蟠然改圖。」（吳國楨，1995：556-559）
這封向蔣公開挑戰的信，刊登在美國華文報紙上，但臺灣報紙卻奉命不准刊登。吳國楨得知此事，是根據《合眾社》發自臺灣的電訊報導（1954.3.26）。另一則《美聯社》的電訊（1954.3.25）則說，蔣介石在國民大會閉幕辭中表示，「政府將歡迎有助於中國之批評言論，惟中國人利用在外國居留之安全來批評政府，實與共黨無異。」《美聯社》對蔣介石拋出這頂紅帽的解讀認為，這是針對吳國楨而發。確實，剛當上第二任總統的蔣介石，在國大會場上意興風發地斥責「奸匪的同路人」：他們要藉鉗制思想、束縛言論和秘密警察、特務橫行的不民主口號，來脅制政府，出賣民族。尤其是在國外，藉外國政治的保護和外國勢力的憑藉，來橫行不道，為所欲為，希圖達到其傷害國家反共復國的目的，這完全是共匪式的手段和行動。（歐世華，1999：125-126）
蔣介石在許多人的心目中，他是中國的正統，但是許多人也認為他是威權的象徵。（BBC中文網）
對吳國楨來說，蔣雖未指名，但紅帽一拋，已是蔣同他全面決裂的誓言。單槍匹馬，以一人敵一國，作為「奸匪同路人」的吳國楨難道不感到寒心嗎？更何況他「上有老，下有小」，小兒子還在臺灣當「人質」呢！然而，吳國楨似乎愈戰愈勇，絲毫沒有息事寧人的退卻念頭。他心裡是如何盤算的呢？
吳又一次上書蔣介石（1954.3.28），提到他自己過去曾規勸蔣介石應鼓勵成立反對黨的事，以及他為力爭法治而遞上辭呈時，勸蔣介石不要讓經國主持特務。蔣非但不接受，反而變本加厲，任由經國控制特務軍隊，操縱黨部。所造成的結果，他在信中直言無諱地指出，連他在最後一次辭職期間，也「幾遭暗算，險被殺身」。
吳在信中還提到他獲得臺灣來人相告，王世杰之所以被免職的真正原因是談話不慎，為特務錄音報告。這樣的情況，是不是吳的無中生有，其實不難推知。蔣的侍從翻譯沈錡，就曾在回憶錄中提起，當時在辦公室內談話是必須謹慎小心的：「1953 年 7 月 6 日，舉行（總理）紀念週時，蔣公又對不來參加的部會首長，責備了幾句，葉外長在場，很氣，事後對我說：兩小時可以辦許多事情，卻一定要我來浪費。然後又用英文說：『他可以槍斃我！他可以下令槍斃我，XXX（三字經）！』葉先生的脾氣就是這樣火爆，要是有人打小報告，他就完了。」（沈錡，2000，I：135）生動地描述了受到監控的辦公室氣氛。
吳國楨還提到大陸時期大膽批評政府的南京《救國日報》著名報人龔德柏，來台後窮困潦倒，並沒有任何批評政府的言論，但仍被特務秘密拘捕，也未送法院審判，而吳在省主席任內，對此竟毫不知情。
所以吳國楨在信中總結，直言進諫者（如他自己）會「險遭殺害」，談話不慎者（如王世杰）會被免職，有批評政府「前科」者（如龔德柏），也會被秘密逮捕，算舊賬。按照蔣氏邏輯，在國外的人若批評他，就是與共黨無異，在國內的人若批評他就是犯上，應受處分。吳國楨不能不指出，這是蔣介石「自私心較愛國心為重，且又故步自封，不予任何人以批評建議之機會。」（吳國楨，1995：561-562）
吳國楨：你們的錢已在福爾摩沙建立了一個警察國家。(允晨出版)
