當時維也納最可靠的訊息認為，如果許士尼格能夠貫徹他原先的意圖293 在1938 年5 月13 日舉行一次公民投票，他至少可望得到人口中百分之六十五的支援。對此的最好證據也許是希特勒要用壓倒一切的兵力來實行吞併。要不是許士尼格在最後一分鐘宣告“德國人的血不可流”，繼而命令部隊不得抵抗，奧地利軍隊雖然眾寡懸殊、孤立無援，但也可能會對德國入侵作出某種程度的負隅反抗。實際情況是，最初的反納粹運動似乎來自羅馬大主教徒，從1934 年起，任何有組織的社會黨尚不存在，他們是唯一能夠起而反抗的人。到1938 年10 月，紅衣主教因尼茨爾悔恨自己一開始就投降，於是引火燒身，敢於冒犯佔領國，在10 月10 日寫給教區教友一封公開信，闡述信奉天主教的父母有責任按其信仰撫育子女。上奧地利和下奧地利的羅馬天主教徒也許為紅衣主教的這種強硬態度所激勵，很快就成立了一些各不相屬的反抗組織。與此同時，在軍隊裡，在君主主義者中，在共產黨小組中也成立了其他反抗組織。共產黨小組事實上從1934 年起一直是在活動的。戰爭爆發後不久，奧地利部隊就發生兵變，但都未成功。
初期的領導人剛被逮捕，別人就立即挺身而出，來接替他們。
然而，蓋世太保的殘忍使人們小心翼翼。反抗運動在長時期內只限於這一類的鬥爭，如在工業生產上採取“消極怠工”，用竊竊私語進行宣傳，由醫生提供虛假診斷書等。到1942 年第一批訊息開始傳到國外，說前線的奧地利士兵紛紛逃跑，奧地利的工廠多次舉行罷工，示威遊行，以及包括炸燬多瑙河上科爾諾伊堡港的種種破壞活動等等。1943 年3 月，奧地利青年聯盟主席彼得·馮·阿爾貝特在倫敦宣稱，許多機密報告證實了奧地利“全民的反德態度”，他還談到“納粹衝鋒隊與奧地利工人經常在街頭毆鬥”。
1943 年下半年，盟軍在義大利和斯大林格勒獲勝的訊息鼓勵了各種形式的反抗，最後當莫斯科宣言中關於奧地利部分的內容公之於眾的時候，它無疑地激起了奧地利人對他們國家戰後將會受到公平待遇的新希望。從那時起，一直到戰爭結束，有關奧地利國內與日俱增的反抗納粹的訊息開始紛至沓來。大部分由逃亡士兵組成的一支奧地利游擊隊，在包括共產黨人、社會黨人和天主教294 徒在內的反抗組織的鬆散聯盟即奧地利自由陣線領導之下，以福拉爾貝格的兒個地區為中心開展活動。這些游擊隊的某些部分，被蓋世太保和黨衛隊趕出基地之後，經由卡林西亞和施蒂里亞到達斯洛維尼亞，參加了鐵托的部隊，於1944 年11 月在斯洛維尼亞組成一個奧地利營，由南斯拉夫指揮，士兵和軍官都是奧地利人。其他反抗組織在布林根蘭、施蒂里亞和蒂羅爾的不同地區也開展戰鬥，其人員的來源相同而政治目標則各異。作為1944 年7 月20 日秘密計劃的一部分，德國的反抗運動和奧地利的掩護行動建立了聯絡。在奧地利兩個軍區的東部，逮捕二十名納粹黨要人的計劃執行得很成功。據說，如果不是德國秘密計劃遭到失敗，奧地利的計劃就會完全徹底地執行。實際上蓋世太保隨即採取行動，逮捕了一萬多名奧地利人，維也納的納粹法庭每月判處死刑的人數多至四百名，然而這種鎮壓的兇焰並沒有遏止住奧地利的反抗活動。1944 年12 月，在戰爭接近結束的時候，一個新的委員會成立了，即奧地利臨時國家委員會（P。OeN。 ）。它負責指導許多地區特別是維也納區的反抗運動。各種地方組織加入了這個委員會。特別在蒂羅爾，由後來的外交部長卡爾·格魯貝爾領導的地方委員會，在美軍到達以前奪取了因斯布魯克的政權，其後成為當地的州政府。奧地利臨時國家委員會（P。Oe。N。 ）的軍用紋章O5 （以5 代e ，因為e 在字母表中是第五個字母），成為整個奧地利皮抗的象徵。奧地利臨時國家委員會的領導機構是七人委員會，包括社會黨人兩名，天主教徒蔭名，共產黨人一名，自由黨黨員一名，無黨派一名。以後倫納政府的核心就是由這個委員會中的某些人組成的。
1945 年初期，奧地利臨時國家委員會首次與外界取得聯絡。這種聯絡是透過瑞士的奧地利組織“瑞士聯絡處”建立的。2 月份，委員會派了一個代表去巴黎，設法與盟軍取得了聯絡，把委員會的活動情況告訴盟軍，並要求支援。3 月份，一個年輕的反抗工作者弗裡茨·莫爾登訪問駐卡塞塔的盟軍司令部，要求盟軍不要轟炸奧地利的非牟事目標。莫爾登獲得了一個特殊身分，擔任了駐義大利美軍的聯絡