Korzenie Armii Krajowej sięgają zawiązanej w nocy z 26 na 27 września 1939 r. przez grupę wyższych oficerów z gen. Michałem Karaszewiczem-Tokarzewskim, przy współudziale prezydenta Warszawy Stefana Starzyńskiego, konspiracyjnej organizacji Służba Zwycięstwu Polski. Stała się ona zalążkiem rozbudowanego potem Państwa Podziemnego.
Utworzona 27 września 1939 r. Służba Zwycięstwu Polski została przekształcona najpierw w 1940 r. w Związek Walki Zbrojnej. Decyzja o powstaniu AK była podyktowana koniecznością scalenia polskich konspiracyjnych oddziałów zbrojnych i podporządkowania ich rządowi RP w Londynie. W skład AK weszło ok. 200 organizacji wojskowych, zarówno spod okupacji niemieckiej, jak i sowieckiej.

Armia Krajowa była konspiracyjną organizacją wojskową stanowiącą integralną część Sił Zbrojnych RP. Podlegała Naczelnemu Wodzowi i Rządowi Rzeczypospolitej Polskiej na uchodźstwie. W zamierzeniach rządu miała być organizacją ogólnonarodową, ponadpartyjną, a jej Komendant Główny jedynym, upełnomocnionym przez rząd dowódcą krajowej siły zbrojnej.
Głównym zadaniem AK było prowadzenie walki o odzyskanie niepodległości przez organizowanie i prowadzenie samoobrony i przygotowanie armii podziemnej na okres powstania, które miało wybuchnąć na ziemiach polskich w okresie militarnego załamania Niemiec.
%foto UMDT  %foto UMDTKolejnymi dowódcami AK byli generałowie: Stefan Rowecki ps. „Grot” – do 30 czerwca 1943 r., Tadeusz Komorowski ps. „Bór” – do 2 października 1944 r., Leopold Okulicki ps. „Niedźwiadek” – do 19 stycznia 1945 r. Komendant Główny AK podlegał Naczelnemu Wodzowi Polskich Sił Zbrojnych.
Organem dowodzenia AK była Komenda Główna, w której skład wchodziły oddziały, piony organizacyjne i samodzielne służby – oddziały: I Organizacyjny, II Informacyjno-Wywiadowczy, III Operacyjno-Szkoleniowy, IV Kwatermistrzostwa, V Łączności Operacyjnej, VI Biura Informacji i Propagandy oraz VII Finansów i Kontroli, a także Kierownictwo Dywersji.
Terenowa struktura organizacyjna AK odpowiadała zasadniczo przedwojennemu podziałowi administracyjnemu kraju. Na terenie województw tworzono okręgi, w powiatach – obwody, w gminie lub kilku gminach – placówki. Tworzone były także obszary będące jednostkami strukturalnymi, obejmującymi kilka okręgów. Na początku 1944 roku Komendzie Głównej AK podlegały 4 obszary i 8 samodzielnych okręgów. W skład AK wchodziły także jednostki strukturalne, działające poza granicami kraju: Samodzielny Wydział do Spraw Kraju Sztabu Naczelnego Wodza tzw. Oddział VI oraz Oddziały AK na Węgrzech („Liszt”) i w Niemczech (Komenda Okręgu Berlin „Blok”).
AK od początku była organizacją masową, zwiększającą szeregi przez werbunek ochotników i kontynuowanie akcji scaleniowej, rozpoczętej przez Związek Walki Zbrojnej. W latach 1940-1944 do AK przystąpiły m.in.: Tajna Armia Polska, Polska Organizacja Zbrojna „Znak”, Gwardia Ludowa PPS-WRN, Tajna Organizacja Wojskowa, Konfederacja Zbrojna, Socjalistyczna Organizacja Bojowa, Polski Związek Wolności oraz częściowo Narodowa Organizacja Wojskowa, Bataliony Chłopskie i Narodowe Siły Zbrojne.
Liczba zaprzysiężonych żołnierzy AK wynosiła na początku 1942 roku ok. 100 tys., zaś w lecie 1944 roku już ok. 380 tys., w tym: ok. 10,8 tys. oficerów, 7,5 tys. podchorążych i 87,9 tys. podoficerów. Kadra AK rekrutowała się z oficerów i podoficerów armii przedwrześniowej oraz z absolwentów tajnych Zastępczych Kursów Szkoły Podchorążych Rezerwy i Zastępczych Kursów Podoficerów Piechoty, a także przerzucanych do kraju oficerów, tzw. cichociemnych. Od 1943 roku w jednostkach podporządkowanych Komendzie Głównej AK tworzono kompanie i bataliony, od 1944 roku – pułki, brygady, dywizje, zgrupowania pułkowe i dywizyjne.