Užėmę Vilnių vokiečiai atkreipė dėmesį į nebaigtą statyti skysto kuro bazę, skirtą Raudonosios armijos įguloms, visai šalia Panerių geležinkelio stoties. Tuo metu buvo iškastos 7 duobės (3 duobės – 34 m skersmens, apie 9 m gylio ir 4 duobės – 12 m skersmens, apie 3 m gylio). Naciai nutarė jas panaudoti masinio žmonių naikinimo akcijoms.
Masiniai žydų areštai ir šaudymai prasidėjo 1941 m. liepos viduryje. Suimtieji buvo varomi į Lukiškių kalėjimą, o po kelių dienų gabenami į Panerius ir ten sušaudomi vokiečių saugumo policijos ir SD Ypatingojo būrio (Sonderkommando) narių.
Daugumą narių sudarė lietuviai, tačiau buvo ir keli rusai bei lenkai. Ypatingasis būrys buvo pavaldus tik vokiečių saugumo policijai ir vykdė pastarosios pareigūnų nurodymus. Ilgiausiai Ypatingąjį būrį šefavo SS-Hauptscharfiureris Martinas Weissas. Jis ne tik komanduodavo per šaudymus Paneriuose, bet ir pats dažnai pistoleto šūviais pribaigdavo sužeistas aukas.
Daugiausia žmonių Ypatingasis būrys sušaudė 1941 metais. Vien per liepos mėnesį buvo sušaudyta apie 5000 žmonių, rugpjūtį – apie 2000 žmonių. Iki 1941 m. pabaigos Paneriuose, pagal SS Standartenführerio Karlo Jägerio raportą buvo sušaudyta mažiausiai 21 000 žydų. Nuo 1942 m. žydai iš Vilniaus geto Paneriuose buvo naikinami nedidelėmis grupėmis. 1943 m. balandžio mėn., likviduojant mažuosius getus Vilniaus apskrityje, Paneriuose buvo sušaudyta apie 7500 žydų, rugsėjo 23 d. likvidavus Vilniaus getą – sušaudyta keli šimtai senelių ir ligonių. Nuo 1943 m. rugsėjo pabaigos iki lapkričio pradžios Paneriuose galėjo būti sušaudyta apie 1000 buvusių Vilniaus geto kalinių, bandančių pabėgti iš Vilniaus geto teritorijos.
Po geto likvidavimo Vilniuje pasiliko apie 3000 žydų “Kailio” ir “HKP” darbo stovyklose. 1944 m. kovo 27 d. “Kailio”, “HKP” stovyklose vyko vaikų akcija. Tik nedaugeliui pavyko išsigelbėti. 1944 m. liepos 2-3 d. minėtas stovyklas apsupo SS kariai, kurie susodino žydus į sunkvežimius ir nuvežę į Panerius sušaudė. Tomis dienomis buvo sušaudyta apie 2000-2300 žydų.
Prieš traukiantis iš Lietuvos, naciai ėmė skubiai likviduoti savo nusikaltimų pėdsakus. Speciali kalinių brigada, sudaryta iš Vilniaus geto kalinių ir karo belaisvių, turėjo ekshumuoti lavonus ir juos deginti. Dvylika degintojų (iš 80) 1944 m. balandžio 15 d., per 2,5 mėn. išsikasę apie 30 m ilgio požeminį tunelį, pabėgo. Vienuolikai pavyko pasiekti sovietinius partizanus.
1944 m. rugpjūčio mėn. Paneriuose dirbusi Ypatingoji valstybinė komisija nustatė, kad Paneriuose buvo nužudyta daugiau kaip 100 000 žmonių. Nuo tada imta oficialiai laikytis šios nuomonės. Manoma, kad žydų aukų skaičius galėjo siekti apie 70 000. Kitos aukos – Lietuvos vietinės rinkinės kariai, romų tautybės žmonės, lenkų pasipriešinimo judėjimo dalyviai, komunistai, sovietiniai karo belaisviai.