1929年，劉謙初被捕，關進了濟南監獄。獄中，他化名黃伯襄，說抓錯了人。沒多久，獄中進來兩個人，笑著說，你看看我們是誰！
劉謙初在山東省委工作，在此前，山東省委已經連續兩次遭到破壞。
省委機關設在大明湖附近的東西菜園子，這是一所民房，前后共有兩個院子，房東住在前院，后院有一個后門，直通一條小巷，兩屋還有一個臨街的窗戶，這后院就是我們省委機關所在地了。
劉謙化名叫黃伯襄，對外稱是齊魯大學的助教。妻子張文秋也化名陳孟君，裝作家庭婦女，這樣，就便于應付環境了。
在那白色恐怖嚴酷的統治下，沒有職業和家眷是租不到房子的。
盡管這樣，他們還是擔心敵人闖進來檢查，不得不時時警惕，一聽門響就連忙準備應付敵人。
在那西屋臨街的窗戶上，總是放著一盆花、一條肥皂或是一掛辣椒作為警號，一有情況，就馬上把東西拿掉，暗示來聯系的同志不要進來。
盡管如此小心，劉謙初還是出了意外，不小心被捕了。
劉謙初被捕后，受盡酷刑，身上沒有一處完整的地方。盡管如此，他依然非常堅強。
過了幾天，他又被叫去過堂，仍不承認是共產黨員。
一天，敵人把戴著腳鐐手銬的劉謙初，押到國民黨省黨部的會客廳里。
他弄不清這是怎么回事，正在納悶，忽然門打開了，走出了兩個人，他們一面走一面對謙初哈哈大笑說，謙初，你看看我們是誰！”
劉謙初一看，原來是大革命失敗后投降到國民黨去的兩個叛徒，汪精衛改組派殷鈞才和吳保甫。
劉謙初說，原來是你們啊！好吧，我就是劉謙初，你們看著辦吧！
那兩個叛徒說道，你害我們費了不少心血哩！好，我們來見見高低吧！
劉謙初說，我過去是共產黨員，現在已經失掉關系了，是來這里教書的。
那兩人聽了又笑道，不管你有沒有關系，只要你承認是共產黨員就行了！說罷厚著臉哈哈大笑走了。隨即他又被押回了警備司令部。
劉謙初的政治面目被叛徒證明了，敵人就再沒有傳他去過堂。
管監的人說，已經打了電報給蔣，等回電來就要把他就地槍決。得知此消息，同獄的人都非常難過。
1931年4月5日，劉謙初被押赴刑場，他一路高唱《國際歌》，高呼「中國共產黨萬歲」等口號，英勇就義。時年34歲。