Mereka yang dipanggil menghadap antara lain Mensesneg Soedharmono, Sekkab Moerdiono, Asintel Hankam Letjen Benny Moerdani, Mendagri Amir Machmud dan Jusuf. Dalam pertemuan itu Amir Machmud membuka suara tentang adanya suara-suara mengenai kopopuleran Jusuf.
Diungkit pula tentang isu ambisi politiknya. Dengan demikian, hal itu perlu ditanyakan langsung kepada yang bersangkutan. Tiba-tiba Jenderal Jusuf menggebrak meja dengan tangannya. “Bohong! Itu tidak benar semua!,” kata dia dengan suara keras.
“Saya ini diminta untuk jadi Menhankam/Pangab karena perintah Bapak Presiden. Saya ini orang Bugis. Jadi saya sendiri tidak tahu arti kemanunggalan yang Bahasa Jawa itu. Tapi saya laksanakan perintah itu sebaik-baiknya tanpa tujuan apa-apa!”.
Dalam rapat tersebut, Jusuf pun membela diri dengan mengatakan bahwa dia hanya mencoba menjalan perintah sebaik-baiknya.
Murka Jenderal Jusuf membuat semua orang yang hadir di ruangan kaget. Mereka terdiam. Belum pernah ada orang yang berani menggebrak meja di hadapan Presiden Soeharto. Pak Harto yang lantas memecah kekakuan itu. Dengan nada dalam, The Smilling General itu menyudahi rapat. “Sudah, sudah! Karena suasana tidak memungkinkan lagi, rapat kita akhiri sampai sekian saja,” ujarnya.
Menurut Atmadji, peristiwa gebrak meja di hadapan presiden itu menjadi titik terendah hubungan mereka berdua. Jenderal Jusuf tidak pernah mau menghadiri rapat kabinet di Gedung Binagraha setelah itu. Pada Januari 1983 Soeharto memberitahu Jusuf bahwa akhir jabatan Pangab akan berakhir pada April.
Dia sekaligus memberitahu telah menyiapkan pengganti. Sosok tersebut tak lain Benny Moerdani. Jusuf tak terkejut dengan pemberitahuan itu. Dia juga menolak saat ditawari tetap di kabinet sebagai Menhankam.
Sejak itu, tulis Atmadji, Menhankam/Pangab Jenderal M. Jusuf tak pernah mau menghadiri rapat kabinet di Bina Graha. Dia selalu mengutus Wakil Pangab dan Panglima Kopkamtib, Laksamana Sudomo. Terhadap Jusuf, Soeharto terkesan menaruh hormat tersendiri. Dia juga seolah tak berkutik ketika sejumlah jenderal pilihannya dicopot oleh Jusuf.
Meski hubungan dengan Soeharto menjadi dingin, M Jusuf tetap mengisi jabatan strategis di pemerintahan. Pada tahun 1983, Soeharto menggeser posisinya menjadi Kepala Badan Pemeriksan Keuangan hingga tahun 1993.
Sebagai Ketua Ketua Badan Pemeriksa Keuangan (BPK) selepas menjadi Menhankam/Pangab, Jusuf pun masih mendapatkan perhatian tersendiri dari Soeharto. Ketika pada suatu malam dia ingin menghadap Soeharto, oleh ajudan Kolonel Wiranto dijadwalkan di waktu lain karena malam itu Presiden sudah ada agenda dengan Panglima ABRI dan para Kepala Staf.
"He Wiranto, kau sampaikan saja kepada Presidenmu bahwa Pak Jusuf mau menghadap malam mini...."