新中國(guó)成立之后，盡管中國(guó)派出代表團(tuán)首次參加了1952年赫爾辛基奧運(yùn)會(huì)，但是在奧運(yùn)會(huì)上還是出現(xiàn)了“一中一臺(tái)”兩個(gè)中國(guó)的問題，為此，中國(guó)奧委會(huì)向國(guó)際奧委會(huì)發(fā)出抗議，要求解決這一問題。
1955年6月，當(dāng)時(shí)的中國(guó)奧委會(huì)副主席和秘書長(zhǎng)榮高棠在國(guó)際奧運(yùn)會(huì)執(zhí)委會(huì)與各國(guó)奧委會(huì)聯(lián)席會(huì)議上，正式向國(guó)際奧委會(huì)提出，允許臺(tái)灣在國(guó)際奧委會(huì)中擁有合法地位是在搞“兩個(gè)中國(guó)”，這是違法的，但是布倫戴奇卻以“這是政治問題”為由，沒有對(duì)中國(guó)的抗議進(jìn)行任何表態(tài)。
    與此同時(shí)，中國(guó)奧委會(huì)開始了第16屆奧運(yùn)會(huì)的備戰(zhàn)工作，并向臺(tái)灣發(fā)函，表示愿意提供一切幫助，希望臺(tái)灣選派優(yōu)秀的運(yùn)動(dòng)員來北京集訓(xùn)，以組建統(tǒng)一的代表團(tuán)參加比賽。
    而國(guó)際奧委會(huì)依然在文件中不斷使用“中國(guó)北京”的字樣，更有甚者，布倫戴奇在給中國(guó)國(guó)際奧委會(huì)委員董守義的信中，竟然說臺(tái)灣“不是中國(guó)的領(lǐng)土”。在國(guó)際奧委會(huì)的支持下，包括國(guó)際足聯(lián)、國(guó)際田聯(lián)、國(guó)際舉聯(lián)、國(guó)際泳聯(lián)、國(guó)際籃聯(lián)、國(guó)際射聯(lián)、國(guó)際自聯(lián)和國(guó)際摔聯(lián)在內(nèi)的國(guó)際單項(xiàng)體育聯(lián)合會(huì)也承認(rèn)了臺(tái)灣所謂的合法地位。
    為了維護(hù)中國(guó)領(lǐng)土的統(tǒng)一和完整，中國(guó)奧委會(huì)于1958年8月19日宣布斷絕與國(guó)際奧委會(huì)的關(guān)系，并從1958年6月至8月間，先后退出了15個(gè)國(guó)際單項(xiàng)體育組織。當(dāng)時(shí)的中國(guó)國(guó)際奧委會(huì)委員董守義毅然辭去了國(guó)際奧委會(huì)委員的職務(wù)。
    在以后的20余年里，中國(guó)都無法參加許多國(guó)際體育比賽。為了打破這層堅(jiān)冰，中國(guó)團(tuán)結(jié)第三世界的體育力量，開始了漫長(zhǎng)的破冰之路。第一個(gè)突破是在1962年夏天。印度尼西亞舉辦第四屆亞運(yùn)會(huì)，拒絕了臺(tái)灣以中華奧委會(huì)的名義參加。為此，一些國(guó)際單項(xiàng)體育聯(lián)合會(huì)取消了印度尼西亞的會(huì)員資格，禁止其參加奧運(yùn)會(huì)。面對(duì)這樣的現(xiàn)實(shí)，印度尼西亞總統(tǒng)蘇加諾提議，舉辦新興力量運(yùn)動(dòng)（GANEFO）。第一屆新興力量運(yùn)動(dòng)會(huì)于1962年9月在雅加達(dá)舉行，來自亞洲、非洲、拉丁美洲和歐洲的48個(gè)國(guó)家和地區(qū)的2404名運(yùn)動(dòng)員參加比賽，中國(guó)派出了一支新中國(guó)歷史上最大的體育代表團(tuán)參加比賽。在本次運(yùn)動(dòng)會(huì)上，創(chuàng)造了幾項(xiàng)世界紀(jì)錄。之后，在1966年11月，首屆亞洲新興力量運(yùn)動(dòng)會(huì)舉行，此外，中國(guó)也承辦了幾個(gè)單項(xiàng)的新興力量運(yùn)動(dòng)會(huì)。
    第二個(gè)突破口是被廣為流傳“乒乓外交”。由于文革，中國(guó)沒有參加第29屆和第30屆世界乒乓球錦標(biāo)賽，中國(guó)在亞洲乒乓球聯(lián)合會(huì)的位置被臺(tái)灣占有。1972年在中國(guó)、日本和朝鮮乒乓球協(xié)會(huì)的支持下，一個(gè)名叫“亞洲乒乓球聯(lián)盟”的機(jī)構(gòu)成立，在其中中華中華人民共和國(guó)擁有合法的席位。這是在“兩個(gè)中國(guó)”的斗爭(zhēng)中，中國(guó)贏得的又一大勝利。
    此時(shí)，新中國(guó)與美國(guó)的關(guān)系也在逐步地改善。1970年10月25日，美國(guó)總統(tǒng)尼克松通過巴基斯坦總統(tǒng)齊亞.哈克向中國(guó)領(lǐng)導(dǎo)人表達(dá)愿意與中國(guó)方面私下接觸的愿望，并在不久后的一次外交宴會(huì)上，第一次稱中國(guó)為“中華人民共和國(guó)”。到了1971年，中國(guó)已經(jīng)在考慮如何與美國(guó)改善關(guān)系。那么，以什么作為最好的媒介呢？
    正好第31屆世界乒乓球錦標(biāo)賽將于1971年3月28日—4月7日 在名古屋舉行，于是中國(guó)有關(guān)領(lǐng)導(dǎo)人想到以此為契機(jī)。3月11日，由周恩來總理親自主持，有外交部和國(guó)家體育運(yùn)動(dòng)委員會(huì)代表出席的特別會(huì)議舉行，會(huì)議上指出，盡管中國(guó)與日本還沒有建交，但是我們可以派出代表團(tuán)參加比賽。在名古屋,美國(guó)乒乓球運(yùn)動(dòng)員與中國(guó)運(yùn)動(dòng)員互相交換紀(jì)念品，而雙方官員之間更是進(jìn)行了充分的溝通。美國(guó)運(yùn)動(dòng)員表示，非常希望能夠訪問中國(guó)。這一些情況都直接反饋給了毛澤東主席。當(dāng)本屆世界錦標(biāo)賽結(jié)束時(shí)，毛澤東主席決定立即邀請(qǐng)美國(guó)乒乓球隊(duì)來北京訪問。
    4月17日，周恩來總理親自在人民大會(huì)堂接見了來自美國(guó)、加拿大、哥倫比亞和尼日利亞的乒乓球運(yùn)動(dòng)員。就這樣，乒乓球和體育為中美最后建交拉開了序幕，也為中國(guó)最后成功重返奧運(yùn)會(huì)大家庭打下了基礎(chǔ)。
    作為“乒乓外交”的碩果，1972年中國(guó)恢復(fù)了在聯(lián)合國(guó)中的合法席位。同年，國(guó)際奧委會(huì)迎來了一位新主席、愛爾蘭人基拉寧。國(guó)際奧委會(huì)意識(shí)到，應(yīng)該盡快恢復(fù)中華人民共和國(guó)最新國(guó)際奧委會(huì)的合法地位，就必須解決臺(tái)灣問題?；瓕幒蛧?guó)際奧委會(huì)副主席薩馬蘭奇在1977年9月和1978年4月兩次訪問中國(guó)，對(duì)中國(guó)政府加深了了解。1979年，中國(guó)奧委會(huì)向國(guó)際奧委會(huì)正式提出關(guān)于解決中國(guó)合法席位的的建議。這一建議得到了包括國(guó)際奧委會(huì)主席基拉寧在內(nèi)的大多數(shù)人的贊同。同年11月，國(guó)際奧委會(huì)以通訊表決方式讓國(guó)際奧委會(huì)全體委員投票，結(jié)果以62票贊成，17票反對(duì)，2票棄權(quán)通過了國(guó)際奧委會(huì)執(zhí)委會(huì)于10月25日在日本名古屋做出的有關(guān)恢復(fù)中華人民共和國(guó)在國(guó)際奧委會(huì)合法席位的決議。這一著名的名古屋決議指出：中國(guó)奧委會(huì)在參加奧運(yùn)會(huì)時(shí)使用中華人民共和國(guó)的國(guó)旗和國(guó)歌，同時(shí)允許臺(tái)灣作為我國(guó)的一個(gè)地方性組織在國(guó)際體育組織中占有席位，以“中國(guó)臺(tái)北奧林匹克委員會(huì)”出現(xiàn)。
    國(guó)際奧委會(huì)的這一決定，最終掃清了中國(guó)重返奧林匹克大家庭的障礙。從此，中國(guó)奧委會(huì)與國(guó)際奧委會(huì)建立了良好的、密切的合作關(guān)系。
    中國(guó)在1979年重返奧運(yùn)大家庭之后，就開始積極備戰(zhàn)奧運(yùn)會(huì)。
    1980年2月，在國(guó)際奧委會(huì)中恢復(fù)席位的中國(guó)體育代表團(tuán)首次出現(xiàn)在奧運(yùn)會(huì)賽場(chǎng)上——參加了第13屆冬季奧運(yùn)會(huì)。
    1984年，第23屆奧運(yùn)會(huì)在美國(guó)洛杉磯舉行。中國(guó)有史以來第一次派出大型代表團(tuán)參加這項(xiàng)體壇盛事。開賽第一天，射擊選手許海峰在男子自選手槍慢射比賽中勇奪得冠軍，從而實(shí)現(xiàn)了中國(guó)在奧運(yùn)會(huì)歷史上零的突破。而在2002年鹽湖城冬奧會(huì)上，中國(guó)女選手楊揚(yáng)又為中國(guó)隊(duì)實(shí)現(xiàn)了在冬季奧運(yùn)會(huì)上金牌零的突破。
    中國(guó)運(yùn)動(dòng)員在奧運(yùn)賽場(chǎng)上的出色發(fā)揮，證明了我國(guó)競(jìng)技體育的實(shí)力和水平。從1979年恢復(fù)席位以來到2003年，中國(guó)體育健兒已經(jīng)參加了5屆夏季奧運(yùn)會(huì)，獲得了80枚金牌、79枚銀牌和64枚銅牌。中國(guó)還參加了7屆冬季奧運(yùn)會(huì)，一共贏得了2枚金牌，12枚銀牌和8枚銅牌。現(xiàn)在，中國(guó)體育健兒的目光緊緊盯著將于2004年8月在希臘雅典舉辦的第28屆奧運(yùn)會(huì)，希望中國(guó)的五星紅旗可以更多次地飄揚(yáng)在雅典的體育場(chǎng)館上空。
    在新中國(guó)體育健兒揚(yáng)威奧運(yùn)會(huì)賽場(chǎng)的同時(shí)，有三名中國(guó)人先后當(dāng)選了國(guó)際奧委會(huì)委員。1981年中國(guó)的體育領(lǐng)導(dǎo)人何振梁當(dāng)選為國(guó)際奧委會(huì)委員，他還于1989-1993年擔(dān)任國(guó)際奧委會(huì)副主席，并多次擔(dān)任執(zhí)委。1996年當(dāng)時(shí)的國(guó)際羽毛球聯(lián)合會(huì)主席呂圣榮也以國(guó)際單項(xiàng)體育聯(lián)合會(huì)主席的身份當(dāng)選為中國(guó)第一位國(guó)際奧委會(huì)女委員。2000年國(guó)家體育總局副局長(zhǎng)于再清以國(guó)家奧委會(huì)主席的身份當(dāng)選為國(guó)際奧委會(huì)委員，成為中國(guó)活躍在國(guó)際奧委會(huì)舞臺(tái)上的又一中堅(jiān)力量。
    中國(guó)重返奧運(yùn)大家庭，參加奧運(yùn)會(huì)和將舉辦2008年奧運(yùn)會(huì)，標(biāo)志著新中國(guó)體育的又一次騰飛，同時(shí)也為奧林匹克運(yùn)動(dòng)注入了新的活力。