لم يشهد التاريخ الإسلامي فتنة كفتنة القرامطة، الذين عاثوا في الأرض الفساد وخربوا في البلاد وقتلوا العباد، ولما لا وهم من احتلوا الكعبة وقتلوا حجاج بيت الله الحرام، وروعوا الآمنين حتى أنهم لم يمنعهم قول الله تعالى: «إِنَّ أَوَّلَ بَيْتٍ وُضِعَ لِلنَّاسِ لَلَّذِي بِبَكَّةَ مُبَارَكًا وَهُدًى لِّلْعَالَمِينَ فِيهِ آيَاتٌ بَيِّنَاتٌ مَّقَامُ إِبْرَاهِيمَ ۖ وَمَن دَخَلَهُ كَانَ آمِنًا».
في عام 317 هـ 908م، تعرض المسجد الحرام لواحدة والكعبة المشرفة، لأبشع جريمة في التاريخ، حينما اعتدى عليها القرامطة بزعامة أبي طاهر القرمطي، وقتلوا كل من كان في الحرم وسرقوا الحجر الأسود وغيبوه عن المسجد الحرام لمدة 22 سنة، لكن كيف ذلك؟.
ينتسب القرامطة إلى حمدان بن الأشعث الأهوازي الملقب بـ"قرمط"، الذي عاش الكوفة عام 258 هـ، حتى أنه كان يظهر الزهد والتقشف في أول عهده، فاستمال إليه بعض الناس، حتى أن قصر قامته دفعه لان يكون ناقما على الجميع، و حاقدا على جميع الخلق، حتى التقى بأحد دعاة التشيع وهو "حسين الأهوازي" والذي أصبح من أتباعه لكونه كان ينتقد العباسيين ويتذمر من وضعهم حتى أصبح "حمدان بن الأشعث" هو قائد تلك الفرقة الشيعية.

شكل القرامطة قوة عسكرية مستغلين ضعف الدولة العسكرية، اعتمدت تلك القوة في حياتها على الغارات التي تشنها على الدول المجاورة، ويشنون هجمات على الخلافة العباسية في العراق، حتى أن القرامطة كانوا في بداية الأمر علي علاقة صداقة مع الخلافة الفاطمية علي أساس أن كلاهما يدينون بالمذهب الشيعي ، ثم انقلبوا علي الفاطميين و هاجموا أملاكهم في الشام وفلسطين، حتى أنهم حاولوا الاستيلاء علي دمشق سنة 289 هج بقيادة أميرهم زكرويه و لكن الخليفة العباسي المكتفي استطاع التصدي لهم و قتل قائدهم زكرويه سنة 290 هج.

واصل القرامطة أعمالهم التخريبية وقطع الطريق على الحجاج، حتى وصلوا إلى مكة المكرمة، وفرضوا حلوها حصارا شديدا، حتى اقتحموها في يوم التروية عام 317 هـ، ودخل جيش القرامطة الحرم، ونزعوا الحجر الأسود من مكانه، بقيادة أبو طاهر القرمطي، وقتل فيها عدد كبير من الحجاج بلغ عددهم 30 ألف حاج.

بعد خروج القرامطة من مكة حاملين معهم الحجر الأسود والأموال التى نهبوها من الناس متوجهين إلى هجر، تعقب "ابن محلب" أمير مكة من قبل العباسيين القرامطة مع جمع من رجاله وطلب منهم رد الحجر الأسود إلى مكانه على أن يملكهم جميع أموال رجاله، إلا أن القرامطة رفضوا طلبه مما اضطره إلى محاربتهم حتى قتل على أيديهم، وكانت هذه هى أول محاولة لاسترداد الحجر الأسود.
وبعد غزوهم للكعبة، أخذ جيش القرامطة الحجر الأسود معهم، وحاولوا سرقة مقام إبراهيم لكن أخفاه سدنة البيت الحرام، حتى في عام 318هـ، سنّ القرامطة الحج إلى الجش بالقطيف بعدما وضع الحجر الأسود فى بيت كبير، وأمر القرامطة سكان منطقة القطيف بالحج إلى ذلك المكان، ولكن الأهالى رفضوا تلك الأوامر، فقتل القرامطة أناسًا كثيرين من أهل القطيف.