بدخواهی و کینه‌توزی درباریانی که امیرکبیر آن‌ها را از درآمدها و القاب بادآورده‌شان محروم کرده بود نقش مهمی در بر هم خوردن رابطۀ ناصرالدین‌شاه و امیر داشت. سازش‌ناپذیری صدراعظم در برابر سفرای خارجی و قدرت‌های بیگانه نیز می‌توانست عامل دیگری در این میان باشد.
اما گذشته از این‌ها اتفاق خاصی که آغاز بدبینی ناصرالدین‌شاه به امیر بود در سفر آن‌ها به اصفهان رقم خورد. در جریان این سفر امیرکبیر از برادر ناتنی و کوچکتر ناصرالدین‌شاه یعنی عباس میرزای سوم نیز دعوت کرد تا به همراه مادرش خدیجه چهریقی به اصفهان سفر کنند.
عباس‌میرزا در جوانی
امیر در طول سفر و در مسیر بازگشت نیز رابطه‌ای صمیمانه با عباس‌میرزا داشت و هنگامیکه شاه دستور داد عباس‌میرزا در قم بماند، امیر با دستور شاه مخالفت کرد. این سرآغاز فاصله گرفتن شاه از امیر بود.
دلیل بدبینی ناصرالدین‌شاه این بود که تصور می‌کرد امیر ممکن است تمایل پیدا کرده باشد که او را از پادشاهی کنار بزند و عباس‌میرزا را به سلطنت بنشاند. این بدبینی با بدگویی‌های درباریانی مانند مهد علیا (مادر شاه) تشدید می‌شد.
عباس‌میرزای سوم در سفر روسیه (در ردیف نشسته، نفر سوم از سمت راست)
در نهایت بعد از بالا گرفتن اختلاف و عزل و قتل امیرکبیر، عباس‌میرزا به مدت بیش از بیست سال را در تبعید در استانبول و بغداد به سر برد تا اینکه نهایتا در سال 1255 شمسی با اجازۀ ناصرالدین‌شاه به ایران بازگشت و با دریافت لقب مُلک‌آرا حاکم زنجان شد. البته او بعد از مدت کوتاهی دوباره به قفقاز گریخت و بلافاصله دوباره به ایران برگشت. او در سال 1275 وزیر عدلیه شد و دو سال بعد درگذشت.
تصویر بالا، عباس‌میرزای سوم را در اواخر عمر و در سفری به روسیه جهت شرکت در یک مراسم رسمی و ملاقات با صاحب‌منصبان آن کشور نشان می‌دهد.
فرادید
خدا لعنت کند این خاندان منحوس را