Bei einem Abendessen anlässlich Köhlers 80. Geburtstags würdigte Bundespräsident Frank-Walter Steinmeier seinen Vorgänger im März 2023 als Anwalt des afrikanischen Kontinents: „Sie sind ein verlässlicher, ein leidenschaftlicher Freund Afrikas.“ Auch in seinem Kondolenzschreiben an die Witwe Eva Luise Köhler hob Steinmeier das Engagement Köhlers für einen fairen Umgang mit Afrika hervor: „Damit war er der Zeit weit voraus.“
Köhlers Rücktritt kam völlig überraschend – auch für Kanzlerin Merkel, die noch versuchte, ihn umzustimmen. Vergeblich. Was war passiert? Auslöser war ein Interview zu Auslandseinsätzen der Bundeswehr, das erst weitgehend unbemerkt verhallte, dann aber heftige Kritik auslöste. Köhler gab es dem Deutschlandradio Kultur auf dem Heimflug nach einem Blitzbesuch in Masar-i-Scharif bei den in Afghanistan stationierten deutschen Soldaten.
Es war ein langer, umständlich formulierter Satz, der die Kritiker erzürnte. Köhler sagte, dass „ein Land unserer Größe mit dieser Außenhandelsorientierung und damit auch Außenhandelsabhängigkeit auch wissen muss, dass im Zweifel, im Notfall auch militärischer Einsatz notwendig ist, um unsere Interessen zu wahren, zum Beispiel freie Handelswege (…)“. Köhler wurde vorgeworfen, er rechtfertige damit auch den Afghanistan-Einsatz mit wirtschaftlichen Interessen. Grünen-Fraktionschef Jürgen Trittin sprach von „Kanonenbootpolitik“.
Die Kritik gehe so weit, ihm zu unterstellen, er befürworte vom Grundgesetz nicht gedeckte Einsätze der Bundeswehr, sagte Köhler bei seinem Rücktritt. „Diese Kritik entbehrt jeder Rechtfertigung. Sie lässt den notwendigen Respekt für mein Amt vermissen.“
Um Köhler wurde es anschließend relativ still. Sein Engagement für Afrika und die Entwicklungspolitik setzte er fort. 2016/2017 leitete er mit dem früheren UN-Generalsekretär Kofi Annan eine Kommission der Afrikanischen Entwicklungsbank. 2017 ernannte ihn UN-Generalsekretär António Guterres zum Sonderbeauftragten für den Westsahara-Konflikt. Nur knapp zwei Jahre später legte Köhler auch dieses Amt vorzeitig nieder – diesmal aus gesundheitlichen Gründen.
Mit seiner Frau Eva Luise gründete Köhler 2006 eine Stiftung, die sich für eine bessere medizinische Versorgung von Menschen mit Seltenen Erkrankungen einsetzt. 2021 wurde er nochmals politisch aktiv und übernahm die Schirmherrschaft für den ersten bundesweiten Bürgerrat für Klimapolitik.
Seinen Abgang von der Staatsspitze bereute er nicht. „Das war keine Entscheidung, die mir Freude bereitet hat“, sagte Köhler im Februar 2023 in einem Interview der „Süddeutschen Zeitung“ zu seinem 80. Geburtstag. „Aber ich bin da völlig mit mir im Reinen.“
