Anies kecil pernah tinggal bersama sang kakek, A.R. Baswedan, di Taman Yuwono, Jalan Dagen Yogyakarta. A.R. Baswedan sendiri adalah tokoh penting dalam perkembangan negeri ini. Kebersamaan dengan kakek telah memberi kesempatan kepada Anies untuk menimba ilmu dan mendapatkan keteladanan. Salah satu nasihat dari sang kakek yang masih diingat Anies hingga sekarang, “Di mana seorang dilahirkan, di situlah tanah airnya.”
Kecintaan kepada sang kakek juga telah membuat Anies dapat bersua dengan tokoh-tokoh besar negeri ini. Kala itu, Anies masih duduk di kelas 5 SD dan ditugasi sang kakek untuk menjadi juru ketik atas surat-surat A.R. Baswedan. Dari pengalaman kecil ini, Anies mendapat banyak pengetahuan dan pelbagai hikmah yang tidak diperoleh di bangku sekolah.
Salah satunya, Anies menjadi dekat dengan sejawat sang kakek, yang kebanyakan di kemudian hari menjadi tokoh-tokoh besar di Indonesia. Adam Malik, Mohammad Natsir, Mohammad Roem, Sutan Sjahrir, Jarnawi Hadikusumo, Mohammad Jasman al-Kindi, Siti Alifah—istri Jenderal Soedirman, Dokter Yap Tie Tong—dokter mata ternama di Yogyakarta yang kemudian mendirikan RS Mata Dr.Yap, Johan Syahruzad, Gus Dur, Syafii Maarif, Romo Mangunwijaya, Romo Dick Hartoko, Lukman Hakiem—ketua umum HMI 1983-1984, adalah beberapa tokoh yang dijadikan Anies kecil sebagai guru secara tidak langsung.