Semula jemaat ini dikenal sebagai jemaat GKI A.Yani karena di sinilah ibadah jemaat setiap hari Minggu berlangsung, yaitu di jalan Jenderal Ahmad Yani no 71, Cempaka Putih. Di sebuah ruangan dari wisma yang bernama ”Pondok Sentosa” dapat diizinkan untuk dipakai sebagai tempat ibadah pada setiap hari Minggu. Jemaat ini didirikan pada tanggal 08 Oktober 1980 sebagai jemaat ke-45 dari Sinode GKI Wilayah Jawa Barat. Anggota Jemaat berjumlah 85 orang, dilayani oleh Penatua yang berjumlah 23 orang.

Kegiatan keseharian Jemaat sangat terbatas karena tidak ada tempat bagi jemaat untuk berkumpul selain ibadah Minggu. Yang rutin dijalani adalah latihan Paduan Suara Sentosa, persekutuan wilayah dan pelawatan. Demikian juga dengan kegiatan komisi-komisi. Kebaktian remaja dan kebaktian anak-anak Sekolah Minggu harus berlangsung di rumah-rumah anggota jemaat. Di jemaat kita sekarang ini ada Paduan Suara ”Sentosa”, yang merupakan warisan dari paduan suara yang sama yang dimiliki oleh GKI A.Yani. Paduan suara ini didirikan oleh K.P. Nugroho (alm.) dan yang sekarang dipimpin oleh Danny L. Nugroho.

Boleh dikatakan kegiatan jemaat berlangsung sangat rutin. Tak ada hal-hal yang menonjol. Kecuali ketika ibadah Minggu berlangsung, sangat terasa keakraban dan kebersamaan yang terjalin. Selesai ibadah banyak anggota jemaat yang berkumpul bergerombol sambil berkisah pengalaman-pengalaman yang dijalani selama satu minggu. Satu minggu tidak bertemu rasanya ada begitu banyak hal menarik yang mau diceritakan. Inilah rasa nostalgia yang muncul, kalau dibandingkan dengan keadaan sekarang, di mana ada begitu banyak orang yang datang dalam kebaktian, tetapi setelah selesai ibadah bagian terbesar kelihatannya begitu terburu-buru untuk pergi. Suasana persekutuan tidak mengikat lagi. Rasa rindu untuk berjumpa dengan orang lain tidak terasa lagi hangatnya.

Tahun 1984 ternyata Wisma ”Pondok Sentosa” tidak dapat lagi digunakan untuk tempat ibadah karena pengelola wisma harus mengembalikannya kepada pemilik wisma. Dalam kebingungan mencari tempat, ternyata Tuhan datang dengan berkat-Nya melalui dua peristiwa penting yang teralami. Pertama, pada bulan April 1984, yaitu pada hari Paska, dapat dilaksanakan peletakan batu pertama untuk dimulainya pembangunan gedung GKI Kayu Putih. Kedua, jemaat GKPS (Gereja Kristen Protestan Simalungun) dapat mengizinkan jemaat GKI A. Yani untuk mempergunakan gedung gerejanya. Letaknya di jalan Cempaka Putih Timur XI/10, berdekatan dengan Wisma ”Pondok Sentosa”. Waktu itu anggota jemaat sudah bertambah menjadi 115 orang. Walaupun ada penambahan anggota jemaat tetapi untuk membangun sebuah rumah ibadah dengan jumlah anggota jemaat sebanyak itu, terasa berat. Apalagi Majelis Jemaat dan Panitia Pembangunan berketetapan bahwa pembangunan hanya akan dibiayai sendiri tanpa meminta bantuan dari pihak manapun. Bukannya bantuan pihak lain tidak diperlukan, tetapi Majelis Jemaat dan Panitia Pembangunan berkeyakinan dan memiliki kepastian bahwa Tuhan pasti mencukupi semua kebutuhan yang diperlukan. Di sinilah teralami indahnya kebersamaan di mana jemaat dengan cara bahu membahu membangun bersama rumah ibadah yang diidamkan. Ada yang secara diam-diam melaksanakan janji iman. Ada yang meminjamkan uang untuk dipakai oleh gereja. Ada yang pinjamannya dikembalikan. Tetapi cukup banyak anggota jemaat yang pinjamannya tidak mau dikembalikan dan menjadikannya persembahan untuk gereja. Dan memang terbukti, bahwa apa yang semula tampaknya tidak mungkin, dengan berkat yang Tuhan beri, semuanya menjadi mungkin. Tahun 1986, rumah ibadah selesai dibangun. Masa ”hijrah” pun berakhir.

Bulan Agustus 1986, jemaat mulai menempati tempat yang baru, rumah sendiri, yang dibangun atas jerih lelah sendiri. Rumah ibadah yang dibangun berkapasitas 500 orang. Dengan perkiraan seandainya jemaat ini berkembang sampai 350 orang, jemaat masih dapat beribadah secara leluasa. Hanya itu yang ada dalam pemikiran Majelis Jemaat saat itu dan tidak lebih dari itu. Cukup sudah kalau anggota jemaat sampai mencapai 350 orang. Bila Tuhan berkenan dapat berkembang sampai mencapai 500 orang. Tetapi rupanya rencana Tuhan dan rencana manusia bisa berbeda seperti kata Yesaya 55:9 ”Seperti tingginya langit dari bumi, demikianlah tingginya jalanKu dari jalanmu dan rancanganKu dari rancanganmu”. Di luar perkiraan manusia, GKI Kayu Putih telah dapat bertumbuh sampai sebesar ini dengan semua kegiatan yang ada.