Bu adı, yerleştiği kayalık bir tepe üzerinde bulunan Kilise'den almıştır. Çok yakın tarihe kadar bu adla var olmuş olan bugünkü Bahçeliyurt köyü, yeni adını çok yakın yıllarda almıştır. Köye ilk yerleşen Kel Hasan ve Ali Kaa dir (ağılın önü) diye bilinen köyün önü (Cennet pınarı mevki).Uzun yıllar Ceviz köyünün mezrası olan Bahçeliyurt Köyü 1950 yılında Muhtarlık olmuştur ve ilk Muhtar Eşref Akkay
a'dır. Şu anki muhtarı ise Naci Gündoğdu'dur. Bahçeliyurt ve Ceviz köyünün hemen tamamı Oğuz Türkmenlerinin Bozok boyunun İran Azerbaycanı ve Türkmenistan dolaylarından (Horasan) yöresinden gelen Begdili ve Baydan kolundan olan Türkmenlerdir. Bu Türkmenler, gerek Moğollar'ın gerekse Arap yarımadasından gelen akınlar ve baskıların da etkisiyle, özellikle 1071 Malazgirt Savaşı'ndan sonra yoğun göçlerle bir kol Azerbaycan'dan, diğer büyük bir kol da Musul, Kerkük, Halep, Adıyaman, Malatya yoluyla şu anda köyün bulunduğu Yama dağlarına gelmişlerdir. 1500'lü yıllarda konar göçer olan bu toplulukları yerleşik düzene zorlayan Osmanlı yönetimince baskılar uygulanmış, buna karşı çıkan on binleri bulan bu topluluklar şu an Suriye sınırında bulunan Rakka'ya sürgüne gönderilmiştir. Daha sonraki yıllarda buralardan kaçan bu topluluklar gizlice eski yerleşim yerlerine geri dönmüşlerdir. Bu dağın doruğu ziyaret kabul edilen kutsal bir yerdir. Ayrıca Battal Gazi'nin Babasının intikamını almak için bu dağda cenk ettiği, burada Bahattin adında bir komutanın şehit düştüğü ve bu dağda toprağa verildiği, bundan dolayı da Baydıgın adını da ondan aldığı rivayet edilmektedir. Kangal Çoban Köpeginin Anadoluya Getirildigi ilk otlak ve yaylaklar olduğu rivayet edilir. Bu bölgenin en eski yerleşim yeri M.Ö. 1600 yıllarında Hititler'in yöresel başkenti durumunda olan Karacakale ve Akçakale kaleleridir. Yörede çok önemli kalıntılar olduğu söylenmektedir. Buralarda henüz tarihi bir araştırma yapılmamıştır.