Die Siedler liessen sich dadurch nicht von ihrer Aufgabe abbringen und begannen umgehend mit dem Neuaufbau an der heutigen Stelle. Der Anbau von Baumwolle dauert nicht lange. Die Siedler stellten fest, dass sie das gesamte fruchtbare Land für den Anbau der so dringend benötigten Lebensmittel für die Eigenversorgung bestellen mussten, um so überleben zu können. Im Jahr 1864 lebten 168 Bewohner im Dorf Grafton. Im Jahr 1866 wurden zahlreiche Siedler durch die Navajo Indianer getötet. Aus Furcht vor weiteren Anschlägen zogen die Siedler weiter in den Schutz des Ortes Rockville. Die Häuser in Grafton wurden vorübergehend aufgegeben und die Siedler arbeiteten tagsüber auf den Feldern, um am Abend wieder nach Rockville zurückzukehren. Dies dauerte zwei Jahre, bis im Jahr 1868 beschlossen wurde, wieder nach Grafton zurückzukehren, um hier wieder dauerhaft zu leben.