その一方、平成14年11月、瀬戸田町と因島市との合併を望む住民たちが新たな組織を立ち上げ、合併の実現へ向けて運動を開始した。それが「合併を考える会」である。「合併を考える会」は、瀬戸田町の町民だけでなく、因島市議会の議員が提唱し、瀬戸田町と因島市双方の町民によって立ち上げられた組織である。結成当初は15人の組織であったが、瀬戸田町と因島市との合併を訴える活動を続けるに従い会員は増え、最終的には約2年で200人以上の組織となった。合併を考える会は、瀬戸田町と因島市の合併協議会の設置を目指し、有権者の50分の1以上の署名を集め、議会へ提出したが、この請求は否決される結果となった。そこで、合併を考える会は、議会の意向にかかわらず住民投票を行うことのできる直接請求を目指し、有権者の6分の1以上の署名を再度集めることになる。

　その間、平成14年4月27日に瀬戸田町長選挙が行われた。現職の柴田町長と新人の田頭秀生氏の選挙戦で、柴田町長は意見を変えず三原広域合併を提唱、対する田頭氏はしまなみ海道を軸とした合併を主張し、その第一歩として因島市との合併を訴えた。合併を考える会は田頭氏を応援したが、結果は62票差で柴田町長の勝利だった。

　町長選が柴田町長の再選に終わったため、合併を考える会は因島市との合併協議会を設置する住民投票を成立させるべく、再度署名運動を開始した。平成15年7月7日の期限には、それぞれ有権者数の6分の1を大幅に上回る量の署名を集め、住民投票実施請求を提出した。翌8月10日、「瀬戸田町と因島市との合併協議会設置の賛否を問う住民投票」が実施され、瀬戸田町・因島市どちらも賛成が過半数を超えた。

　平成15年10月20日、対等合併を条件とする因島市・瀬戸田町合併法定協議会が設置され、因島市と瀬戸田町それぞれから8人ずつの委員が出て話し合いの席につくことになった。委員には基本的には市議会、町議会の議員や首長がなったが、瀬戸田町側の委員のうちの一人を「合併を考える会」の代表・前田嘉治氏が務めた。因島市の協議会委員は皆、瀬戸田町と因島市との合併を望んでおり、合併を考える会の前田氏もまた同じ思いであった。

　しかし、瀬戸田町側の委員の残り7名は柴田町長をはじめとする三原派議員たちで、因島市との合併を快くは思っていない人々だった。人数にすると、9対7で因島市と瀬戸田町の合併を望む委員のほうが数は多かったのだが、この「合併協議会」においてなされるのは「決議」ではなく、あくまでも「会議」であるため、人数の優位性は影響しない。それどころか、会議というものは進めるのには非常に時間がかかる一方、止めるのは非常にたやすい。瀬戸田町側の委員たちは、この合併協議会において提出されたさまざまな議題に対し、難癖をつけては時間を費やし、何の成果も得られぬまま協議を終わらせる、ということを繰り返したのである。これにより因島・瀬戸田両市町の合併協議会委員同士の溝は次第に深まっていった。

　月に約1回のペースで行われてきた合併協議会であったが、平成16年3月13日の第5回会議が終了した後の、平成16年3月26日、瀬戸田町議会は、同町の平成16年度一般会計当初予算案に含まれていた、因島市と瀬戸田町の合併法定協議会の負担金814万円を全額削除する修正案を、議員発議で可決したのである。

　しかも、13日の法定協の場ではその負担金について承認した瀬戸田町議会選出の委員3人全員が、「両市町とも財政状況からみて良い合併にならない」とし、町議会で急にその態度をひるがえして修正案に賛成し、可決となったのだ。平成16年4月10日の再議でも合併法定協議会の負担金の全額削除案は可決され、つづいて5人の三原派議員から提出された「因島市・瀬戸田町合併協議会離脱の決議案」を審議し、これも可決した。この議決は単なる町議会での一議決であるため法的効力はないものの、瀬戸田町は法定協議会には参加しないとの意思の表れであった。