安場保和が福岡県令に就任して二ヶ月足らずの明治十九年四月十一日、玄洋社の機関紙たる日刊新聞『福陵新報』の創刊をめざし、頭山満は福岡の薬院に福陵新報社創立事務所を開設した。頭山の幕下には、杉山茂丸、結城虎五郎、月成勲、伊地知卯吉（迂橘）ら二十人余が参集して福陵新報の創業に携わった。
 福陵新報創刊の趣意書は、その第一に「本社ハ中正主義ノ目的ヲ以テ政黨以外ニ屹立シ、廣ク内外ノ利弊ヲ論議シ、公衆ノ耳目ヲ開發スルヲ務ムベシ」と記していた。また頭山自身の言によれば、「何か新聞でも拵へて、なるだけ人の世話をしようと思ったんだ、その頃中村耕介や郡やらが新聞を思ひ立つたが僅かな金が出来ずにその儘になつたやうだ。そこで中正公平の主義を以て立つ新聞を創めたいと思つたのだ」という。
 この頃、福岡には明治十年三月創刊の『筑紫新聞』を前身とする『福岡日日新聞』（明治十三年四月改題）が刊行されていた。福岡日日新聞は筑前共愛公衆会の国会開設請願運動など自由民権運動を鼓吹する目的で創刊された日刊紙であり、福陵新報は中正の立場を標榜しながらも、福岡日日新聞の自由民権主義に対抗する含意があったと見られる。
 しかし創刊事務にあたるのはいずれも意気軒昂たる玄洋社員、創立事務所では「どいつもこいつも新聞のことはそっちのけで、議論する、詩吟をやる、腕相撲をやる、はては牛肉で鯨飲して喧嘩するといふあんばい。事務所とは名ばっかりの梁山泊」（頭山満談）であったという。
 この福陵新報創立事務所で杉山が出会い、後年『百魔』中の一魔人としてその伝を記したのが結城虎五郎である。結城は安政六年、福岡藩の陪臣の家に生まれた。杉山より五年ばかりの年長である。早く父に死別して幼時よりつぶさに辛酸を嘗めたが、天性の事業経営の才を有し、二十歳前後の頃松脂精製の事業を起こすべく頭山満の門を叩いた。福陵新報創立事務所では会計を担当し、杉山とともに新聞発行の原動力となった。
 福陵新報の発刊に向けた計画では、およそ一万円の資金が必要であった。頭山はこの資金を賛同者からの拠金で賄おうとしたのであるが、資金調達は思うにまかせず、世間では「頭山に新聞が出せたら太陽が西から昇る」と陰口を叩いていた。この陰口を結城虎五郎から聞いた頭山は「西から日が出るといふことは、そんなに気易いことか、それぢゃ論より証拠、すぐ俺が西から日を出してみせよう」と言ったという。
 このとき旧藩主である黒田家からは二千円の寄附を得たが、黒田家の家令は頭山を評して「あれは貰ひに来てるんだらうか、貰うてやりに来てゐるのか」とぼやいたというから、相当に押し強く交渉したのであろう。また、福岡県下に十五人いる各郡長からは、一ヶ月分の俸給に当る五十円ずつの寄附を得た。郡長の頭目格であった小野隆助という、後年衆議院議員にもなった人物が、一人当たり十円の寄附を申し出たのに対し、頭山は「そんなはした金なら断る」と一喝したと伝えられている。
 こうした頭山の資金調達活動は、杉山や結城の奔走によって支えられたといわれる。郡長からの寄附に関しては、県知事に就任していた安場保和の支援もおそらくあったであろうし、安場のかつぎだし工作に従っていた杉山もそのつながりを大いに利用したに違いなかろう。
 資金調達の一方で、人的体制の整備も行われた。創業主幹に香月恕経を据え、主筆には時事新報から川村惇を引き抜いた。まだ少年の頃に香月と出会って政治的閲歴の一歩を踏み出した杉山茂丸は、尾羽打ち枯らして帰ってきた郷里で、香月と共に仕事をすることになったのである。記者には今村為雄らを擁して、漸く福陵新報創刊号が発刊されたのは明治二十年八月十一日であった。
 このとき福陵新報社の事務局には、筆頭に杉山茂丸の名が挙げられ、結城虎五郎の名がそれに続く。後年、『玄洋社社史』に「頭山に二肱股あり。之を結城寅五郎、杉山茂丸と為す」と書かれた杉山と結城のコンビは、新聞発刊にとどまらず、引き続き新たな活動に突き進んで行くのである。