解:(1)当a=b时,四边形OEPF是正方形,
则ab=

,故a
2=

,
∵a>0,
∴解得:a=

,
∴P(

,

),
∵M,N是直线y=-x+1上的两点,OE=

,
∴ME=y=-

+1=

,

=-x+1,则FN=x=1-

=

,
∴M(

,

),N(

,

),
将△OEM绕O逆时针旋转90°到△OFM',
则NM'=FM'+FN=2FN=2-

,
PM=PE-ME=

-

=

-1,
PN=FP-FN=

-

=

-1,
∴MN=

=

=2-

,

∴NM'=MN,
在△ONM和△ONM'中,

,
∴△ONM≌△ONM'(SSS),
∴∠MON=∠MON'=

∠AOB=45°;
(2)过M作MC⊥y轴于C,过N作ND⊥x轴于D,
∵直线y=-x+1与x轴、y轴分别交于A、B两点,
∴y=0时,x=1,x=0时,y=1,
∴A点坐标为:(1,0),B点坐标为:(0,1),
∴AO=BO,
∴∠OAB=∠OBA=45°,
∴AN=

ND=

b,BM=

MC=

a,
∵P(a,b)是反比例函数y=

在第一象限内图象上的一动点,
∴2xy=1,则2ab=1,
∴AN•BM=2ab=1.
∴AN•BM为定值.
分析:(1)利用正方形的性质以及反比例函数的性质得出ab=

,进而得出a的值,即可得出P点坐标,再利用旋转的性质以及直线上点的坐标特点得出M,N的坐标,再利用全等三角形的性质得出∠MON=∠MON'=

∠AOB=45°.
(2)利用已知一次函数解析式得出A,B坐标,进而得出△OAB的形状,进而得出AN=

ND=

b,BM=

MC=

a,再利用反比例函数的性质得出即可.
点评:此题主要考查了反比例函数综合应用以及全等三角形的性质与判定和正方形的性质等知识,利用已知图形表示出AN,BM的长是解题关键.