文言文中的以为有两种意思

一种与现代汉语意思一样，即，认为；

一种要分开来解释，以

是把

为

是作为二者之间常常是省略了代词“之”，比如“若舍郑以为东道主”中的“以为”即“把……作为”的意思，二者中间省略了代词“之”，这里省略的代词“之”指代的是

郑国。

那么你的这句话用文言文来说就是

其皆以吾贫

注意：文言文中的“贫”是穷的意思，而“穷”指的是没有出路，不显达。