Det fanns dock män som trotsade kompaniet och kallade sig frihandlare, men kompaniet kallade dem interlopers. Dessa frihandlare ifrågasatte kompaniets rätt till sin monopolställning. Hur kunde då brodern George ägna sig åt frihandel och ändå vara accepterad i Madras? Uppenbart hade han någon form av privat överenskommelse med myndigheterna och ibland hjälpte dessa interlopers andra anställda i kompaniet att tjäna pengar privat.
De interlopers som kompaniet föraktade mest var de som utrustade sina skepp i England och seglade ut till Östern för att köpa varor på den indiska marknaden, för att sedan återvända hem till England och sälja sina varor billigare än vad kompaniet gjorde. George sålde dock inte på den engelska marknaden utan höll sig i Östern och ägnade sig åt kusthandel. Denna kusthandel sysslade inte kompaniet med, eftersom de tyckte att vinsterna var för små, och därför tolererades dessa kustinterlopers om de uppförde sig anständigt och höll sig borta från handeln i England.
Det var tillåtet för kompaniets personal att syssla med sådan privat handel och alla, från topp till botten i kompaniet, försökte göra sig en förmögenhet. Kusthandeln var det lättaste sättet och de hade heller inga skrupler att ingå samarbete med dessa interlopers. Ankomsten av ett interloperfartyg till Madras var därför ofta en välkommen och uppskattad syn.
Det fanns också flera andra slags interlopers. En del var osedvanligt giriga och ovilliga att dela med sig. Andra konkurrerade med kompaniet genom att skaffa sig handelsrättigheter genom mutor. Detta drabbade kompaniet ekonomiskt och dessa interlopers var oerhört impopulära i kompaniet både officiellt och inofficiellt. De betraktades med samma motvilja som de interlopers som sålde sina varor i England. Enligt kompaniets stadgar kunde ett engelskt fartyg som bedrev olaglig direkt handel mellan Indien och England bordas och tvingas att betala en bot på 1 000 pund.
Förutom de ovan nämnda kategorierna fanns det också renodlade pirater, eller sjörövare, som gjorde strandhugg längs kusten. De var också hatade eftersom de gav de vita dåligt rykte bland asiaterna. En sådan interloper, som försörjde sig som pirat, var en man vid namn John Hand [thai? Svår จอห์น]. Han fick ett välförtjänt slut då hans pistol brann av i hans ficka och sårade honom dödligt i höften. Detta hände när han var i färd med att plundra och bränna en stad på Sumatra.
Så här såg den värld ut som Samuel hamnat i.