Twitterで初めてフォローした人を思い出してみます。
私は現在550人ほどフォローしていますが、今でも覚えています。
忘れていても、フォローしているユーザーのページを次々と見ていけば、最後のページに答えがあります。(リムーブしていなければ)
でも、何百人もフォローしていると大変かもしれません。

ということで、豆知識をひとつ。
「?page=-2」を付ければ最初のページが見られます。

フォローしているユーザー一覧の最初のページ
http://twitter.com/following?page=-2

フォローされているユーザー一覧の最初のページ
http://twitter.com/followers?page=-2

これで、自分がTwitterを始めた頃にフォローした人や、フォローしてくれた人を再確認するのも面白いですね。
Twitterを始めたばかりの頃の、フォローする時のドキドキや、フォローされた時の嬉しさは、今でも覚えています。

自分以外の人でも見ることができます。
http://twitter.com/shigefumi/following?page=-2
http://twitter.com/shigefumi/followers?page=-2
(フォロワーが何十万人もいるようなアカウントだと、初期のフォロワーはうまく表示されないようです)

いろんなIDの twitter.com/○○/followers?page=-2 と twitter.com/○○/following?page=-2 を見てまわるのもなかなか面白い。
http://twitter.com/shigefumi/statuses/8236302270

このtweetは2010年1月26日だったので、僕はその日に知ったようです。たぶん誰かがつぶやいていたのだと思います。

リムーブしたりブロックしたりすれば、順番はある程度変えられる気もしますが、気になる人の最初のフォローやフォロワーを見てみるのも面白いかもしれません。
もしかしたら人間関係がわかる事もあるかも。

関連URL
最初のフォロワーを確認。FirstFollower.com
Twitterを始めた日を確認。When Did You Join Twitter?

ブックマークレットも置いておきます。
ブックマークバー等にドラッグ&ドロップしておけば、誰かのIDがあるTwitterのページで使えます。
フォロー一覧の最初のページ: first following page
フォロワー一覧の最初のページ: first followers page

同様に、リストメンバー一覧も ?page=-2 で最初のページが確認できます。
http://twitter.com/shigefumi/subscribed-to-your-blog/members?page=-2
これは自分がフォローしていて、その人のブログをRSSリーダーで購読しているリストです。つい最近作成しました。
「あなたのブログを購読していますよ」というのが届くと嬉しいです。