Thursday, November 27, 2014

Ferguson FAQ

Recently I published an analysis of the Ferguson conflict that showed, using Twitter data, that there was a “red group” and a “blue group” who rarely talked to each other, thought very different things, came from very different backgrounds, and often were uncivil even when they did talk. Thanks to everyone who wrote to me about the analysis! Here are answers to the most common questions I’ve received.

What data did you use?

215,000 tweets containing the Ferguson hashtag collected between November 17th and 19th (prior to the announcement of the verdict).

What tools did you use to collect the data?

Python -- specifically, the tweepy library and a program I wrote which you can find here (described at more length here).

What tools did you use to analyze the data and make the visualization?

Python for analysis; Gephi for visualization. See Gilad Lotan’s excellent tutorial on how to use Gephi to analyze Twitter data.

How did you divide Tweeters into red and blue groups?

I used Gephi's community detection algorithm (on the adjacency matrix for the most frequent tweeters, where Mij was 1 if tweeter i had mentioned tweeter j in a tweet), sometimes known as the Louvain method. Essentially, this divides Tweeters into groups that mention each other frequently.

Regarding whether this grouping is valid: as I note in the piece, I am mindful of the fact that there are many ways to group data, and I think this is worth exploring further. One problem we always face is how many groups there are (see here and here). You can always sort of make it look like people hate each other by clustering the data into groups even if there isn’t necessarily any separation between the groups -- this is something to be wary of when looking at analyses like this one.

But I think several pieces of evidence (in addition to Gephi's striking visual) point to the validity of the red / blue division. The fact that the two groups are associated with the tweeters’ self-descriptions (like race and political affiliation) is revealing; the fact that the two groups are associated with tweeting different things is also revealing (and by no means something I expected to see -- for example, if you divide Twitter datasets by gender, you will frequently find that men and women tweet essentially similar things). This evidence is powerful because it is external -- it was not used to come up with the grouping, but it supports it.

In general, we often bring in such external evidence to argue that a grouping is valid. For example, in a biological analysis we might cluster genes into groups that show similar expression patterns (group A highly expressed in the liver and not in the lungs; group B highly expressed in the lungs and not in the liver). We would be more sure that the groups we had found were “real” if there was external evidence like a transcription factor that was known to turn on all the genes in group A, or a biological function that was common to all the genes in group A.

You said the blue cluster is much larger than the red cluster. What happens if you break down the blue cluster further?

I don’t know! Someone should figure this out.

Can I see your data or code?

Yes. I cannot make the data publicly available because of Twitter’s terms of service, but if you are a researcher with a project, shoot me an email. In addition to the two days of data used in this analysis, I also have several million tweets both from several months ago, when Ferguson initially made the news, and from after the verdict was announced.

As always, if you work at Twitter and have any objection to any of this, please email me -- I am acting in good faith and more than happy to comply with your requests.

14 comments:

  1. Programming Assignment help
    Programming Assignment Help is efficient in reducing stress from your academic life. It can save most of your time. Hence you can utilize your time in other necessary works. However, it is essential to choose a proper service; else it can trouble you badly. To avoid this, you must check the online reviews for a better Computer Science assignment

    ReplyDelete
  2. حيث أنها تعمل علي شركة تنظيف بالبخار بجدة تخليصنا من الأتربة الملتصقة بالمفروشات والأوساخ التي لا يقدر عليها التنظيف اليومي حيث انه يكون من خلال شركة رش حشرات بجدة المكنسة الكهربائية من خلال شركتنا سوف يتم شركة عزل خزانات بجدة الاعتناء بالمفروشات جيدا وإعطائها عمر افتراضي نتيجة إلى عدم التنظيفشركة تنظيف منازل بجدة إذا الذي تمتلكه شركة مكافحة بق الفراش بجدةنظيف لمدة 24 ساعة

    ReplyDelete
  3. ان شركة البيت السعيد لديها افضل المتخصصين فى مجال لديهم الخبره الكافيه. والوعى اللازم لادارة عملهم بدقهافضل شركة كشف تسريبات بالقصيم واسلوب متطور من اجل حل تلك افضل شركة عزل خزانات بالقصيمالمشاكل مثل اجهزة الموجات فوق الصوتيه الامريكيه واجهزة ضغط النيتروجين وافضل الاجهزه الالمانيه للاستشعار.لديها افضل مواد العزل لعزل الخزانات مع افضل شركة عزل اسطح بالقصيم بكافة والتى لديها قدره كبيره على مقاومة الرطوبه وفعاليتها تدوم لاكثر من عشر سنوات كماافضل شركة مكافحة حشرات بالقصيم تستخدم شركة البيت السعيد ماده تحافظ على الخزان من اشعة الشمس وهى .

    ReplyDelete
  4. يمكنك أن تحصل علىشركة تجهيز ملاعب و التكاليف شركة نجيل صناعي و التي تعمل على التسهيل عليك فنحن شركة تنسيق حدائق إرضائك و التناسب شركة لاندسكيب بالقاهرة احتياجات العميل فنحن نقدم العديد من والتخفيضات المختلفة التي شركة تجهيز حمامات سباحه العملاء فنحن متميزون من اجل تنفيذ الحدائق بجميع المساحات نجيل صناعي للحدائقو الالوان المختلفة

    ReplyDelete
  5. افضل أنواع المعطرات شركة تنظيف بدبي الخاصة والكنبشركة تنظيف كنب بدبي لإضافة أفضل شركة تنظيف بالشارقةأنواع المطهرات شركة تنظيف بعجمان والمطابخ وصحي البكترياشركة تنظيف بابو ظبي والجراثيم لدينا أحدث السياراتشركة تنظيف بالعين لتوفير الخدمةشركة تنظيف ام القيوين في وبمجرد شركة تنظيف الفجيرةاتصال

    ReplyDelete
  6. نوفر الوقت والمجهود شركة تنظيف فى دبيوالمال نضمن لك الجودة المرتفعة في تقديم خدمات تنظيفشركة تنظيف كنب بدبي بأقل وأرخص الأسعار نقدم أنظمة شركة تنظيف بالشارقةمختلفة للتعاقد لضمان النظافة المستمرة للمكان
    نوفر نظام التعاقد السنوي الذي يتيحشركة تنظيف بعجمان لك النظافة الدائمة لمدة عام وكذلك نظام التعاقد شركة تنظيف بابو ظبيالنصف سنوي كما نقدم العروض والخصوماتشركة تنظيف بالعين بنسب كبيرة

    ReplyDelete
  7. انسداد المجارى كارثة بيئية ومنزلية تسليك مجاري بالكويتومن الهام سرعة تصليح وتسليك المجاري شركة تسليك مجاريعلى الفور لعدم انتشار الروائح الكريهة او الغازات تسليك مجاري فى بالكويتالسامة الخطيرة او انتشار الحشرات الصيفية تسليك مجاري الكويتوالفئران والباعوض والذباب ، نحن افضل فنى صحي بالكويتشركة تسليك مجاري الكويت نغطى كافة ارجاء الكويت سباك بالكويتولدينا سيارات واقسام تغطىمعلم صحي بالكويت كافة الانحاء لسرعة الوصول

    ReplyDelete
  8. يمكنك أن تحصل على أفضل تسليك مجاري الكويتو الوصلات الخاصة بالمياه و التي يتم تركيبها باتباع تسليك مجاري الكويتأفضل بالمياه بالإضافة تسليك مجاري فى الكويتالشبكات التي تعمل على التهوية و فنى صحي بالكويت أي نوع من العيوب التي قد تظهر على معلم صحي بالكويتالمواد و نحن متميزون في جميع أعمال السباكة سباك فى الكويتكانت إذا كنت تواجه أي نوع من شركة تسليك مجاريفلا تتردد في الاستعانة بفريق معلم صحي شركة تنظيف بالكويت البداية

    ReplyDelete
  9. لقد قامت شركة تنظيف مباني شركة تنظيف بدبيالعين بتنظيف المباني والاهتمام بها من الداخل شركة تنظيف كنب بدبيوالاهتمام بتنظيف السلالم والعمل على شركة تنظيف بالشارقةواجهات المباني مستخدمة في ذلك أحدث الطرق، شركة تنظيف بعجمانالشركة أيضاً على عمالها الماهرين لإنجاز هذا شركة تنظيف بابو ظبيحيث أنهم يأتون إلى المكان فور الاتصال شركة تنظيف بالعينمستخدمين في

    ReplyDelete
  10. تنظيف منازل دبي تعتبر النظافة شركة تنظيف بدبيمن أهم الأمور التي يجب أن تتوافر في كل منزلشركة تنظيف كنب بدبي أن بدون النظافة لا يصبح لدينا رغبة شركة تنظيف بالشارقةفي المنزل وتنتشر الطاقة السلبية في المكان شركة تنظيف بعجمانالأمراض بين الأشخاص؛ لهذا السبب يجب شركة تنظيف بابو ظبيالحفاظ على نظافة المكان الذي نعيش شركة تنظيف بالعينهذا الأمر

    ReplyDelete
  11. Thank you for such a informative post , i suggest WordsRU , they offer best flawless

    Academic Editing and Proofreading Services
    Academic Proofreading Services

    ReplyDelete