クソツイを自動生成してみた (その1)

とあるルートから某クソツイ垢の全てのツイートをGETしたので、マルコフ連鎖でクソツイ生成してみる。

2020/02/27最新の全件を取得したら、昔はCSVで入手できたのに、js(tweet.js)で渡されるようになったみたい。 まずは加工からスタート。

とりあえず適当に読み込んでみる

path = "./twitter-2020-02-27-63146bc9cef271669caea3d761c8f484a1ce32324272beffd822fcb71adcdcc7/tweet.js"

with open(path) as f:
    l = f.readlines()
    print("".join(l[0:50]))

window.YTD.tweet.part0 = [ {
  "tweet" : {
    "retweeted" : false,
    "source" : "<a href=\"http://twitter.com/download/iphone\" rel=\"nofollow\">Twitter for iPhone</a>",
    "entities" : {
      "hashtags" : [ ],
      "symbols" : [ ],
      "user_mentions" : [ ],
      "urls" : [ ]
    },
    "display_text_range" : [ "0", "22" ],
    "favorite_count" : "0",
    "id_str" : "1232937395412058114",
    "truncated" : false,
    "retweet_count" : "0",
    "id" : "1232937395412058114",
    "created_at" : "Thu Feb 27 07:55:56 +0000 2020",
    "favorited" : false,
    "full_text" : "任天堂オールスター大乱闘スマッシュブラザーズ",
    "lang" : "ja"
  }
}, {
  "tweet" : {
    "retweeted" : false,
    "source" : "<a href=\"http://twitter.com/download/iphone\" rel=\"nofollow\">Twitter for iPhone</a>",
    "entities" : {
      "hashtags" : [ ],
      "symbols" : [ ],
      "user_mentions" : [ ],
      "urls" : [ ]
    },
    "display_text_range" : [ "0", "15" ],
    "favorite_count" : "1",
    "id_str" : "1232934754539884544",
    "truncated" : false,
    "retweet_count" : "0",
    "id" : "1232934754539884544",
    "created_at" : "Thu Feb 27 07:45:26 +0000 2020",
    "favorited" : false,
    "full_text" : "今の会社から学べる事無くなった",
    "lang" : "ja"
  }
}, {
  "tweet" : {
    "retweeted" : false,
    "source" : "<a href=\"http://twitter.com/download/iphone\" rel=\"nofollow\">Twitter for iPhone</a>",
    "entities" : {
      "hashtags" : [ ],
      "symbols" : [ ],
      "user_mentions" : [ ],

まあいわゆるJSON形式ってやつだと思う。

full_textにツイートがあるし、retweetedがfalseなら自分のツイートだなって感じだと推測できる。 → 違ったぽいけど何かわからん。

とりあえず表形式にしたいのでする。

window.YTD.tweet.part0 = は要らなそうなので直接消す。一応jsファイルのコピーは残す。

with open(path) as f:
    l = f.readlines()
    print("".join(l[0:10]))

[ {
  "tweet" : {
    "retweeted" : false,
    "source" : "<a href=\"http://twitter.com/download/iphone\" rel=\"nofollow\">Twitter for iPhone</a>",
    "entities" : {
      "hashtags" : [ ],
      "symbols" : [ ],
      "user_mentions" : [ ],
      "urls" : [ ]
    },

消した

jsonとして処理する。

import json
json_open = open(path, 'r')
json_load = json.load(json_open)

print(json_load[0])

{'tweet': {'retweeted': False, 'source': '<a href="http://twitter.com/download/iphone" rel="nofollow">Twitter for iPhone</a>', 'entities': {'hashtags': [], 'symbols': [], 'user_mentions': [], 'urls': []}, 'display_text_range': ['0', '22'], 'favorite_count': '0', 'id_str': '1232937395412058114', 'truncated': False, 'retweet_count': '0', 'id': '1232937395412058114', 'created_at': 'Thu Feb 27 07:55:56 +0000 2020', 'favorited': False, 'full_text': '任天堂オールスター大乱闘スマッシュブラザーズ', 'lang': 'ja'}}

print(json_load[0].keys())
print(json_load[0]["tweet"].items())

dict_keys(['tweet'])
dict_items([('retweeted', False), ('source', '<a href="http://twitter.com/download/iphone" rel="nofollow">Twitter for iPhone</a>'), ('entities', {'hashtags': [], 'symbols': [], 'user_mentions': [], 'urls': []}), ('display_text_range', ['0', '22']), ('favorite_count', '0'), ('id_str', '1232937395412058114'), ('truncated', False), ('retweet_count', '0'), ('id', '1232937395412058114'), ('created_at', 'Thu Feb 27 07:55:56 +0000 2020'), ('favorited', False), ('full_text', '任天堂オールスター大乱闘スマッシュブラザーズ'), ('lang', 'ja')])

entitiesの中まで拾うのだるくね？

pandas変換するか

ちょうどいいのがあった→pandasのjson_normalizeで辞書のリストをDataFrameに変換

import pandas as pd
df = pd.io.json.json_normalize(json_load)
pd.set_option('display.max_columns', 100)
df.head(10)

完全に余談

#

RT数が1以上のツイート

df_rted = df[df["tweet.retweet_count"] > "0"]
df_rted["tweet.full_text"]

67      kashidecにkashidecにkashidecにkashidecにkashidecにk...
125                                         @toride0313 仏
331       青い空が\n澄んだ風が\nたとえ星が\n裏切っても\n\nkashidecだけは絶対裏切らない
1054                                 kashidecを撒き餌にサメ釣ってる。
1098                              でも日本には四季とkashidecがあるから…
1133                          またkashidecが精神病院からツイートしています。
1176              kashidecと会う時は握手は断ってください。実はヤバいことをされています。
1265                     異世界転生kashidec「ふむ、換気を重視してみてはどうかな」
1269                   カシデックって人、全然ツイートしてないのにファボしてて気持ち悪ｗｗｗ
1328    kashidecガチ信者はkashidecの市議選出馬を楽しみに毎日生きているが、kashi...
1411                       kashidecガチ信者だから3秒に1回歯の定期検診してる。
1501                                        #オナニー見てくれる人RT
1502                                       #オナニー見せてくれる人RT
1504      kashidecガチ信者なろう小説\n「ふむ、それではヨシケイを頼んでみてはどうだろうか？ｗ」
1548                  法で取り締まって欲しいものリスト\n・パチンコ\n・タバコ\n・オリパ
1565    ブン回ったアンデシンクロ漫談「ゴヨウガーディアン、ゴヨウガーディアン、一つ飛ばしてゴヨウガー...
1612                           kashidecドヤ街に住んでみたシリーズ第一弾寿町
1682     全盛期のkashidecがポルトガルに行ったときにありがちなこと、ポルトガルにそもそも行かない。
1691                                     パクチー無いからカメムシ食べてる
1735                                           オワッタクカシデッナ
1740                                   kashidecは実際クズっぽいよな
1796                                  KSU kashidecの家キャンパス
1883    終わりの世界のナベアツ「1の倍数の時だけ1の倍数の代わりに、この現代社会を生き抜くために我々...
1884       KSUで薬物で死んだ人リスト\n・kashidec（治験新薬）\n・とりでまん（コンサータ）
1886               映画、『範馬の子』にありがちなこと、「今から地震がとまるよ、チェリアアッッ」
1888    【都市伝説】○アニの犯人はkashidec信者らしい - kashidecガチアンチ速報 h...
1891    大学前飯屋が会社前に転生した時にありがちなこと\n\n「何って、350円で死ぬほど腹一杯にな...
1919            kashidecガチアンチ「kashidec生きてる意味ない…俺以外にとってはな」
1923                                         N国の佐藤恵理子とSEX
1938                                     動くな、俺はkashidecだ。
1944    ガチアンチ。兵庫県出身。大阪神天才大学卒業。在学中にkashidecガチアンチ検定1級に当時...
1952    【驚愕】kashidecの「信じてください。」は「信じて（お金を）くださいだった」 - ka...
1979    kashidecとカラオケに行った時にありがちなこと\n\nkashidec「私のお墓のお墓...
1993                               kashiがdecすぎるとツイッターで話題に
2001                               どうしてそんなにエッチなファボばかりするの？
2026          赤ちゃん→可愛い😍\n製造→凄い😮\nミルク→美味しい😋\n\n赤ちゃん製造ミルク→🤔
2059    エロファボしてるkashidec「エロファボをしてください。kashidickからのお願いです。」
2344    2018年、クソツイランキング～～～～！！！\n\n3位、「50音を言っていって、ンコを足し...
2392               引いてしまうkashidecの異常行動ｗｗｗｗｗｗ\n\nスマホを投げて遊ぶ
2615    kashidecかなーやっぱりww 自分は思わないんだけど周りにkashidecに似てるって...
2626    ←kashidec前期      kashidec後期→\n\n※画像はイメージです htt...
2633    カシデックと貸していくで韻が踏める\nヒモニート酷い人で韻が踏める\n\nこの韻はフィクショ...
2635                              https://t.co/tylQ8pGpID
2636                        ミュージカル『全てkashi06が悪い』を開演いたします。
2656                      ザーメン大好き小泉さんという同人誌が1000000000%出る
2687    ゲッタークソツイの墓場が2018年を大胆予想！！！！\n\n・何かが流行る！！！\n\n・ニ...
2707                   キズナ・アイ主催のデスゲーム、バーチャルユーチューバーのコロシ・アイ
2792    チュイイイイイイイイイイイン！！\nガキン！\nガキン！\nTUEEEEEEEEEEEッッッ...
3121                           カシデック靴でしか、回文パーツとしてお使いください。
3231                              https://t.co/pdVxW6qZyC
3238    @toride0313 @peroshirako  https://t.co/zWzq5RFN3W
3239                    20年後の遊戯王のCS\n「CS優勝しました！使用AIは○○です」
3242            もうすぐ #kashidec生誕祭 https://t.co/Rg06fY0Dik
3362                              https://t.co/oyzAlScCj0
3364                              https://t.co/I7e4WQWvpR
Name: tweet.full_text, dtype: object

kashidecばっかりじゃねーか

閑話休題

#

マルコフ連鎖

参考→[Python] MeCab とマルコフ連鎖ライブラリ markovify を使い、文章を学習して自動生成する方法

import MeCab
import markovify

なんか他人のRTとか日本語判定になってないツイートは除いたりしとく

df2 = df.copy()

df2["str"] = df["tweet.entities.user_mentions"].astype("unicode")
df2 = df2[df2["str"] == "[]"]
df2["str2"] = df["tweet.entities.hashtags"].astype("unicode")
df2 = df2[df2["str2"] == "[]"]
df2 = df2[df2["tweet.lang"] == "ja"]
df2.head(30)

取り除いた↓

s = "。".join(df2["tweet.full_text"][:13]) + "。"
parsed_s = MeCab.Tagger("-Owakati").parse(s)
print(parsed_s)
text_model = markovify.Text(parsed_s, state_size=2)
for _ in range(1):
    sentence = text_model.make_short_sentence(140, 1, tries=100)
    print(sentence)

任天堂 オールスター 大 乱闘 スマッシュブラザーズ 。 今 の 会社 から 学べる 事 無くなっ た 。 ポジティブ な 事 を 言う より も 死ね とか SEX とか 言っ てる 回数 の が 多い 。 6 V 性格 おとなしい ン・ゾス あり ます 。 。 セックス に 積極 的 な 女の子 募集 中 。 早く 俺 も おっぱい で 射精 し たい 。 クソツイ 考察 班 。 俺 が 浮遊 能力 者 だっ たら 衆人 環境 下 で 首吊り の 物真似 し て めちゃくちゃ 炎上 する やつ やり たい 。 全て の アニメ の 同名 キャラ と SEX できる 能力 が ある 時 に 指定 する 名字 ある ？ 。 イクイクイク 。 ド S 女 を 大 逆転 スーパーハメハメエクスタシー してやり たい 。 。 @ 自殺 予定 者 卒 論 書い た ？ 自殺 学部 は 卒論 提出 必須 だ ぞ 。 ベテルギウス の γ線 バースト を 全て 受け 切っ た 男 。 

None

Noneしかできねえ…

joinする範囲広げるとkeyErrorになってmodel生成こけたりもするし、joinで区切る記号によってもこけたりして意味不明。

今回はここまで

[終]